NEWS: fix 2.3.14 version

NEWS: Mention XZ/LZMA removal.

NEWS: Update news for 2.3.14

lib-imap: imap_bodystructure_write() - Return error on corruption instead of assert-crash

This could happen if broken message_parts came from cache and
message_part->data was newly read from the mail input.

lib-storage: Split off index_mail_parse_bodystructure_full()

lib-imap: fuzz-imap-bodystructure - Change failures to i_panic() instead of i_fatal()

lib-smtp: smtp-params - Make explicit which extra parameters can be written by smtp_params_*_write().

This can be used to prevent sending unsupported parameters to the remote server,
even when these are listed in extra_parameters. Before, blindly proxying
parameters would cause MAIL/RCPT error replies from the remote server.

lib-smtp: smtp-client-connection - Explicitly specify which MAIL/RCPT parameters are added by extra capabilities.

This is used in later commit to limit which custom parameters are actually sent
to the server based on the capabilities supported by said server.

lib-smtp: smtp-client-connection - Prevent recording extra capabilities from server more than once.

lib-smtp: smtp-client-connection - Prevent duplicate registrations for extra capabilities.

lib-smtp: smtp-client-connection - Move smtp_client_connection_find_extra_capability().

lib-smtp: smtp-client-connection - Change extra capability registration to use a struct.

This is needed for adding additional features in later commit.

lib-smtp: smtp-client-connection - Fix typo in function name.

lmtp: lmtp-commands - Drop XRCPTFORWARD parameter once processed.

This prevents it from popping up elsewhere. This for example crudely fixes a
problem in the proxy where XRCPTFORWARD was sent even without backend server support.

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification (try #2)

Continues the incomplete fix for c4f4058d16096f23eea0b3182205d6653f5954dd

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

lib-oauth2: test-oauth2-jwt - Fix linkage for openssl

Without whole archive option ssl_iostream_unref isn't
included in linkage, which will prevent libdcrypt from
loading openssl backend.

lib-oauth2: Ensure azp is escaped too

lib-oauth2: Add test for token escape

lib-oauth2: Improve identifier escaping function

lib-oauth2: Move identifier escaping to own function

login-common: Fix memory leak if anvil query is aborted

virtual: virtual-mail - Use index_mail_set_seq to ensure cleanup

Forgotten in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Pass wanted_headers and wanted_fields to backend mails only

Broken in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Use index_mail_free

Since we are using index_mail_init, we need to use index_mail_free
to free up the virtual mail.

virtual: virtual-mail - Free wanted headers in close if we are freeing

Simplifies next change

virtual: virtual-mail - Free up mails in virtual_mail_close if we are freeing up

Makes next change easier

lib: Add comment to CALLBACK_TYPECHECK() macro

lib-index: Add "mail_cache_lookup" event

Adds new event for cache lookups with lookup name as "field" event field.

lib-index: Small refactor in mail_cache_lookup_field()

Makes it easier to emit event in next commit regardless of code path.

lib-storage: Add "mail_expunged" event

Emitted when a message is actually expunged. Has UID as a field.

lib-storage, plugins/virtual: Use mail_sync_notify()

Instead of calling sync_notify vfunc directly.

lib-storage: Add mailbox_sync_notify()

Instead of calling sync_notify vfunc directly everywhere.

lib-storage: Emit "mail_expunge_requested" event

Adds a new event, "mail_expunge_requested" which is emitted when a
message is marked to being expunged.

lib-storage: Emit "mail_opened" event when mails opened

Adds a new event, "mail_opened" with "reason" as field. Also drop duplicate
event in index_mail_init_stream().

lib-storage: Include "age_days" field in mail.event

Goes back one week, if mail age information is known, an integer field is added
with value of mail age in number of days.

plugins/virtual: Use index_mail_init() to initialize the mail

Cleans up duplicated code. Also, index_mail_init initializes mail.event
as well. Something that was missing previously.

lib-storage: Refactor index_mail_init() to make it more reusable

Adds arguments for two memory pools, to be set for mail.pool and
mail.data_pool. If data_pool is NULL, a pool is allocated but mail_pool
is required.

lib-storage: Recreate mail.event when active mail is changed

This makes sure that the two mails' events are treated completely
independently without any accidental spilling. It also prevents wasting
memory if each mail changes the event and grows the memory pool.

lib-smtp: fuzz-smtp-server - Implement all callbacks required for full transaction.

Before required RCPT and DATA callbacks were omitted, causing assertion failures
when the fuzzer reached the RCPT stage.

lib-test: fuzzer - Fix FD-based fuzzing to only shutdown input FD upon end of data.

Before, it closed the whole socket once the data input ended. This for
example caused the SMTP server fuzzer to end before all replies were sent. This
shortened the test and could have hidden bugs that occur later in the SMTP
transaction.

lib-smtp: smtp-reply - Add debug message for reply send error.

This makes it a little clearer at what point the connection loss or error was
noticed and for which command/reply.

lib-lua: Fix compiler warning with dlua_pcall_yieldable()

lib-storage: Make sure listescape can work correctly with shared namespaces

This makes sure that if storage_name_escape_char is set, shared mailboxes
do not return the invalid/unescaped mailbox storage_name internally which
could result in failures like "Invalid mailbox name: Name must not have '/'
character" even when using the listescape plugin.

Broken by 5fd5ad3a2be6708e81f8dcfcbb06a3957dddd276

lib: Fix buffer_t aliasing problems with LTO

This changes the buffer_t slightly, which requires adding extra braces
when buffer_t contents are directly defined.

This changes Dovecot to require C11 compatible compiler, because it uses
anonymous union and struct. GNU99 extensions are also enough.

lib: buffer - Change real_buffer.r_buffer type to const void *

imap: Fix accessing uninitialized variable warning with LTO

There doesn't seem to be any other way to quiet this warning, although
it's wrong.

doveadm dict: Handle missing parameters without crashing

global: Fix accessing uninitialized variables on unit test failures

lib-imap: imap_envelope_parse() - Refactor to avoid LTO warnings

The original code was correct, but gcc with LTO still gave warnings about
potentially uninitialized envlp_r and error_r.

lib: test-array - Fix LTO compiler warnings

-flto correctly realizes that the source buffer size is 1, while memcpy() is
trying to copy UINT_MAX. Try to hide this by allocating the source buffer
dynamically. The intention is to assert-crash anyway before the memcpy() is
reached.

lib-compression: ostream-zstd - Do not return 0 as default

This is accepted by the library but does complicate things with dovecot.

lib-compression: ostream-zstd - Fix assert on value range

doc/openssl.cnf: Increase default_bits to 2048

NIST guidelines mandate that all SSL certificates must be of at least 2048 key length

global: Update default TLS protocol to TLSv1.2

lib-ssl-iostream: Accept TLS version case-insensitive

lib-ssl-iostream: Add additional supported protocols

ANY - Any protocol version accepted
TLSv1.3 - Self-explanatory
LATEST - The newest protocol only

lib-master: Add ssl_cipher_suites

imap-zlib: Support per-algorithm compression level

zlib: Check that compression level is within supported range

imap-zlib: Check that compression level is within supported range

fs-compress: Check that compression range is within supported range

lib-compression: Implement min/default/max getters

lib-compression: Add compression level range to handlers

lib-compression: Use designated initializers for compression handlers

m4: want_zstd.m4 - Detect is ZSTD_minCLevel is present

lib-compression: Be explicit about xz magic number including a \0

lib-smtp: test-smtp-server-errors - Add actual HELO tests to "bad HELO" test.

Before, it only tested the EHLO command.

lib-smtp: test-smtp-server-errors - Add correct command test to "bad HELO" test.

lib-smtp: test-smtp-server-errors - Properly check server reply in "bad HELO" test.

lib-smtp: test-smtp-server-errors - Rename "bad EHLO" test to "bad HELO".

lib-smtp: smtp-server-cmd-helo - Fix panic occurring for default HELO reply.

This only fails for the HELO command; the EHLO command is unaffected. The
default reply routine is not actually used at the moment, but it is used by the
fuzzer.

Panic was:

Panic: file smtp-server-cmd-helo.c: line 160 (smtp_server_cmd_ehlo_reply_create): assertion failed: (cmd->cmd->reg->func == smtp_server_cmd_ehlo)

lib-smtp: Reformat smtp-server-cmd-helo.c.

lib-smtp: smtp-server-cmd-data - Fix crash occurring when BDAT is the last in a too long sequence of bad commands.

When smtp_server_reply() detects that too many replies were sent regarding
syntax errors, it will terminate the connection. Most commands will just stop
processing and exit when a reply is submitted, so no crash occurs for those.
However, BDAT will try to skip the data block, so that it will not be
interpreted as a large set of input commands, which subsequentely crashes
because the command parser is already gone after terminating the connection.

push-notification: Fix logging initialization error

imapc: imapc_list_get_fs() - Set index_pvt_dir for mailbox_list_settings

To allow using private indexes with imapc storage the index_pvt_dir must
be set when listing the mailbox. Previously this did not happen because
the index_pvt_dir was simply NULL, now the value is copied from the
imapc_mailbox_list.

lib-index: Avoid accessing already freed "reason" when purging

Broken by 4b60d609c05d334d29a72c6dbbe301a66f518089

lib-ssl-iostream: Avoid calling X509_check_ip_asc if malformed input was used

Try to match certificate using "X509_check_ip_asc" only when
"X509_check_host" didn't report an internal error or malformed input.

lib-lua: Document the DLUA_WRAP_C_DATA macro

oauth2-jwt: Use int64_t instead time_t for portability

lib-ssl-iostream: Use OpenSSL's X509_check_host and X509_check_ip_asc if available

Make use of "X509_check_host()" and "X509_check_ip_asc()" if OpenSSL version
used has support for these functions. Revert back to previous custom
implementation in case either is not available.

Hosts are checked with partial wildcards (e.g. foo*.example.com) disabled.
If host name check fails, check against IP addresses in the certificate.

m4: Add HAVE_X509_CHECK_HOST, HAVE_X509_CHECK_IP, and HAVE_X509_CHECK_IP_ASC

Defined when compiling against an OpenSSL version supporting "X509_check_host",
"X509_check_ip()", and "X509_check_ip_asc()" respectively.

lib-ssl-iostream: Ignore case when checking certificate name

Host name case must be ignored when cheking with certificate.

lib: ioloop - Remove unused timer_is_larger() macro

lib: test-ioloop - Make sure recreating 0-timeout in callback works

lib: ioloop - Fix 0 ms timeouts to trigger without waiting 2ms between calls

lib-test: test_assert_ucmp() - Fix typo to make it compile

lib-compression: Get error with i_stream_get_error() so it's recursive

In some cases the iostream.error was NULL so the errno default message
was used. This fixes an regression introduced by 8b6142f9ba9.

lib-dict: dict-lua - Do not free pool after iteration finishes

Otherwise we get double-free from gc.

Broken in 1e67b93cc9f469bb144fc890a6cb9b9b9cd20811

man: doveconf - Fix -P/ typo to just -P

man: doveconf - Document -s parameter

doveadm zlibconnect: Support multiple compression algorithms

Unfortunately they don't work very well, because only the deflate ostream
supports flushing ostream before closing it.

doveadm zlibconnect: Support automatically starting compression on COMPRESS command

The previous method of using ctrl-d wasn't really suitable for scripting.

lib-compression: Fix potential hangs with non-blocking istreams

lib: i_stream_read() - Fix assert with DEBUG enabled

It doesn't matter if the data buffer changes for <=0 return value if the
buffer was previously empty.

lib-storage: mailbox_list_init_fs() - Add event_parent

lib-storage: Rename mail_storage_service_input.parent_event to event_parent

This makes it more consistent with other settings.

lib-fs: Rename fs_settings.event to event_parent

This makes it more consistent with other settings.

lib-dict: Set connections' event_parent correctly

dict->dict.event is NULL at this point.

auth: db-sql - Fill sql_settings.event_parent

global: Set http_client_settings.event_parent when possible