Release v2.3.17.1

dsync: Fix -I max-size to actually be the max-size rather than min-size

The -I max-size parameter was supposed to be used to skip mails that are
larger than max-size. Instead, it skipped mails that were smaller.

man: Add missing parameters to doveadm-sync

dsync: Remove -D parameter that disables syncing mailbox renames

It hasn't been necessary for a long time, and its behavior seems to be
broken.

dsync: Add back various missing parameters

Also add them to the usage string.

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

master: Use MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This prevents startup failures if ssl_ca has a large number of certificates.

Broken by 36ff43f1a9aff8594d08f791e77ea13390fd569f

lib-master: Add MASTER_SERVICE_FLAG_DISABLE_SSL_SET

dsync: Add back missing -T parameter

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

lib-ssl-iostream: Fix assert-crash when OpenSSL returns syscall error without errno

Incomplete fix in f41874b3dec541478a85275698a91f089f537df2

Fixes:
Panic: file istream-openssl.c: line 51 (i_stream_ssl_read_real): assertion failed: (errno != 0)

NEWS: Add news for 2.3.17

lib-storage: When search parses message headers, deinitialize the parsing properly

index_mail_parse_header() was being called only for the actual headers.
This prevented it from being called with hdr=NULL to indicate that the
parsing is finished and should be deinitialized. Move the
index_mail_parse_header() to be called earlier so it's called also with
hdr=NULL.

Not deinitilizing the parsing could have caused assert-crashes later on in
some situations.

Fixes:
Panic: file index-mail-headers.c: line 667 (index_mail_get_raw_headers): assertion failed: (mail->mail.mail.lookup_abort >= MAIL_LOOKUP_ABORT_NOT_IN_CACHE)
Panic: file ../../../src/lib/array.h: line 244 (array_idx_i): assertion failed: (idx < array->buffer->used / array->element_size)
Panic: file index-mail.c: line 1203 (index_mail_parse_body_finish): assertion failed: (!success)

lib-index: Add mail_index_alloc_cache_find()

maildir: Fix crash when closing a mailbox that isn't open

This could have happened at least with virtual plugin.

imap: Fix handling client initialization error

It should send "OK Logged in" + BYE, not PREAUTH.

Broken by 714ff4342e39e309ff184905cd2f714def6177a3

imap: Move client_add_input() content to calling functions

imap: Move IMAPLOGINTAG environment handling

It can only happen with stdio clients when they don't have CLIENT_INPUT,
so it makes more sense to exist in the calling function.

imap-login: proxy: Don't forward untagged BYE responses to the client

It will just cause confusion, especially when connections are retried.
It could end up looking like:

x login user pass
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
x NO [UNAVAILABLE] Account is temporarily unavailable.

lib-storage: mail_storage_service_lookup() - Fix memory leak when returning -2

This was also visible as event leaks.

virtual: Fix assert-crash when backend mbox mailbox is deleted while virtual mailbox is open

The code wrongly thought that metadata lookup couldn't fail because it was
already successfully looked up. But the backend storage could still try to
refresh the mailbox to verify whether it still exists or not, and fail if
it was deleted.

This seems to have affected only the mbox mailbox format.

Broken by 710346bcb884b464c8ed128870fdc1999c13dfd3

lib-http: test-http-client-errors - Revert previous retry changes

The real bug is found now, so the previous fix attempt isn't useful.
Reverts ed1264368a5435c3080871380156978a8951fe26

lib-http: test-http-client-errors - Reset USR1 notification signal between tests

The "connection refused" test already set the signal as being received,
which caused the "connection refused backoff" test to randomly fail since it
thought the signal was immediately received.

lib: Fix data_stack_get_alloc_size() and data_stack_get_used_size()

It only worked correctly if data stack hadn't been grown. This resulted
in wrong numbers in the data_stack_grow event.

virtual: Fix leaking mailboxes if virtual mailbox can't be opened

Fixes also a crash at deinit:
Panic: file mail-user.c: line 232 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

driver-pgsql: Fix error leak

stats: Remove metric from stats dump, when removing dynamically.

stats: Improve error message for doveadm stats add.

stats: Check if metric already exists when adding dynamically.

driver-cassandra: Fix prepared statement pool leak

lib: istream-concat - Prevent inheriting SIZE_MAX max buffer size from parent streams.

Only when all parent streams have SIZE_MAX for max buffer size, the concat stream will follow suit.

lib-storage: Add mailbox_list.disable_rebuild_on_corruption

If set, don't try to rebuild the mailbox list index even if corruption is
detected.

indexer: Abort requests if indexer-worker disconnects unexpectedly

driver-pglsqlpool: Implement sql_get_flags() reliably

Try to use one of the already connected databases. If none were found,
create a new database.

driver-pgsql: Implement sql_get_flags() reliably

Some of the flags aren't known until server is connected to, so wait for the
connect to finish if necessary before returning the flags.

driver-sqlpool: Implement sql_wait()

driver-cassandra: Add wait() implementation

driver-pgsql: Add wait() implementation

dict-sql: Add "sql_dict_wait()" implementation

lib-sql now has sql_wait().

lib-sql: Add "wait" vfunc

To be used in backends that support async operations. On deinit dicts
should wait for results and then exit.

driver-pgsql: Keep a list of pending query results

To be used in wait() to determine if there are pending operations.

dict: Wait for all dicts to finish pending operations at shutdown

This also changes the dict process to exit cleanly instead of early via
lib_exit().

dict: Unref dict connection immediately when connection is destroyed

The delayed unrefing is needed when calling from dict command callbacks to
avoid calling dict_deinit() too early. But the connection's destroy() vfunc
can't be called directly from dict command callbacks, so there's no need
to add further delays. Especially when this happens at deinit where there is
no possibility of calling the delayed callback anymore.

driver-pgsql: Fix escaped blob prefix

Escaped strings must be prefixed with double backslash.

driver-pgsql: Fix assert-crash when using binary fields

array_idx_modifiable() changed behavior in
1d4e5de8414ed93d1c810b30a91ad83d6d954861 and doesn't allocate space
anymore.

Fixes:
Panic: file array.c: line 10 (array_idx_modifiable_i): assertion failed: (idx < array->buffer->used / array->element_size)

stats: Use duplicated metric settings in stats_metrics_add_dynamic().

configure: Set version to 2.3.17

imapc: Add MAIL_STORAGE_CLASS_FLAG_SECONDARY_INDEX storage class flag

Add SECONDARY_INDEX storage class flag to enable storing shared private
indexes in obox user root bundle.

lib-storage: mail_get_binary_stream() - Add comment about having to unref returned istream

lib: test-cpu-limit - Remove dead code

No longer needed after 6d902507c24fca4f64e3e9bf7d79ae5a48281cd8

lib: test-strfuncs - Avoid testing p_strndup() with overlong max_chars parameter

This ended up in memchr() call with n=SIZE_MAX-1, which sometimes doesn't
work right with old glibc versions.

Fixes:
Panic: Trying to allocate 18446744073709551615 bytes

lib-mail: Add test for empty header value

lib-mail: Limit header length to 1000 bytes

lib-mail: If message header has no colon, store it as value only

If the header is missing :, it is not valid header. Storing it as
value only ensures it will be kept by mbox rewrite, but will not
be processed as a header.

lib-mail: test-message-header-parser - Add NAME10, 100, 1000 macros for testing

lib: Add i_memspn() and i_memcspn()

Binary data safe variants of strspn() and strcspn()

virtual: Log a debug message why backend mailbox has changed

lib-storage: mail-duplicate - Restructure mail_duplicate_read_db_file() to make sure fd is closed.

Found by Coverity.

lib-storage: mail-duplicate - Fix segfault occurring upon failure to lock and open DB file.

Found by Coverity.

indexer-worker: Fix event leak on error handling

lib-storage: mail-duplicate - Implement separate error code for deadlock.

lib-storage: mail-duplicate - Update records from duplicate DB file after acquirement of per-ID lock.

The process previously holding the per-ID lock may have updated the DB.

lib-storage: mail-duplicate - Move acquirement of dotlock for DB file into mail_duplicate_read().

lib-storage: mail-duplicate - Implement per-ID locking.

lib-storage: mail-duplicate - Allow calling mail_duplicate_read() more than once in a transaction.

lib-storage: mail-duplicate - Record an entry for both checked and marked IDs.

Still only write the marked IDs to the file. The in-memory record is needed for
the locking introduced in a later commit.

lib-storage: mail-duplicate - Add debug messages for transaction.

lib-storage: mail-duplicate - Add debug messages for database.

lib-storage: mail-duplicate - Add event to transaction object.

lib-storage: mail-duplicate - Add event to database object.

lib-storage: mail-duplicate - Restructure API to make it transaction-based.

lib-storage: mail-duplicate - Change mail_duplicate_check() return type from bool to enum.

lib-storage: Reformat mail-duplicate.c.

lib-storage: mail-user - Add mail_user_get_volatile_dir().

lib: file-lock - Adjust API to allow EDEADLK to be used by application.

It always caused a Dovecot panic before when returned from kernel.

lib: file-lock - Rework API to make it extensible.

lib: file-lock - Rename file_{wait,try}_lock_error() to file_{wait,try}_lock().

lib: file-lock - Remove file_{wait,try}_lock().

global: Avoid use of file_{wait,try}_lock().

Use the file_{wait,try}_lock_error() variants instead.

lib-http: test-http-client-errors - Allow more relaxed timeouts for connect retry tests

With max_connect_attempts=3 the connects come at (0ms, 100ms, 300ms).
Before the 3rd attempt a timeout at 250ms must have triggered, so there
was only 50ms time for it to trigger. This wasn't always enough when
running with valgrind on an overloaded system. Solve this by increasing
max_connect_attempts=4 so the 4th attempt comes at 700ms, giving the
timeout 450ms to trigger.

lib: Add most data_stack_grow event fields before checking if event is wanted

This allows using e.g. "event=data_stack_grow and alloc_size > 32768" as
an event filter.

config: Add data stack frame

doveconf: Avoid unnecessary data stack use when writing output

master: Create each service in its own data stack frame

doveadm: Call each run() in its own data stack frame

dsync: Add data stack frames to mailbox loops

dsync: Split off dsync_brain_recv_mailbox_tree_add()

acl: Code cleanup - Remove pointless while-loop

acl: acllist rebuild - Move data stack frame to caller's loop

acl: Add data stack frame when iterating mailboxes

Avoids wasting memory when there are a lot of mailboxes.

lib-storage: mail_user_unref() - Add data stack frame

The deinit code paths can sometimes eat up quite a lot of data stack.

lib-storage: mailbox_create() - Add data stack frames

lib-storage: Add data stack frames to [service] user initialization

Initialization steps can use a lot of data stack, so try to free it at
several checkpoints.

lib-storage: Add data stack frame when iterating mailboxes to build GUID cache

lib-storage: mailbox_verify_*name() - Add data stack frames

This function can eat up quite a lot of data stack.

lib-storage: str_contains_special_use() - Add data stack frame

This function is called in a loop by namespace_find_special_use().

lib-storage: List index rebuild - Add data stack frames

lib-storage: List index rebuild - Split off mail_storage_list_index_find_indexed_mailbox()

lib-storage: Don't use data stack for mailbox list index header update

There can be a lot of mailboxes, causing excessive data stack usage.

lib-index: Don't use data stack for building index header update buffer

The header update can be large (e.g. dovecot.list.index with many
mailboxes) and grow data stack unnecessarily.

lib: module_dir_deinit() - Call each deinit() in its own data stack frame

lib: test-data-stack - Make sure data stack memory usage doesn't leak