zlib: Handle empty zlib_save_level the same as if it doesn't exist

zlib: Fix crash when zlib_save_level is set, but zlib_save is unset

driver-pgsql: Fix error leak

lib-compression: ostream-zlib - Fix non-blocking gz header write

Broken by 373dc6a93da1f6a0ad0c80dbb72566c2b3a295f2

lib-storage: mailbox_get_expunge*() - Fix assert-crash on index corruption

This happened in the very unlikely situation that indexes became corrupted
between two mail_transaction_log_view_set() calls.

Fixes:
Panic: file mailbox-get.c: line 112 (mailbox_get_expunges_init): assertion failed: (ret != 0)

lib: str_hash() - Ignore integer wrapping with ubsan

ATTR_NO_SANITIZE_INTEGER was already set for other hash functions, but
forgotten for this one.

Fixes e.g.:
Error: hash.c:529:16: runtime error: unsigned integer overflow: 4294967200 + 115 cannot be represented in type ‘unsigned int’

lib: ostream-wrapper - Make sure o_stream_finish() has stream_errno != 0 when -1 is to be returned.

Fixes:

Panic: file ostream.c: line 209 (o_stream_flush): assertion failed: (stream->stream_errno != 0)

driver-cassandra: Fix prepared statement pool leak

stats: Remove metric from stats dump, when removing dynamically.

lib-ssl-iostream: istream-openssl - Remove assert() in i_stream_ssl_read().

lib-ssl-iostream: iostream-openssl - Allow plain_input buffer to remain filled in openssl_iostream_bio_input().

lib-ssl-iostream: iostream-openssl - Use o_stream_uncork_flush() to uncork the plain output.

This flushes the stream after uncorking it, fixing I/O hang with nested SSL
layers.

lib-ssl-iostream: iostream-openssl - Return immediately from openssl_iostream_bio_output() upon error.

lib-ssl-iostream: iostream-openssl - Move error handling out of openssl_iostream_bio_output().

Makes the next commit clearer.

lib-ssl-iostream: test-iostream-ssl - Make finishing the ssl streams more robust.

Fixes:

Panic: file ostream.c: line 59 (o_stream_close_full): assertion failed: (stream->real_stream->error_handling_disabled)

lib-ssl-iostream: test-iostream-ssl - Properly mark client endpoints.

lib-ssl-iostream: test-iostream-ssl - Move small_packets_flush_callback().

lib-ssl-iostream: test-iostream-ssl - Move bufsize_flush_callback().

lib-ssl-iostream: ostream-openssl - Call SSL_shutdown() once stream is finished and buffer is empty.

lib: istream - Remove try_alloc_limit.

lib-ssl-iostream - iostream-openssl - Use i_stream_read_limited().

lib: istream - Add i_stream_read_limited().

lib-ssl-iostream: istream-openssl - Simplify i_stream_ssl_read().

Avoid using a stack buffer. Just fill the stream to the maximum buffer size.

lib-ssl-iostream: iostream-openssl - Add OPENSSL_IOSTREAM_SYNC_TYPE_NONE.

This is useful for calling openssl_iostream_handle_error() while avoiding
processing more I/O.

lib-ssl-iostream: Fix error handling if parent iostream fails

Expand out and remove openssl_iostream_more(). It could have returned
errors to two different locations depending on whether the failure came
from SSL handshake or parent iostream.

lib-ssl-iostream: ostream-ssl - Add ssl_io helper variable

lib: o_stream_copy_error_from_parent() - Assert-crash if source stream_errno is 0

This can help debug situations where error is missing.

global: Call o_stream_copy_error_from_parent() only on errors

lib-compression: ostream-zlib - Fix sending partial gz header to parent ostream

This practically wouldn't happen.

lib-http: test-http-client-errors - Revert previous retry changes

The real bug is found now, so the previous fix attempt isn't useful.
Reverts ed1264368a5435c3080871380156978a8951fe26

lib-http: test-http-client-errors - Reset USR1 notification signal between tests

The "connection refused" test already set the signal as being received,
which caused the "connection refused backoff" test to randomly fail since it
thought the signal was immediately received.

lib: istream-concat - Prevent inheriting SIZE_MAX max buffer size from parent streams.

Only when all parent streams have SIZE_MAX for max buffer size, the concat stream will follow suit.

lib-storage: Add mailbox_list.disable_rebuild_on_corruption

If set, don't try to rebuild the mailbox list index even if corruption is
detected.

lib-dcrypt: Fix istream-decrypt snapshotting

This is mostly copy&pasted from istream-header-filter.

lib-storage: hide mail_cache_min_mail_count setting

master: Avoid leaking master client fds to forked processes

stats: Improve error message for doveadm stats add.

stats: Check if metric already exists when adding dynamically.

driver-pglsqlpool: Implement sql_get_flags() reliably

Try to use one of the already connected databases. If none were found,
create a new database.

driver-pgsql: Implement sql_get_flags() reliably

Some of the flags aren't known until server is connected to, so wait for the
connect to finish if necessary before returning the flags.

driver-sqlpool: Implement sql_wait()

driver-cassandra: Add wait() implementation

driver-pgsql: Add wait() implementation

dict-sql: Add "sql_dict_wait()" implementation

lib-sql now has sql_wait().

lib-sql: Add "wait" vfunc

To be used in backends that support async operations. On deinit dicts
should wait for results and then exit.

driver-pgsql: Keep a list of pending query results

To be used in wait() to determine if there are pending operations.

dict: Wait for all dicts to finish pending operations at shutdown

This also changes the dict process to exit cleanly instead of early via
lib_exit().

dict: Unref dict connection immediately when connection is destroyed

The delayed unrefing is needed when calling from dict command callbacks to
avoid calling dict_deinit() too early. But the connection's destroy() vfunc
can't be called directly from dict command callbacks, so there's no need
to add further delays. Especially when this happens at deinit where there is
no possibility of calling the delayed callback anymore.

driver-pgsql: Fix escaped blob prefix

Escaped strings must be prefixed with double backslash.

driver-pgsql: Fix assert-crash when using binary fields

array_idx_modifiable() changed behavior in
1d4e5de8414ed93d1c810b30a91ad83d6d954861 and doesn't allocate space
anymore.

Fixes:
Panic: file array.c: line 10 (array_idx_modifiable_i): assertion failed: (idx < array->buffer->used / array->element_size)

doveadm mail batch: Fix run() return value on errors

The function always returned 0, even when there was an error. This practically
doesn't fix anything, but makes it work the way it was intended. It also makes
scan-build happier.

Broken by fd4360e30b695e596a5081a6080152188a12852a

mdbox: Add assert to help static analyzers

mdbox_sync_begin() can return 0 with sync_ctx=NULL, but not with the
parameters given here.

lib-smtp: smtp_client_transaction_get_state_name() - Fix return value

Only the "new" state was returned correctly, while everything else was
wrong. This didn't really cause problems, because it was used only by
imaptest.

lib: Ignore COMPILE_ERROR_IF_TRUE() with --enable-static-checker

lib: container_of() - Always return NULL if input pointer is NULL

lib: container_of() - Avoid uintptr_t

Using uintptr_t confused Coverity, but char* works fine.

indexer: Abort requests if indexer-worker disconnects unexpectedly

lib-storage: Add reason_code=mail:header_fields

lib-storage: Add more specific mail:* reason_codes in when prefetching

Added:
 * mail:attachment_keywords
 * mail:date
 * mail:snippet
 * mail:mime_parts
 * mail:imap_envelope
 * mail:imap_bodystructure

fts: Add reason_code=fts:index and fts:lookup

Note that fts:index won't be used for email opening events, because the
emails are already opened by the indexer precache searching code due to
wanted_fields.

lib-storage: Add reason_code=mailbox:*

Added:
 * mailbox:create
 * mailbox:update
 * mailbox:delete
 * mailbox:rename
 * mailbox:subscribe
 * mailbox:unsubscribe
 * mailbox:attributes_changed

lib-storage: Add reason_code=mailbox:search

lib-storage: Add reason_code=mailbox:thread

This is split into a few different locations in the code.

lib-storage: Add reason_code=mailbox:vsize*

 * mailbox:vsize - mailbox vsize is asked
 * mailbox:vsize_update - mailbox vsize is updated (append/expunge)

lib-storage: Add reason_code=mailbox:sort

lib-storage: Add reason_code=mail:*

 * mail:virtual_size
 * mail:physical_size
 * mail:snippet
 * mail:prefetch
 * mail:mime_parts
 * mail:date
 * mail:received_date
 * mail:save_date
 * mail:storage_id
 * mail:pop3_uidl
 * mail:pop3_order
 * mail:guid
 * mail:refcount
 * mail:refcount_id

lib-storage: Remove mailbox_set_reason()

Event reason_codes should be used instead. Keep the "Mailbox opened"
debug message mainly because it's often used in CI tests.

global: Remove mailbox_set_reason() calls

These ones that are left are all rather unnecessary.

pop3: Add reason_code=pop3:cmd_<command name> to events

pop3: Replace mailbox_set_reason() with reason_code=pop3:initialize

virtual: Replace mailbox_set_reason() with reason_code=virtual:config_read

trash: Replace mailbox_set_reason() with reason_code=trash:clean

quota: Replace mailbox_set_reason() with reason_code=quota:recalculate and quota:count

pop3-migration: Replace mailbox_set_reason() with reason_code=pop3_migration:uidl_sync

lazy_expunge: Replace mailbox_set_reason() with reason_code=lazy_expunge:expunge

lazy-expunge: Split off lazy_expunge_mail_expunge_move()

lib-storage: Replace mailbox_set_reason() with reason_code=storage:autoexpunge and storage:mailbox_list_rebuild

mdbox: Replace mailbox_set_reason() with reason_code=mdbox:rebuild

mdbox: Split off mdbox_storage_rebuild_scan_prepare()

indexer: Replace mailbox_set_reason() with reason_code=indexer:index_mailbox

imap: Add reason_code=imap:fetch_*

The main reason for these is to allow understanding why mails are being
opened. The possibilities:

 * imap:fetch_body
 * imap:fetch_header
 * imap:fetch_header_fields
 * imap:fetch_bodystructure
 * imap:fetch_size

imap: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

imap: Add reason_code=imap:unhibernate for events during unhibernation.

imap: Add reason_code=imap:notify_update for events during NOTIFY updates

imap: Add and use client_command_context.global_event

This way all the (potentially large) IMAP command parameters won't be
included in all the events. This change might be reverted in the future
if the performance worries go away.

The global event also contains reason_code=imap:cmd_<command name> field.

doveadm: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

doveadm: Add reason_code=doveadm:cmd_<command name> to events

dsync: ioloop context shouldn't deactivate after ioloop has run

Normally that is wanted, but dsync reuses the same ioloop as the parent
doveadm connection, so after the inner io_loop_run() it's still running
in the doveadm connection's io callback.

Without this all the global events will be popped out, and the following
global event change commit will cause crashes.

doveadm copy: Don't permanently activate source user's ioloop

doveadm import: Don't permanently activate source user's ioloop

After the source user is initialized, the original user's ioloop should be
activated back.

submission: Add reason_code=submission:cmd_<name>

lmtp: Add reason_code=lmtp:cmd_<name>

lib-smtp: Add reason_code=<reason_code_module>:cmd_*

This requires caller to set smtp_server_settings.reason_code_module.
For now only cmd_mail, cmd_rcpt and cmd_data are implemented. The other
commands are likely not very useful.

lib-http: http-client-request - Preserve global events' reason_code in request events

Since HTTP requests are asynchronous, it's possible that the global events
go away before the HTTP request is finished. This way the reason_code will
be preserved in http_request_finished event.

lib: Add event_reason_code() for building reason codes easily

lib: Add event_reason_begin/end() API

This can be used to easily add reason_code to all events being emitted
within the begin..end calls. The reasons can also be nested. For example:

reason = event_reason_begin("reason1");
// ...
reason2 = event_reason_begin("reason2");
// ..
event_reason_end(&reason2);
event_reason_end(&reason);

This results in having reason_code=["reason1", "reason2"] for all events
emitted while reason2 exists.

lib: event_pop_global() - Assert-crash if trying to pop ioloop context's global root event

This makes it easier to debug bugs.

lib: Push/pop global event stack automatically when ioloop contexts are switched

lib-storage: mail_storage_service_next*() - On failure don't leave user's io context activated

lib-storage: Remove global event stack tracking

This will be implemented by ioloop contexts directly in the next commit.