driver-pgsql: Implement sql_get_flags() reliably

Some of the flags aren't known until server is connected to, so wait for the
connect to finish if necessary before returning the flags.

driver-sqlpool: Implement sql_wait()

driver-cassandra: Add wait() implementation

driver-pgsql: Add wait() implementation

dict-sql: Add "sql_dict_wait()" implementation

lib-sql now has sql_wait().

lib-sql: Add "wait" vfunc

To be used in backends that support async operations. On deinit dicts
should wait for results and then exit.

driver-pgsql: Keep a list of pending query results

To be used in wait() to determine if there are pending operations.

dict: Wait for all dicts to finish pending operations at shutdown

This also changes the dict process to exit cleanly instead of early via
lib_exit().

dict: Unref dict connection immediately when connection is destroyed

The delayed unrefing is needed when calling from dict command callbacks to
avoid calling dict_deinit() too early. But the connection's destroy() vfunc
can't be called directly from dict command callbacks, so there's no need
to add further delays. Especially when this happens at deinit where there is
no possibility of calling the delayed callback anymore.

driver-pgsql: Fix escaped blob prefix

Escaped strings must be prefixed with double backslash.

driver-pgsql: Fix assert-crash when using binary fields

array_idx_modifiable() changed behavior in
1d4e5de8414ed93d1c810b30a91ad83d6d954861 and doesn't allocate space
anymore.

Fixes:
Panic: file array.c: line 10 (array_idx_modifiable_i): assertion failed: (idx < array->buffer->used / array->element_size)

doveadm mail batch: Fix run() return value on errors

The function always returned 0, even when there was an error. This practically
doesn't fix anything, but makes it work the way it was intended. It also makes
scan-build happier.

Broken by fd4360e30b695e596a5081a6080152188a12852a

mdbox: Add assert to help static analyzers

mdbox_sync_begin() can return 0 with sync_ctx=NULL, but not with the
parameters given here.

lib-smtp: smtp_client_transaction_get_state_name() - Fix return value

Only the "new" state was returned correctly, while everything else was
wrong. This didn't really cause problems, because it was used only by
imaptest.

lib: Ignore COMPILE_ERROR_IF_TRUE() with --enable-static-checker

lib: container_of() - Always return NULL if input pointer is NULL

lib: container_of() - Avoid uintptr_t

Using uintptr_t confused Coverity, but char* works fine.

indexer: Abort requests if indexer-worker disconnects unexpectedly

lib-storage: Add reason_code=mail:header_fields

lib-storage: Add more specific mail:* reason_codes in when prefetching

Added:
 * mail:attachment_keywords
 * mail:date
 * mail:snippet
 * mail:mime_parts
 * mail:imap_envelope
 * mail:imap_bodystructure

fts: Add reason_code=fts:index and fts:lookup

Note that fts:index won't be used for email opening events, because the
emails are already opened by the indexer precache searching code due to
wanted_fields.

lib-storage: Add reason_code=mailbox:*

Added:
 * mailbox:create
 * mailbox:update
 * mailbox:delete
 * mailbox:rename
 * mailbox:subscribe
 * mailbox:unsubscribe
 * mailbox:attributes_changed

lib-storage: Add reason_code=mailbox:search

lib-storage: Add reason_code=mailbox:thread

This is split into a few different locations in the code.

lib-storage: Add reason_code=mailbox:vsize*

 * mailbox:vsize - mailbox vsize is asked
 * mailbox:vsize_update - mailbox vsize is updated (append/expunge)

lib-storage: Add reason_code=mailbox:sort

lib-storage: Add reason_code=mail:*

 * mail:virtual_size
 * mail:physical_size
 * mail:snippet
 * mail:prefetch
 * mail:mime_parts
 * mail:date
 * mail:received_date
 * mail:save_date
 * mail:storage_id
 * mail:pop3_uidl
 * mail:pop3_order
 * mail:guid
 * mail:refcount
 * mail:refcount_id

lib-storage: Remove mailbox_set_reason()

Event reason_codes should be used instead. Keep the "Mailbox opened"
debug message mainly because it's often used in CI tests.

global: Remove mailbox_set_reason() calls

These ones that are left are all rather unnecessary.

pop3: Add reason_code=pop3:cmd_<command name> to events

pop3: Replace mailbox_set_reason() with reason_code=pop3:initialize

virtual: Replace mailbox_set_reason() with reason_code=virtual:config_read

trash: Replace mailbox_set_reason() with reason_code=trash:clean

quota: Replace mailbox_set_reason() with reason_code=quota:recalculate and quota:count

pop3-migration: Replace mailbox_set_reason() with reason_code=pop3_migration:uidl_sync

lazy_expunge: Replace mailbox_set_reason() with reason_code=lazy_expunge:expunge

lazy-expunge: Split off lazy_expunge_mail_expunge_move()

lib-storage: Replace mailbox_set_reason() with reason_code=storage:autoexpunge and storage:mailbox_list_rebuild

mdbox: Replace mailbox_set_reason() with reason_code=mdbox:rebuild

mdbox: Split off mdbox_storage_rebuild_scan_prepare()

indexer: Replace mailbox_set_reason() with reason_code=indexer:index_mailbox

imap: Add reason_code=imap:fetch_*

The main reason for these is to allow understanding why mails are being
opened. The possibilities:

 * imap:fetch_body
 * imap:fetch_header
 * imap:fetch_header_fields
 * imap:fetch_bodystructure
 * imap:fetch_size

imap: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

imap: Add reason_code=imap:unhibernate for events during unhibernation.

imap: Add reason_code=imap:notify_update for events during NOTIFY updates

imap: Add and use client_command_context.global_event

This way all the (potentially large) IMAP command parameters won't be
included in all the events. This change might be reverted in the future
if the performance worries go away.

The global event also contains reason_code=imap:cmd_<command name> field.

doveadm: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

doveadm: Add reason_code=doveadm:cmd_<command name> to events

dsync: ioloop context shouldn't deactivate after ioloop has run

Normally that is wanted, but dsync reuses the same ioloop as the parent
doveadm connection, so after the inner io_loop_run() it's still running
in the doveadm connection's io callback.

Without this all the global events will be popped out, and the following
global event change commit will cause crashes.

doveadm copy: Don't permanently activate source user's ioloop

doveadm import: Don't permanently activate source user's ioloop

After the source user is initialized, the original user's ioloop should be
activated back.

submission: Add reason_code=submission:cmd_<name>

lmtp: Add reason_code=lmtp:cmd_<name>

lib-smtp: Add reason_code=<reason_code_module>:cmd_*

This requires caller to set smtp_server_settings.reason_code_module.
For now only cmd_mail, cmd_rcpt and cmd_data are implemented. The other
commands are likely not very useful.

lib-http: http-client-request - Preserve global events' reason_code in request events

Since HTTP requests are asynchronous, it's possible that the global events
go away before the HTTP request is finished. This way the reason_code will
be preserved in http_request_finished event.

lib: Add event_reason_code() for building reason codes easily

lib: Add event_reason_begin/end() API

This can be used to easily add reason_code to all events being emitted
within the begin..end calls. The reasons can also be nested. For example:

reason = event_reason_begin("reason1");
// ...
reason2 = event_reason_begin("reason2");
// ..
event_reason_end(&reason2);
event_reason_end(&reason);

This results in having reason_code=["reason1", "reason2"] for all events
emitted while reason2 exists.

lib: event_pop_global() - Assert-crash if trying to pop ioloop context's global root event

This makes it easier to debug bugs.

lib: Push/pop global event stack automatically when ioloop contexts are switched

lib-storage: mail_storage_service_next*() - On failure don't leave user's io context activated

lib-storage: Remove global event stack tracking

This will be implemented by ioloop contexts directly in the next commit.

lib: Fix global events to actually work

Also add comments to clarify how exactly it works.

lib: event_push_global() - Assert that event is not NULL

lib-master: Fix sending events recursively

The event sending itself may recursively trigger more events (e.g.
data_stack_grow). The previous BEGINs must have been flushed by that
time or the recursive events might be pointing to event IDs that haven't
even been sent to the stats process yet.

Fixes:
stats: Error: Client sent invalid input for UPDATE: Unknown event ID

lib-master, stats: Send global events to stats process

stats: Support group_by for string lists

stats: Support exporting event string lists

stats: Split off stats_metric_get_sub_metric()

stats: Rename stats_metric_get_sub_metric() to stats_metric_find_sub_metric()

stats: Split off stats_metric_group_by_value_label()

stats: stats_metric_group_by_*() - Add _r suffix to returned value parameter

lib: lib-event - Add support for string lists

Provide API to create string lists. These are particularly
useful if you need to provide list of causes for an event,
such as why some mail was opened.

lib: test-event-filter - Improve "override parent fields" test

lib: test-event-filter - Fix parent/child events to actually be parent/child

lib: Split off event_import_arg()

lib: Split off event_import_field()

lib-index: Allow ignoring index corruption checks with --enable-devel-checks

If DEBUG_IGNORE_INDEX_CORRUPTION environment is set, don't check if
index contains internal corruption. This is useful for CI tests that
intentionally test corrupted indexes.

lib-http: http-server: Add request events

Adds http_server_request_started and http_server_request_finished.

lib-http: http-server-request - Add request_id and status_code fields to event

stats: Use duplicated metric settings in stats_metrics_add_dynamic().

imapc: Add MAIL_STORAGE_CLASS_FLAG_SECONDARY_INDEX storage class flag

Add SECONDARY_INDEX storage class flag to enable storing shared private
indexes in obox user root bundle.

lib-storage: mail_get_binary_stream() - Add comment about having to unref returned istream

lib: test-cpu-limit - Remove dead code

No longer needed after 6d902507c24fca4f64e3e9bf7d79ae5a48281cd8

lib: test-strfuncs - Avoid testing p_strndup() with overlong max_chars parameter

This ended up in memchr() call with n=SIZE_MAX-1, which sometimes doesn't
work right with old glibc versions.

Fixes:
Panic: Trying to allocate 18446744073709551615 bytes

lib-mail: Add test for empty header value

lib-mail: Limit header length to 1000 bytes

lib-mail: If message header has no colon, store it as value only

If the header is missing :, it is not valid header. Storing it as
value only ensures it will be kept by mbox rewrite, but will not
be processed as a header.

lib-mail: test-message-header-parser - Add NAME10, 100, 1000 macros for testing

lib: Add i_memspn() and i_memcspn()

Binary data safe variants of strspn() and strcspn()

virtual: Log a debug message why backend mailbox has changed

lib-storage: mail-duplicate - Restructure mail_duplicate_read_db_file() to make sure fd is closed.

Found by Coverity.

lib-storage: mail-duplicate - Fix segfault occurring upon failure to lock and open DB file.

Found by Coverity.

indexer-worker: Fix event leak on error handling

lib-storage: mail-duplicate - Implement separate error code for deadlock.

lib-storage: mail-duplicate - Update records from duplicate DB file after acquirement of per-ID lock.

The process previously holding the per-ID lock may have updated the DB.

lib-storage: mail-duplicate - Move acquirement of dotlock for DB file into mail_duplicate_read().

lib-storage: mail-duplicate - Implement per-ID locking.

lib-storage: mail-duplicate - Allow calling mail_duplicate_read() more than once in a transaction.

lib-storage: mail-duplicate - Record an entry for both checked and marked IDs.

Still only write the marked IDs to the file. The in-memory record is needed for
the locking introduced in a later commit.

lib-storage: mail-duplicate - Add debug messages for transaction.