trash: Replace mailbox_set_reason() with reason_code=trash:clean

quota: Replace mailbox_set_reason() with reason_code=quota:recalculate and quota:count

pop3-migration: Replace mailbox_set_reason() with reason_code=pop3_migration:uidl_sync

lazy_expunge: Replace mailbox_set_reason() with reason_code=lazy_expunge:expunge

lazy-expunge: Split off lazy_expunge_mail_expunge_move()

lib-storage: Replace mailbox_set_reason() with reason_code=storage:autoexpunge and storage:mailbox_list_rebuild

mdbox: Replace mailbox_set_reason() with reason_code=mdbox:rebuild

mdbox: Split off mdbox_storage_rebuild_scan_prepare()

indexer: Replace mailbox_set_reason() with reason_code=indexer:index_mailbox

imap: Add reason_code=imap:fetch_*

The main reason for these is to allow understanding why mails are being
opened. The possibilities:

 * imap:fetch_body
 * imap:fetch_header
 * imap:fetch_header_fields
 * imap:fetch_bodystructure
 * imap:fetch_size

imap: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

imap: Add reason_code=imap:unhibernate for events during unhibernation.

imap: Add reason_code=imap:notify_update for events during NOTIFY updates

imap: Add and use client_command_context.global_event

This way all the (potentially large) IMAP command parameters won't be
included in all the events. This change might be reverted in the future
if the performance worries go away.

The global event also contains reason_code=imap:cmd_<command name> field.

doveadm: Remove mailbox_set_reason() calls

They are now unnecessary because of the new reason_code field.

doveadm: Add reason_code=doveadm:cmd_<command name> to events

dsync: ioloop context shouldn't deactivate after ioloop has run

Normally that is wanted, but dsync reuses the same ioloop as the parent
doveadm connection, so after the inner io_loop_run() it's still running
in the doveadm connection's io callback.

Without this all the global events will be popped out, and the following
global event change commit will cause crashes.

doveadm copy: Don't permanently activate source user's ioloop

doveadm import: Don't permanently activate source user's ioloop

After the source user is initialized, the original user's ioloop should be
activated back.

submission: Add reason_code=submission:cmd_<name>

lmtp: Add reason_code=lmtp:cmd_<name>

lib-smtp: Add reason_code=<reason_code_module>:cmd_*

This requires caller to set smtp_server_settings.reason_code_module.
For now only cmd_mail, cmd_rcpt and cmd_data are implemented. The other
commands are likely not very useful.

lib-http: http-client-request - Preserve global events' reason_code in request events

Since HTTP requests are asynchronous, it's possible that the global events
go away before the HTTP request is finished. This way the reason_code will
be preserved in http_request_finished event.

lib: Add event_reason_code() for building reason codes easily

lib: Add event_reason_begin/end() API

This can be used to easily add reason_code to all events being emitted
within the begin..end calls. The reasons can also be nested. For example:

reason = event_reason_begin("reason1");
// ...
reason2 = event_reason_begin("reason2");
// ..
event_reason_end(&reason2);
event_reason_end(&reason);

This results in having reason_code=["reason1", "reason2"] for all events
emitted while reason2 exists.

lib: event_pop_global() - Assert-crash if trying to pop ioloop context's global root event

This makes it easier to debug bugs.

lib: Push/pop global event stack automatically when ioloop contexts are switched

lib-storage: mail_storage_service_next*() - On failure don't leave user's io context activated

lib-storage: Remove global event stack tracking

This will be implemented by ioloop contexts directly in the next commit.

lib: Fix global events to actually work

Also add comments to clarify how exactly it works.

lib: event_push_global() - Assert that event is not NULL

lib-master: Fix sending events recursively

The event sending itself may recursively trigger more events (e.g.
data_stack_grow). The previous BEGINs must have been flushed by that
time or the recursive events might be pointing to event IDs that haven't
even been sent to the stats process yet.

Fixes:
stats: Error: Client sent invalid input for UPDATE: Unknown event ID

lib-master, stats: Send global events to stats process

stats: Support group_by for string lists

stats: Support exporting event string lists

stats: Split off stats_metric_get_sub_metric()

stats: Rename stats_metric_get_sub_metric() to stats_metric_find_sub_metric()

stats: Split off stats_metric_group_by_value_label()

stats: stats_metric_group_by_*() - Add _r suffix to returned value parameter

lib: lib-event - Add support for string lists

Provide API to create string lists. These are particularly
useful if you need to provide list of causes for an event,
such as why some mail was opened.

lib: test-event-filter - Improve "override parent fields" test

lib: test-event-filter - Fix parent/child events to actually be parent/child

lib: Split off event_import_arg()

lib: Split off event_import_field()

lib-index: Allow ignoring index corruption checks with --enable-devel-checks

If DEBUG_IGNORE_INDEX_CORRUPTION environment is set, don't check if
index contains internal corruption. This is useful for CI tests that
intentionally test corrupted indexes.

lib-http: http-server: Add request events

Adds http_server_request_started and http_server_request_finished.

lib-http: http-server-request - Add request_id and status_code fields to event

stats: Use duplicated metric settings in stats_metrics_add_dynamic().

imapc: Add MAIL_STORAGE_CLASS_FLAG_SECONDARY_INDEX storage class flag

Add SECONDARY_INDEX storage class flag to enable storing shared private
indexes in obox user root bundle.

lib-storage: mail_get_binary_stream() - Add comment about having to unref returned istream

lib: test-cpu-limit - Remove dead code

No longer needed after 6d902507c24fca4f64e3e9bf7d79ae5a48281cd8

lib: test-strfuncs - Avoid testing p_strndup() with overlong max_chars parameter

This ended up in memchr() call with n=SIZE_MAX-1, which sometimes doesn't
work right with old glibc versions.

Fixes:
Panic: Trying to allocate 18446744073709551615 bytes

lib-mail: Add test for empty header value

lib-mail: Limit header length to 1000 bytes

lib-mail: If message header has no colon, store it as value only

If the header is missing :, it is not valid header. Storing it as
value only ensures it will be kept by mbox rewrite, but will not
be processed as a header.

lib-mail: test-message-header-parser - Add NAME10, 100, 1000 macros for testing

lib: Add i_memspn() and i_memcspn()

Binary data safe variants of strspn() and strcspn()

virtual: Log a debug message why backend mailbox has changed

lib-storage: mail-duplicate - Restructure mail_duplicate_read_db_file() to make sure fd is closed.

Found by Coverity.

lib-storage: mail-duplicate - Fix segfault occurring upon failure to lock and open DB file.

Found by Coverity.

indexer-worker: Fix event leak on error handling

lib-storage: mail-duplicate - Implement separate error code for deadlock.

lib-storage: mail-duplicate - Update records from duplicate DB file after acquirement of per-ID lock.

The process previously holding the per-ID lock may have updated the DB.

lib-storage: mail-duplicate - Move acquirement of dotlock for DB file into mail_duplicate_read().

lib-storage: mail-duplicate - Implement per-ID locking.

lib-storage: mail-duplicate - Allow calling mail_duplicate_read() more than once in a transaction.

lib-storage: mail-duplicate - Record an entry for both checked and marked IDs.

Still only write the marked IDs to the file. The in-memory record is needed for
the locking introduced in a later commit.

lib-storage: mail-duplicate - Add debug messages for transaction.

lib-storage: mail-duplicate - Add debug messages for database.

lib-storage: mail-duplicate - Add event to transaction object.

lib-storage: mail-duplicate - Add event to database object.

lib-storage: mail-duplicate - Restructure API to make it transaction-based.

lib-storage: mail-duplicate - Change mail_duplicate_check() return type from bool to enum.

lib-storage: Reformat mail-duplicate.c.

lib-storage: mail-user - Add mail_user_get_volatile_dir().

lib: file-lock - Adjust API to allow EDEADLK to be used by application.

It always caused a Dovecot panic before when returned from kernel.

lib: file-lock - Rework API to make it extensible.

lib: file-lock - Rename file_{wait,try}_lock_error() to file_{wait,try}_lock().

lib: file-lock - Remove file_{wait,try}_lock().

global: Avoid use of file_{wait,try}_lock().

Use the file_{wait,try}_lock_error() variants instead.

lib-http: test-http-client-errors - Allow more relaxed timeouts for connect retry tests

With max_connect_attempts=3 the connects come at (0ms, 100ms, 300ms).
Before the 3rd attempt a timeout at 250ms must have triggered, so there
was only 50ms time for it to trigger. This wasn't always enough when
running with valgrind on an overloaded system. Solve this by increasing
max_connect_attempts=4 so the 4th attempt comes at 700ms, giving the
timeout 450ms to trigger.

lib: Add most data_stack_grow event fields before checking if event is wanted

This allows using e.g. "event=data_stack_grow and alloc_size > 32768" as
an event filter.

config: Add data stack frame

doveconf: Avoid unnecessary data stack use when writing output

master: Create each service in its own data stack frame

doveadm: Call each run() in its own data stack frame

dsync: Add data stack frames to mailbox loops

dsync: Split off dsync_brain_recv_mailbox_tree_add()

acl: Code cleanup - Remove pointless while-loop

acl: acllist rebuild - Move data stack frame to caller's loop

acl: Add data stack frame when iterating mailboxes

Avoids wasting memory when there are a lot of mailboxes.

lib-storage: mail_user_unref() - Add data stack frame

The deinit code paths can sometimes eat up quite a lot of data stack.

lib-storage: mailbox_create() - Add data stack frames

lib-storage: Add data stack frames to [service] user initialization

Initialization steps can use a lot of data stack, so try to free it at
several checkpoints.

lib-storage: Add data stack frame when iterating mailboxes to build GUID cache

lib-storage: mailbox_verify_*name() - Add data stack frames

This function can eat up quite a lot of data stack.

lib-storage: str_contains_special_use() - Add data stack frame

This function is called in a loop by namespace_find_special_use().

lib-storage: List index rebuild - Add data stack frames

lib-storage: List index rebuild - Split off mail_storage_list_index_find_indexed_mailbox()

lib-storage: Don't use data stack for mailbox list index header update

There can be a lot of mailboxes, causing excessive data stack usage.