imap: copy/move: Refactor to use struct cmd_copy_context

lib: Add seq_range_array_merge_n()

lib-storage: Autoexpunge mails in batches of 1000

lib-storage: Move mail autoexpunge loop into a helper function

This makes the next commit easier.

imap: Implement the STATUS=SIZE capability.

Coexists with the existing proprietary X-SIZE status, which is to be deprecated
in the future.

imap: Restructure handling of the STATUS response so that it uses its own flags for the items.

Before, it used mailbox status and metadata item flags for this purpose.
This is needed to allow the existing X-SIZE and the newly standardized SIZE flag to coexist.

dict-redis: Add missing dict_wait()

This caused various problems when used in places where dict_wait() was
required, e.g. quota or quota_clone plugins.

plugins: push-notification: Include mailbox field

plugins: push-notification: Only emit event if something was triggered

Otherwise events would be sent from non-push transactions, such
as mail searches.

push-notification: Don't send event on failure

If transaction was rolled back, don't send event.

push-notification: Use transaction event in HTTP request

plugins: push-notification: Reformat push-notification-txn-msg.h.

plugins: push-notification: Reformat push-notification-txn-msg.c.

plugins: push-notification: Reformat push-notification-txn-mbox.h.

plugins: push-notification: Reformat push-notification-txn-mbox.c.

plugins: push-notification: Reformat push-notification-triggers.h.

plugins: push-notification: Reformat push-notification-triggers.c.

plugins: push-notification: Reformat push-notification-plugin.c.

plugins: push-notification: Reformat push-notification-events.h.

plugins: push-notification: Reformat push-notification-events.c.

plugins: push-notification: Reformat push-notification-events-rfc5423.h.

plugins: push-notification: Reformat push-notification-events-rfc5423.c.

plugins: push-notification: Reformat push-notification-event-messagetrash.h.

plugins: push-notification: Reformat push-notification-event-messagetrash.c.

plugins: push-notification: Reformat push-notification-event-messageread.h.

plugins: push-notification: Reformat push-notification-event-messageread.c.

plugins: push-notification: Reformat push-notification-event-messagenew.h.

plugins: push-notification: Reformat push-notification-event-messagenew.c.

plugins: push-notification: Reformat push-notification-event-messageexpunge.h.

plugins: push-notification: Reformat push-notification-event-messageexpunge.c.

plugins: push-notification: Reformat push-notification-event-messageappend.h.

plugins: push-notification: Reformat push-notification-event-messageappend.c.

plugins: push-notification: Reformat push-notification-event-message-common.h.

plugins: push-notification: Reformat push-notification-event-message-common.c.

plugins: push-notification: Reformat push-notification-event-mailboxunsubscribe.h.

plugins: push-notification: Reformat push-notification-event-mailboxunsubscribe.c.

plugins: push-notification: Reformat push-notification-event-mailboxsubscribe.h.

plugins: push-notification: Reformat push-notification-event-mailboxsubscribe.c.

plugins: push-notification: Reformat push-notification-event-mailboxrename.h.

plugins: push-notification: Reformat push-notification-event-mailboxrename.c.

plugins: push-notification: Reformat push-notification-event-mailboxdelete.h.

plugins: push-notification: Reformat push-notification-event-mailboxdelete.c.

plugins: push-notification: Reformat push-notification-event-mailboxcreate.h.

plugins: push-notification: Reformat push-notification-event-mailboxcreate.c.

plugins: push-notification: Reformat push-notification-event-flagsset.h.

plugins: push-notification: Reformat push-notification-event-flagsset.c.

plugins: push-notification: Reformat push-notification-event-flagsclear.h.

plugins: push-notification: Reformat push-notification-event-flagsclear.c.

plugins: push-notification: Reformat push-notification-drivers.h.

plugins: push-notification: Reformat push-notification-drivers.c.

plugins: push-notification: Reformat push-notification-driver-ox.c.

plugins: push-notification: Reformat push-notification-driver-lua.c.

plugins: push-notification: Reformat push-notification-driver-dlog.c.

lib: Timeouts may have been run a bit too early

The timeout was run early if it was to be run in less than 1 millisecond.

This could have resulted in an infinite loop in some special situations
when timeout_add_absolute() was used in a timeout callback.

lib: Add i_nanoseconds() and i_microseconds()

global: Replace the rest of the gettimeofday() calls with i_gettimeofday()

It can't practically fail, so don't keep error handling that is never
tested.

global: Replace most gettimeofday() calls with i_gettimeofday()

Replace the ones where error handling is:
 * Nonexistent
 * i_fatal()
 * i_panic()

lib: Add i_gettimeofday()

lib-program-client: Allocate string settings on the client pool.

Before, it assumed the strings to be durably allocated externally, which is very
risky.

lib-smtp: client: transaction: Prevent NULL dereference in smtp_client_transaction_unref().

The trans pointer is used before it is checked for being NULL, which is allowed
for this function.

Problem found by Coverity.

lib-index: Explicitly ignore mail_index_cancel_flag_updates() return value

Makes static analyzers happier.

lib-mail: Initialize start_pos in message_header_decode_encoded

Satisfies static analyzers

lib-program-client: Ensure set is not NULL in program_client_init

Would cause crash otherwise.

Found by coverity.

doveadm: doveadm-mail-mailbox-metadata - Handle error in doveadm_print_istream

Found by coverity

lib-smtp: Remove double-assign of passthrough event

Found by coverity

doveadm: doveadm-sis - Ensure buf2 is not overrun

Satisfies static analysers.

lib-mail: Add assert to ensure we don't overstep in input_idx_need_encoding

Satisfies static analysers.

lib-http: Fix memory leak in http_server_response_add_permanent_header

Key and value is duplicated twice and the first duplicates are
discarded without freeing.

Found by coverity.

lib: Assert-crash on i_rand_limit(0) and add unit tests

lib: event_filter_match() - "field=" filter now matches nonexistent field

This makes sense, because event_filter_clear() also works by adding an empty
value to the event. So it wouldn't even be possible to differentiate between
empty and nonexistent fields unless larger changes were made.

lib-smtp: smtp-client-transaction - Fix immediate transaction to wait until the connection is ready.

A transaction with the immediate mode enabled did not wait and started to submit
commands too early; i.e., before an EHLO reply is received. This means that
the first MAIL command is always sent bare without any extensions and the XCLIENT
command is not sent when it is deferred (e.g. for submission).

lib-index: Fix potential assert-crash when refreshing index without any views

This is similar to the previous fix. If there are no references to the log
file head, refreshing the index will result in assert-crash.

This seems to have happened in some very rare situations. Mainly found it
via the unit test though.

Fixes:
Panic: file mail-transaction-log.c: line 25 (mail_transaction_log_set_head): assertion failed: (log->files != NULL)

lib-index: Add unit test for log rotation during commit

lib-index: Fix potential assert-crash when rotating log file

Unlock the old head file before attempting to clean it. Fixes:

Panic: file mail-transaction-log.c: line 229 (mail_transaction_logs_clean): assertion failed: (!file->locked || file->refcount > 0)

This seems to only have happened during new obox index merging.

lib-index: Add test-mail-index.h for easily doing init/deinit for mail_index

lib-mail: Parse multiple address headers the same as if they were in a single header

This is better from security point of view.

lib-storage: Make sure ENVELOPE parsing isn't done twice concurrently

If save_envelope=TRUE and ENVELOPE headers aren't already in cache,
header_cache_callback() starts parsing the ENVELOPE. But
imap_envelope_parse_callback() does it as well, so the envelope parsing is
done concurrently by the two callbacks.

Also once the ENVELOPE parsing is done once, make sure it's not done again
if the header is parsed again.

This didn't cause any problems so far, but it fixes the following commit to
work correctly.

lazy-expunge: Add MAIL_FETCH_REFCOUNT to mail's wanted_fields

The mail is reused by the search query, so the next mail_prefetch() can try
to prefetch the refcount.

lib: event-log.c - Ensure checks for enabling debug logging are always run.

doc: Add man page for dovecot-sysreport

util: Add a script to gather system information in an archive for report purpose.

lib-fs: Create fs.event earlier so it's available in fs_init() code

acl: Fix accessing attributes when mailbox had no READ rights

It's enough to have one of the other rights.

lib-storage, imap, doveadm: Add and use MAILBOX_FLAG_ATTRIBUTE_SESSION

acl: Improve attribute rights check error handling

acl: Move attribute rights checking to its own function

lib-imap-storage, doveadm: Ignore INBOX ACLs when accessing server metadata

The server metadata is always accessible. INBOX's ACLs aren't relevant,
even though internally for now we're using INBOX for storing the server
metadata.

lib-storage, acl: Fix error trying to open autocreated mailbox without CREATE rights

The opening should fail with a regular error message rather than "internal
server error". Also no error message should be logged in this situation.

dns, login-common, stats: Finish service initialization later

This way if there's a crash in the init code, master will start throttling
the service.

submission-login: submission-proxy - Properly encode XCLIENT command arguments.

submission-login: submission-proxy - Compose XCLIENT forward argument in a separate function.

submission-login: Reformat submission-proxy.c.

lib-smtp: server: Fix copying xclient_extensions settings

smtp_server_connection didn't properly copy the xclient_extensions settings
from the smtp_server. In fact it did the opposite of recreating the server
settings using the connection pool. Later on after the connection was freed
and another connection created this could result in crashes.

lib-imap: imap_write_arg() - minor optimization to IMAP_ARG_STRING

Avoid unnecessarily using data stack.

Also add unit tests to imap_write_arg().

lib-fs: Add errno parameter to fs_set_error() change callers to use it.

This is now explicit so it can't be forgotten accidentally. Fixes several
bugs where errno wasn't set on error conditions, which could have caused
callers to handle the error wrong.

lib-fs: Use fs_set_error_errno() where appropriate

lib-fs: Add fs_set_error_errno()

This is in preparation for adding errno parameter for fs_set_error().

doc: example-config: Add documentation for "revision" field in imap_id_send

lib-imap: Add revision field for ID command

Returns short commit ID of the revision dovecot was built from.

lib-fs: Fix event leak when EAGAIN error is logged via fs_set_error()

Broken by f7aafd832151dd34e28cb1bba214accf9b15d908