virtual: Don't use data stack when building extension header

Some users may have thousands of mailboxes, which grows the data stack
unnecessarily large.

indexer: Fix crash if client disconnects while it's waiting for command reply

This happened for example if IMAP SEARCH triggered long fts indexing and the
IMAP client disconnected while waiting for the reply.

Broken by f62a25849358e40a08a2c47f5bcaa1613a31d076

lib-smtp: smtp-server-cmd-data - Fix global state cleanup upon DATA command destroy.

Should cleanup global state only when it belongs to the DATA/BDAT command
currently being destroyed.

Fixes NULL-dereference in i_stream_read() found by OSS-Fuzz.

lib-smtp: test-smtp-server-errors - Perform "Bad pipelined DATA" test with actual pipelining.

imap, pop3: Prevent reading ssl_ca setting into memory

Especially with imap there can be a lot of processes and a large ssl_ca
could be wasting a lot of memory. This was already the old behavior before
removing ssl_* settings from lib-storage.

config: Add exclude=<name> settings to drop specific settings

lib-storage: Remove SSL settings from mail_storage_settings

They can be accessed via master_service_ssl_settings instead.

lib-storage: mail_user_init_ssl_client_settings() - Use master_service_ssl_settings

This will allow dropping the duplicate SSL settings handling.

dsync: Get SSL settings via master_service_ssl_settings

lib-storage: Add mail_storage_service_user_get_ssl_settings()

lib-master: Add master_service_ssl_settings_get_from_parser()

global: Don't zero SSL settings unnecessarily

mail_user_init_ssl_client_settings() and mail_user_init_fs_settings()
will clear them again anyway.

lib-storage: mail_user_init_fs_settings() - Clarify that ssl settings are fully initialized

lib-storage: mail_user_init_ssl_client_settings() - Clarify that ssl settings are fully initialized

doveadm: Free SSL iostream contexts at deinit

This wasn't really a memory leak, because the contexts are always kept
allocated until deinit anyway.

lib-ssl-iostream: ssl_iostream_context_unref(NULL) is a no-op

man: doveadm-pw - Fix default scheme to be CRYPT / $2y$ bcrypt

lib-index: Remove mail_index_transaction_get_highest_modseq()

This isn't actually used anywhere, so there's no need to keep it.

lib-index: mail_index_transaction_get_highest_modseq() - Fix handling MAIL_INDEX_MAIL_FLAG_UPDATE_MODSEQ

MAIL_INDEX_MAIL_FLAG_UPDATE_MODSEQ flag updates didn't calculate the
returned modseq correctly. This function wasn't used outside
--with-devel-checks though, but with it this fixes:

Panic: file mail-index-transaction.c: line 212 (mail_index_transaction_commit_real): assertion failed: (t->reset || expected_highest_modseq == log->head->sync_highest_modseq)

lib-index: Avoid modseq warnings --with-devel-checks

Avoids warnings:
Requested highest-modseq for transaction, but modseq tracking isn't enabled for the file (this shouldn't happen)

director: Avoid calling timeval_diff_msecs() with too great time difference

Fixes assert-crash --with-devel-checks:
Panic: file time-util.c: line 76 (timeval_diff_msecs): assertion failed: (diff <= INT_MAX)

lib: data-stack - Initialize alloc_count / alloc_bytes

This has only effect with devel checks enabled. Fixes counter
values to show sensible data.

lib: data-stack - Allow errno changes when sending event

lib-master, global: Remove unnecessary MASTER_SERVICE_FLAG_USE_SSL_SETTINGS

SSL client settings are now always read.

lib-master: Use ssl-server settings only when necessary

lib-master: Remove unused master_service_is_ssl_module_loaded()

lib-master, login-common: Split off master_service_ssl_server_settings

lib-master, global: Split master_service_ssl_settings_to_iostream_set() to client/server functions

master: Avoid creating prefork timeout if process_limit is already reached

master: Avoid high CPU usage when process_min_avail reaches process_limit

process_min_avail handling always created a 0ms timeout to try to create the
missing processes. This timeout was supposed to stop when it couldn't launch
all the wanted processes, but the check wasn't done right. This ended up
causing the timeout to be called rapidly over and over again.

lazy_expunge: Add lazy_expunge_exclude setting

This allows mailboxes to be excluded via configuration.

fts: Use mailbox-match-plugin API for fts_autoindex_exclude

This doesn't change the functionality, just deduplicates the code.

fts: Always initialize struct fts_user

Initializing lib-fts is still optional within it.

lib-storage: Add mailbox exclusion plugin API

Allows mailbox exclusion configuration to be easily added to any
plugin.

master: Fix unfinished "time moved backwards" comment

master: Log a warning also about "time moved forwards"

This isn't really important to know, but it could help figure out
performance problems if it happens a lot.

lib: ioloop - Handle "time moved forwards" only after 100ms difference

Previously this was done after even a single microsecond difference,
causing it to happen almost constantly. This was causing performance
problems when there were many timeouts that had to be updated. Especially
master process could have been spending a lot of time unnecessarily here.

Broken by b258137d0e0618ae792e3606071a1715d26f107b

lib: ioloop - Fix 0 timeout with kqueue() and select()

With these it was waiting for 1 ms instead of 0.

Broken by fac27f192d8432c45d360025613f7d432271c5bb

fts: Fix internal error when fts_index_timeout is set

Broken by cf114f90e0ba25c18db846ee582e3a130bd52949

acl: Cast enums explicitly to int in sorting function

Fixes ubsan complaint:
runtime error: unsigned integer overflow: 0 - 4 cannot be represented in type 'unsigned int'

lib-program-client: program-client-remote - Fix signed integer arithmetic.

Make type cast explicit to gain ubsan approval. Also prevent negative
reserve_mod from having unexpected effect.

util: dovecot-sysreport - Fix help to have -o as the short form of --core

util: dovecot-sysreport - Use only spaces for indentation

Stop mixing tabs and spaces.

stats: Revert the previous OpenMetrics info type revert

The OpenMetrics standard does support "info" type. The original Prometheus
format doesn't support it, but our support is for OpenMetrics. They don't
even have any overlapping types that could be used for this, so the only
other possibility would have been to make this configurable.

Reverts 55a519d18fbbb8435854f1fcf2642b908d6fc074

submission-login: Fix compiling error with some older compilers

submission-login: submission-proxy - Optionally send XCLIENT LOGIN to backend and skip authentication.

This behavior is enabled by returning proxy_noauth from passdb.

login-common: Add proxy field proxy_noauth.

submission-login: submission-proxy - Move submission_proxy_success_reply_sent().

dict: Use the dict name as the log prefix

Otherwise if there are multiple dicts it may not be obvious which one is
causing the errors.

stats: Revert dovecot build information to untyped data

OpenMetrics does not know type 'info', so use 'untyped' instead.

Broken in ae678116a79fff609cdf4fb1eb7eb3db2975bf1c

lib-storage: mail_cache_*_fields - Check for invalid header names while parsing config

This way the errors are noticed early on.

lib-storage: mail_cache_*_fields - Log an error if hdr.<name> isn't valid

Mainly verify that it doesn't have accidental UTF-8 characters that aren't
easily visible in text editors.

lib-mail: Add message_header_name_is_valid()

login-proxy: Make sure input line isn't freed too early

proxy_parse_line() could free the proxy's istream, which frees the line
string. With IMAP the line could have been used as part of the error string
passed to login_proxy_failed(), which can free the istream before using
the string for logging purposes. This could have resulted in logging a
corrupted line or a crash.

Broken by e3134289529cec16ade44cefd0fd26594ae40e30

lib-test: Make sure child processes exit cleanly with SIGTERM

It's normal behavior that the parent process kills the child process with
SIGTERM. This shouldn't result in the child process dying with SIGTERM, but
a clean exit. This was causing http-test-client-errors unit tests to fail
somewhat randomly, especially when running them only with 1 CPU.

lib-test: Ensure we send signals to regular PIDs only

lib-test: Update subprocess list after forking

Due to a race condition, we could end up killing PID 0 by accident
sometimes.

lib: random_fill() - Optimize away memmove()

We just need to track the position of how far the random_next buffer has
been used.

submission-login: submission-proxy - Send XCLIENT data in multiple commands if line exceeds 512 bytes.

When the proxy talks to non-Dovecot software, failures could occur otherwise. Particularly Postfix will fail.

submission-login: submission-proxy - Send PROTO and HELO XCLIENT fields.

submission-login: submission-proxy - Properly send EHLO after XCLIENT.

submission-login: submission-proxy - Reorder XCLIENT fields to match lib-smtp client.

submission-login: submission-proxy - Handle EHLO reply in a separate function.

submission-login: submission-proxy - Move sending STARTTLS to separate function.

submission-login: submission-proxy - Avoid sending empty XCLIENT FORWARD field.

submission: Separately pass XCLIENT HELO value from pre-login to post-login service.

submission: submission-backend-relay - Use smtp_server_connection_get_proxy_data() for composing client settings.

submission: main - Restructure parsing of login input data.

Needed for adding additional fields.

submission-login: client-authenticate - Restructure composition of master_prefix.

Needed for later commit.

lib-smtp: smtp-server-connection - Record proxied EHLO domain separately.

This prevents it from being overriden by a local EHLO command.

lib-smtp: smtp-server - Make smtp_server_connection_set_proxy_data() public.

lib-smtp: smtp-server-connection - Use smtp_server_connection_get_proxy_data() for the conn_proxy_data_updated() callback.

Removes code duplication.

lib-smtp: smtp-server-connection - Allow username/ehlo to be set before smtp_server_connection_login().

This allows setting the proxy data early.

lib-smtp: Reformat smtp-server.h.

submission: Reformat submission-client.h.

submission: Reformat submission-client.c.

login-common: Add support for recording rawlog of connection between proxy and backend.

doveadm: Mark fs_cmd_help() with ATTR_NORETURN

This helps static analyzers understand that the function doesn't return.

doveadm: Avoid passing NULL to memcpy() even though zero bytes are copied

Makes static analyzers happier.

doveadm: Remove dead assignment

lib: Use 32 byte buffer for getting randomness

This reduces the number of syscalls when small amount of randomness is
requested, like i_rand*() calls using only 4 bytes at a time.

doveadm: Remove code related to obsolete doveadm_mail_cmd handling

struct doveadm_mail_cmd couldn't be completely removed since v2 mail
commands are still converted to it.

doveadm sync/backup/dsync-server: Convert to v2 command

doveadm batch: Convert to v2 command

doveadm: Remove struct doveadm_cmd and related code

doveadm: Remove doveadm_cmd_ver2.old_cmd

doveadm proxy: Convert to v2 commands

doveadm oldstats: Convert to v2 commands

doveadm stop/reload: Convert to v2 commands

doveadm fs: Convert to v2 commands

doveadm auth cache flush: Convert auth-server command to v2

doveadm auth: Convert to v2 commands

doveadm instance: Convert to v2 commands

doveadm log: Convert to v2 commands

doveadm replicator: Convert to v2 commands

doveadm config: Convert to v2 command

doveadm exec: Convert to v2 command

doveadm: Add CMD_FLAG_NO_UNORDERED_OPTIONS

doveadm: Add CMD_FLAG_NO_OPTIONS

This allows command to process all parameters, including parameters starting
with "-".

doveadm: Split off doveadm_cmd_process_options()