lib-storage: Split off index_mail_filter_stream_destroy()

imapc: Fix crashing when copying nonexistent mails

Check the msgmap before attempting to copy an mail which may has been
expunged already. Fixes:

Panic: file mail-storage.c: line 2385 (mailbox_transaction_commit_get_changes): assertion failed: (ret < 0 || seq_range_count(&changes_r->saved_uids) == save_count || array_count(&changes_r->saved_uids) == 0)

lib-storage: Fix assert-crash in special partial mail parsing failures

This happened for example if:
 - mail_precache() started parsing mail
 - header was parsed, but mail body parsing failed due to mail size mismatch
 - vsize parsing doesn't restart header parsing, because header size is already known
 - body parsing assert-crashes because there is no messsage parser initialized

Fixes:
Panic: file index-mail.c: line 1290 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

lib-oauth2: Add unit test for missing exp field

lib-oauth2: Add unit tests for valid tokens

lib-oauth2-jwt: Remove 'nbf < iat' check, as it's not mandated by RFC7519, and not uncommon to predate the nbf field

lib-test: Fix race when subprocess immediately receives signal

Signal could be received before test_subprocess_is_child=1 is set, causing
the subprocess's signal handler to also attempt to cleanup other
subprocesses.

This was causing http-test-client-errors unit tests to fail somewhat
randomly, especially when running them only with 1 CPU.

lib: Add test-macros

lib: Rewrite POINTER_CAST_TO() to avoid new clang warning

Fixes:
warning: performing pointer subtraction with a null pointer has undefined behavior [-Wnull-pointer-subtraction]

dbox: Remove unnecessary variable

The variable was set and updated, but never read.

lib-dcrypt: Remove unnecessary variable

The variable was set and updated, but never read.

doveadm-dsync: Free ssl_iostream_context on connection failure

lib-smtp: smtp-server-cmd-rcpt - Fix assert crash occurring for pipelined MAIL RCPT MAIL sequence.

The assertion is wrong in that it assumes that no MAIL commands can be pending
once RCPT command is next to reply. The RCPT command does not block the
pipeline, so that a subsequent MAIL command can also be pending (but will almost
never succeed).

lib-smtp: smtp-server-cmd-data - Add comment to pipeline state assertion.

lib-smtp: smtp-server-cmd-data - Remove useless trans != NULL checks.

dict-sql: Fail early if there's unexpected number of bind arguments for iter

Otherwise, lib-sql raises a panic.

lib: istreams - Make sure freeing snapshots can't access freed parent istream memory

This happened after the recent istream-header-filter snapshot changes.

imap: Fix mailbox leak if MOVE can't open the source mailbox

Broken by 143b7c2b412ed8f155e812603fda81886bec466e

Fixes:
Panic: file mail-user.c: line 229 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

lib-lua: Don't include lua_resume_compat() for 5.1

lua_resume() is not supported in 5.1, so don't try to add a
compatibility function that fails compilation.

lib: Remove unused event_filter_add()

lib: test-event-filter - Replace event_filter_add() with event_filter_parse()

lib: Add comments to event-related code

lib: event_want_level() - Minor code cleanup

event_want_log_level() internally does both of these checks, so it's enough
to just check its return value.

lib-fs: Fix fs_stats.copy_count tracking with fs_default_copy()

The copy_count could have been decreased too many times with async
operations.

global: Add ATTR_UNSIGNED_WRAPS to fix various ubsan issues

global: Fix various ubsan issues

doveadm: Free memory for all loaded mail_plugins at deinit

doveadm pw -l: Free all memory to avoid memory leak complaints

doveadm batch: Fix memory leak

doveadm: Split off doveadm_mail_cmd_deinit()

doveadm: Make doveadm_mail_cmd_free() public

global: Use consistent lua function names

Change lua-style function names to be consistent with dovecot's style.

lib-lua: test-lua: Fix the test for lua versions later than 5.3

lib-lua: Add lua_resume_compat() and use it in lua versions prior to 5.4

Starting lua 5.4 "lua_resume()" expects an extra "nresults" argument. Add a
compatibility function to handle this argument in earlier versions.

man: Document command/args destination format to sync/backup.

lib-compression: istream-lz4 - Fix handling partial header reads

Reading assert-crashed if the header was read only partially. Either
because the file really was truncated or because parent stream already
had fewer bytes buffered.

lib-compression: istream-lz4 - Remove redundant check

The loop is reached only if ret is 0, so there's no need to check it again.

lib-compression: istream-lz4 - Add asserts to make sure parent buffer isn't full

The parent buffer's max size would have to be tiny for these to happen.

dict: Use dict-init-cache

Make use of dict-init-cache for initialization and deinitialization of dicts.

dict: Add caching mechanism for initializing dicts

Add a pool for dict instances. Each dict is refcounted and given a grace period
of 30 seconds for deletion. If refcount drops to 0 and no new dict
operation uses the instance in that period, it will be freed. A maximum
of 10 dicts are kept in the cache.

dict: Add dict_created and dict_destroyed events

Inherit from dict.event and emitted at dict initialization/deinit.

lib-sasl: test-sasl-client.c - Initialize authid of sasl_empty_set

This fixes the compiler warning:

  test-sasl-client.c:8:1: error: missing initializer for field 'authid'
  of 'const struct dsasl_client_settings'

lib-sasl: oauthbearer - Fix memory leak on auth failure

lib-sasl: Add unit tests

lib-sasl: Do not crash if password is NULL

lib-sasl: When setting port, parse value, not key.

Broken in 228f1e8d583

auth: Do not forward empty "master" passdb field

login-common: Ignore empty value for "master" passdb extra field

mail-crypt: Add password confirmation for doveadm cryptokey password command

To prevent setting wrong passwords by accident.

mail-crypt: Fix -O argument type for doveadm cryptokey password command

Should be boolean instead of string.

lib-index: Fix "Extension introduction for unknown id" errors after map is generated

This happens when:
 * View is opened
 * Messages are expunged
 * View is synced with NOEXPUNGES flag
 * A new extension is introduced
 * Index is rotated at least twice
 * View is again synced with NOEXPUNGES flag
 * More changes are done to index with the new extension
 * Once more view is synced with NOEXPUNGES flag

The last sync will see changes with the new extension ID, but the view's map
doesn't know its ID.

virtual: Expunge old emails if backend box guid changed

This introduces a new extensible "ext2" header to make it easier to add new
fields in the future. It also allows keeping backwards/forwards
compatibility with the old code, so the virtual index isn't rebuilt on
upgrades or downgrades.

virtual: Don't use data stack when building extension header

Some users may have thousands of mailboxes, which grows the data stack
unnecessarily large.

indexer: Fix crash if client disconnects while it's waiting for command reply

This happened for example if IMAP SEARCH triggered long fts indexing and the
IMAP client disconnected while waiting for the reply.

Broken by f62a25849358e40a08a2c47f5bcaa1613a31d076

lib-smtp: smtp-server-cmd-data - Fix global state cleanup upon DATA command destroy.

Should cleanup global state only when it belongs to the DATA/BDAT command
currently being destroyed.

Fixes NULL-dereference in i_stream_read() found by OSS-Fuzz.

lib-smtp: test-smtp-server-errors - Perform "Bad pipelined DATA" test with actual pipelining.

imap, pop3: Prevent reading ssl_ca setting into memory

Especially with imap there can be a lot of processes and a large ssl_ca
could be wasting a lot of memory. This was already the old behavior before
removing ssl_* settings from lib-storage.

config: Add exclude=<name> settings to drop specific settings

lib-storage: Remove SSL settings from mail_storage_settings

They can be accessed via master_service_ssl_settings instead.

lib-storage: mail_user_init_ssl_client_settings() - Use master_service_ssl_settings

This will allow dropping the duplicate SSL settings handling.

dsync: Get SSL settings via master_service_ssl_settings

lib-storage: Add mail_storage_service_user_get_ssl_settings()

lib-master: Add master_service_ssl_settings_get_from_parser()

global: Don't zero SSL settings unnecessarily

mail_user_init_ssl_client_settings() and mail_user_init_fs_settings()
will clear them again anyway.

lib-storage: mail_user_init_fs_settings() - Clarify that ssl settings are fully initialized

lib-storage: mail_user_init_ssl_client_settings() - Clarify that ssl settings are fully initialized

doveadm: Free SSL iostream contexts at deinit

This wasn't really a memory leak, because the contexts are always kept
allocated until deinit anyway.

lib-ssl-iostream: ssl_iostream_context_unref(NULL) is a no-op

man: doveadm-pw - Fix default scheme to be CRYPT / $2y$ bcrypt

lib-index: Remove mail_index_transaction_get_highest_modseq()

This isn't actually used anywhere, so there's no need to keep it.

lib-index: mail_index_transaction_get_highest_modseq() - Fix handling MAIL_INDEX_MAIL_FLAG_UPDATE_MODSEQ

MAIL_INDEX_MAIL_FLAG_UPDATE_MODSEQ flag updates didn't calculate the
returned modseq correctly. This function wasn't used outside
--with-devel-checks though, but with it this fixes:

Panic: file mail-index-transaction.c: line 212 (mail_index_transaction_commit_real): assertion failed: (t->reset || expected_highest_modseq == log->head->sync_highest_modseq)

lib-index: Avoid modseq warnings --with-devel-checks

Avoids warnings:
Requested highest-modseq for transaction, but modseq tracking isn't enabled for the file (this shouldn't happen)

director: Avoid calling timeval_diff_msecs() with too great time difference

Fixes assert-crash --with-devel-checks:
Panic: file time-util.c: line 76 (timeval_diff_msecs): assertion failed: (diff <= INT_MAX)

lib: data-stack - Initialize alloc_count / alloc_bytes

This has only effect with devel checks enabled. Fixes counter
values to show sensible data.

lib: data-stack - Allow errno changes when sending event

lib-master, global: Remove unnecessary MASTER_SERVICE_FLAG_USE_SSL_SETTINGS

SSL client settings are now always read.

lib-master: Use ssl-server settings only when necessary

lib-master: Remove unused master_service_is_ssl_module_loaded()

lib-master, login-common: Split off master_service_ssl_server_settings

lib-master, global: Split master_service_ssl_settings_to_iostream_set() to client/server functions

master: Avoid creating prefork timeout if process_limit is already reached

master: Avoid high CPU usage when process_min_avail reaches process_limit

process_min_avail handling always created a 0ms timeout to try to create the
missing processes. This timeout was supposed to stop when it couldn't launch
all the wanted processes, but the check wasn't done right. This ended up
causing the timeout to be called rapidly over and over again.

lazy_expunge: Add lazy_expunge_exclude setting

This allows mailboxes to be excluded via configuration.

fts: Use mailbox-match-plugin API for fts_autoindex_exclude

This doesn't change the functionality, just deduplicates the code.

fts: Always initialize struct fts_user

Initializing lib-fts is still optional within it.

lib-storage: Add mailbox exclusion plugin API

Allows mailbox exclusion configuration to be easily added to any
plugin.

master: Fix unfinished "time moved backwards" comment

master: Log a warning also about "time moved forwards"

This isn't really important to know, but it could help figure out
performance problems if it happens a lot.

lib: ioloop - Handle "time moved forwards" only after 100ms difference

Previously this was done after even a single microsecond difference,
causing it to happen almost constantly. This was causing performance
problems when there were many timeouts that had to be updated. Especially
master process could have been spending a lot of time unnecessarily here.

Broken by b258137d0e0618ae792e3606071a1715d26f107b

lib: ioloop - Fix 0 timeout with kqueue() and select()

With these it was waiting for 1 ms instead of 0.

Broken by fac27f192d8432c45d360025613f7d432271c5bb

fts: Fix internal error when fts_index_timeout is set

Broken by cf114f90e0ba25c18db846ee582e3a130bd52949

acl: Cast enums explicitly to int in sorting function

Fixes ubsan complaint:
runtime error: unsigned integer overflow: 0 - 4 cannot be represented in type 'unsigned int'

lib-program-client: program-client-remote - Fix signed integer arithmetic.

Make type cast explicit to gain ubsan approval. Also prevent negative
reserve_mod from having unexpected effect.

util: dovecot-sysreport - Fix help to have -o as the short form of --core

util: dovecot-sysreport - Use only spaces for indentation

Stop mixing tabs and spaces.

stats: Revert the previous OpenMetrics info type revert

The OpenMetrics standard does support "info" type. The original Prometheus
format doesn't support it, but our support is for OpenMetrics. They don't
even have any overlapping types that could be used for this, so the only
other possibility would have been to make this configurable.

Reverts 55a519d18fbbb8435854f1fcf2642b908d6fc074

submission-login: Fix compiling error with some older compilers

submission-login: submission-proxy - Optionally send XCLIENT LOGIN to backend and skip authentication.

This behavior is enabled by returning proxy_noauth from passdb.

login-common: Add proxy field proxy_noauth.

submission-login: submission-proxy - Move submission_proxy_success_reply_sent().