acl: acl_backend_vfile_has_acl() - Check first if global ACL exists

Global ACL can be checked more efficiently. If it exists, there's no need
anymore to access the local mailbox ro ACL files.

acl: Consistently determine whether ACL files are in control or mailbox directory

Add mail_storage_get_acl_list_path_type() that is used for it. This fixes
ACL inheritance with obox.

lib-lua: Add function for restricting global variable definition

Add "dovecot.restrict_global_variables()" with a boolean argument to mitigate
unintended variable assignments and to prevent unnecessarily populating
global namespace.

If enabled, variables can only be defined local to the script but global
functions are still allowed.

lib-lua: Use rawget to check presence of functions in scripts

With the restricted global variables in next commit, checking for
undeclared functions results in error. Use rawget to avoid metamethods.

lib-lua: Build test-dict-lua only with Lua 5.3+

Fixes building with Lua 5.1

lib-compression: bench-compress - Ensure we have both istream and ostream constructor

After 6e5ae5ef0f0f31acd7bde0db53980a708c81eced we have read-only compression
mechanism, that leads to null pointer crash in bench-compress.

NEWS: Add news for 2.3.16

lib-lua: Add test-dict-lua

dict-lua: Change dict:lookup() to actually return nil if key isn't found

It was previously returning an empty table, although the comment said it
should have returned nil.

lib-dict: dict-lua - Add set_timestamp()

lib-dict: dict-lua - Add unset()

indexer: Remove the concept of a "busy" connection

All the connections are busy, since they are created for a new request and
they are disconnected when the request is done.

indexer: Handle more requests whenever indexer-worker connection closes

Previously this was done only when worker process sent a "request finished"
notification. Crashing worker processes could have caused the queue to get
stuck until more requests were added to the queue.

indexer: Disconnect from worker after each request

service_count won't be tracked correctly otherwise.

indexer: Fix tracking indexer-worker's process_limit

After recent changes, the process_limit was too often thought to be 1.

indexer: Change status callback to take struct indexer_request parameter

indexer: Don't free worker_connection too early

There's no need for the status callback anymore to free the connection.
It will be tracked automatically.

indexer: Use a separate indexer_queue_callback_t type for indexer-queue callback

lib: Remove connect_finished_time field from connection event.

lib: ENUM_NEGATE() - Disable runtime sizeof() check with STATIC_CHECKER

This is to avoid "Dangerous variable-length array (VLA) declaration"
errors with clang 12 scan-build, which happen because scan-build keeps
thinking that the enums can become larger than 2147483647.

doveadm: Flush data to server client asynchronously

virtual: Add storage flag for secondary index

lib-storage: Add storage_class_flag for secondary index

man: doveadm director flush - The parameter is -F, not -f

doveadm: doveadm-stats - Allocate field_types

field_types was function local variable that got used outside
of function. Change to use datastack allocation instead to
keep it valid after leaving function.

Broken in e9a46e3a6df2edd6cb68a8fc04a5e8e4564a9d5e

lib-storage: Move (un)deleting debug message to mailbox_mark_index_deleted

lib-storage: mailbox-list - Detect duplicate GUIDs

This is only done for LAYOUT=INDEX.

lib-storage: mailbox-list - Add duplicate pool for duplicate detection

lib-storage: maildir - Use mail_storage_index_list_rebuild

lib-storage: maildir - Allow creating existing folder when rebuilding list index

lib-storage: dbox - Use mailbox_list_index_rebuild

lib-storage: dbox - Allow creating existing folder when rebuilding list index

lib-storage: Add list index rebuild code

lib-storage: Populate mailboxes_fs if needed

lib-storage: mailbox-list - Try to get GUID from mailbox path

lib-storage: Add fields to mail_storage needed for list rebuild

lib-storage: Fix changing mailbox GUID with LAYOUT=index

The old path would generate Mail/mailboxes/mailboxes/<guid>

doveadm-stats: Add doveadm stats add/remove documentation

doveadm: Add 'stats add' and 'stats remove' commands

stats: replace hardcoded value of default exporter_include with macro

doveadm: Rewrite doveadm stats dump command to allow reuse code in other commands.

lib-master: Accept filter updates from stats by stats-client.

stats: Implement ipc interface for adding and removing metrics

stats: Implement sending filter updates to connected processes.

stats: Add functions for adding or removing metrics

stats: Expose stats_metric_setting_parser_info

lib: Add function removing queries from event_filter

lib-http: test-http-client-errors - Fix random hangs

Wait for subprocesses to be initialized before starting each test.
This should fix random hangs with the test.

lib-test: test_subprocess_notify_signal_*() - Add signo parameter

This allows using multiple notification signals.

lib-storage: Make sure header parsing is deinitialized after failures

This should fix all the possible reasons for:
Panic: file index-mail-headers.c: line 198 (index_mail_parse_header_init): assertion failed: (!mail->data.header_parser_initialized)

lib-storage: Fix potential assert-crash if filter-stream fails

If filter-stream isn't read until header (because the parent istream fails),
the header parsing isn't deinitialized. If after the failure the headers are
attempted to be parsed again, there's an assert-crash. Make sure this won't
happen by finishing the filter-istream read, and if that fails then reset the
header parsing anyway.

Destroying the filter_stream may also change the parent istream offset to
change, so this commit adds an extra seek to beginning of the istream when
beginning to parse the mail headers.

Fixes:
Panic: file index-mail-headers.c: line 198 (index_mail_parse_header_init): assertion failed: (!mail->data.header_parser_initialized)

lib-storage: Split off index_mail_filter_stream_destroy()

imapc: Fix crashing when copying nonexistent mails

Check the msgmap before attempting to copy an mail which may has been
expunged already. Fixes:

Panic: file mail-storage.c: line 2385 (mailbox_transaction_commit_get_changes): assertion failed: (ret < 0 || seq_range_count(&changes_r->saved_uids) == save_count || array_count(&changes_r->saved_uids) == 0)

lib-storage: Fix assert-crash in special partial mail parsing failures

This happened for example if:
 - mail_precache() started parsing mail
 - header was parsed, but mail body parsing failed due to mail size mismatch
 - vsize parsing doesn't restart header parsing, because header size is already known
 - body parsing assert-crashes because there is no messsage parser initialized

Fixes:
Panic: file index-mail.c: line 1290 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

lib-oauth2: Add unit test for missing exp field

lib-oauth2: Add unit tests for valid tokens

lib-oauth2-jwt: Remove 'nbf < iat' check, as it's not mandated by RFC7519, and not uncommon to predate the nbf field

lib-test: Fix race when subprocess immediately receives signal

Signal could be received before test_subprocess_is_child=1 is set, causing
the subprocess's signal handler to also attempt to cleanup other
subprocesses.

This was causing http-test-client-errors unit tests to fail somewhat
randomly, especially when running them only with 1 CPU.

lib: Add test-macros

lib: Rewrite POINTER_CAST_TO() to avoid new clang warning

Fixes:
warning: performing pointer subtraction with a null pointer has undefined behavior [-Wnull-pointer-subtraction]

dbox: Remove unnecessary variable

The variable was set and updated, but never read.

lib-dcrypt: Remove unnecessary variable

The variable was set and updated, but never read.

doveadm-dsync: Free ssl_iostream_context on connection failure

lib-smtp: smtp-server-cmd-rcpt - Fix assert crash occurring for pipelined MAIL RCPT MAIL sequence.

The assertion is wrong in that it assumes that no MAIL commands can be pending
once RCPT command is next to reply. The RCPT command does not block the
pipeline, so that a subsequent MAIL command can also be pending (but will almost
never succeed).

lib-smtp: smtp-server-cmd-data - Add comment to pipeline state assertion.

lib-smtp: smtp-server-cmd-data - Remove useless trans != NULL checks.

dict-sql: Fail early if there's unexpected number of bind arguments for iter

Otherwise, lib-sql raises a panic.

lib: istreams - Make sure freeing snapshots can't access freed parent istream memory

This happened after the recent istream-header-filter snapshot changes.

imap: Fix mailbox leak if MOVE can't open the source mailbox

Broken by 143b7c2b412ed8f155e812603fda81886bec466e

Fixes:
Panic: file mail-user.c: line 229 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

lib-lua: Don't include lua_resume_compat() for 5.1

lua_resume() is not supported in 5.1, so don't try to add a
compatibility function that fails compilation.

lib: Remove unused event_filter_add()

lib: test-event-filter - Replace event_filter_add() with event_filter_parse()

lib: Add comments to event-related code

lib: event_want_level() - Minor code cleanup

event_want_log_level() internally does both of these checks, so it's enough
to just check its return value.

lib-fs: Fix fs_stats.copy_count tracking with fs_default_copy()

The copy_count could have been decreased too many times with async
operations.

global: Add ATTR_UNSIGNED_WRAPS to fix various ubsan issues

global: Fix various ubsan issues

doveadm: Free memory for all loaded mail_plugins at deinit

doveadm pw -l: Free all memory to avoid memory leak complaints

doveadm batch: Fix memory leak

doveadm: Split off doveadm_mail_cmd_deinit()

doveadm: Make doveadm_mail_cmd_free() public

global: Use consistent lua function names

Change lua-style function names to be consistent with dovecot's style.

lib-lua: test-lua: Fix the test for lua versions later than 5.3

lib-lua: Add lua_resume_compat() and use it in lua versions prior to 5.4

Starting lua 5.4 "lua_resume()" expects an extra "nresults" argument. Add a
compatibility function to handle this argument in earlier versions.

man: Document command/args destination format to sync/backup.

lib-compression: istream-lz4 - Fix handling partial header reads

Reading assert-crashed if the header was read only partially. Either
because the file really was truncated or because parent stream already
had fewer bytes buffered.

lib-compression: istream-lz4 - Remove redundant check

The loop is reached only if ret is 0, so there's no need to check it again.

lib-compression: istream-lz4 - Add asserts to make sure parent buffer isn't full

The parent buffer's max size would have to be tiny for these to happen.

dict: Use dict-init-cache

Make use of dict-init-cache for initialization and deinitialization of dicts.

dict: Add caching mechanism for initializing dicts

Add a pool for dict instances. Each dict is refcounted and given a grace period
of 30 seconds for deletion. If refcount drops to 0 and no new dict
operation uses the instance in that period, it will be freed. A maximum
of 10 dicts are kept in the cache.

dict: Add dict_created and dict_destroyed events

Inherit from dict.event and emitted at dict initialization/deinit.

lib-sasl: test-sasl-client.c - Initialize authid of sasl_empty_set

This fixes the compiler warning:

  test-sasl-client.c:8:1: error: missing initializer for field 'authid'
  of 'const struct dsasl_client_settings'

lib-sasl: oauthbearer - Fix memory leak on auth failure

lib-sasl: Add unit tests

lib-sasl: Do not crash if password is NULL

lib-sasl: When setting port, parse value, not key.

Broken in 228f1e8d583

auth: Do not forward empty "master" passdb field

login-common: Ignore empty value for "master" passdb extra field

mail-crypt: Add password confirmation for doveadm cryptokey password command

To prevent setting wrong passwords by accident.