lib-storage: mail-duplicate - Move acquirement of dotlock for DB file into mail_duplicate_read().

lib-storage: mail-duplicate - Implement per-ID locking.

lib-storage: mail-duplicate - Allow calling mail_duplicate_read() more than once in a transaction.

lib-storage: mail-duplicate - Record an entry for both checked and marked IDs.

Still only write the marked IDs to the file. The in-memory record is needed for
the locking introduced in a later commit.

lib-storage: mail-duplicate - Add debug messages for transaction.

lib-storage: mail-duplicate - Add debug messages for database.

lib-storage: mail-duplicate - Add event to transaction object.

lib-storage: mail-duplicate - Add event to database object.

lib-storage: mail-duplicate - Restructure API to make it transaction-based.

lib-storage: mail-duplicate - Change mail_duplicate_check() return type from bool to enum.

lib-storage: Reformat mail-duplicate.c.

lib-storage: mail-user - Add mail_user_get_volatile_dir().

lib: file-lock - Adjust API to allow EDEADLK to be used by application.

It always caused a Dovecot panic before when returned from kernel.

lib: file-lock - Rework API to make it extensible.

lib: file-lock - Rename file_{wait,try}_lock_error() to file_{wait,try}_lock().

lib: file-lock - Remove file_{wait,try}_lock().

global: Avoid use of file_{wait,try}_lock().

Use the file_{wait,try}_lock_error() variants instead.

lib-http: test-http-client-errors - Allow more relaxed timeouts for connect retry tests

With max_connect_attempts=3 the connects come at (0ms, 100ms, 300ms).
Before the 3rd attempt a timeout at 250ms must have triggered, so there
was only 50ms time for it to trigger. This wasn't always enough when
running with valgrind on an overloaded system. Solve this by increasing
max_connect_attempts=4 so the 4th attempt comes at 700ms, giving the
timeout 450ms to trigger.

lib: Add most data_stack_grow event fields before checking if event is wanted

This allows using e.g. "event=data_stack_grow and alloc_size > 32768" as
an event filter.

config: Add data stack frame

doveconf: Avoid unnecessary data stack use when writing output

master: Create each service in its own data stack frame

doveadm: Call each run() in its own data stack frame

dsync: Add data stack frames to mailbox loops

dsync: Split off dsync_brain_recv_mailbox_tree_add()

acl: Code cleanup - Remove pointless while-loop

acl: acllist rebuild - Move data stack frame to caller's loop

acl: Add data stack frame when iterating mailboxes

Avoids wasting memory when there are a lot of mailboxes.

lib-storage: mail_user_unref() - Add data stack frame

The deinit code paths can sometimes eat up quite a lot of data stack.

lib-storage: mailbox_create() - Add data stack frames

lib-storage: Add data stack frames to [service] user initialization

Initialization steps can use a lot of data stack, so try to free it at
several checkpoints.

lib-storage: Add data stack frame when iterating mailboxes to build GUID cache

lib-storage: mailbox_verify_*name() - Add data stack frames

This function can eat up quite a lot of data stack.

lib-storage: str_contains_special_use() - Add data stack frame

This function is called in a loop by namespace_find_special_use().

lib-storage: List index rebuild - Add data stack frames

lib-storage: List index rebuild - Split off mail_storage_list_index_find_indexed_mailbox()

lib-storage: Don't use data stack for mailbox list index header update

There can be a lot of mailboxes, causing excessive data stack usage.

lib-index: Don't use data stack for building index header update buffer

The header update can be large (e.g. dovecot.list.index with many
mailboxes) and grow data stack unnecessarily.

lib: module_dir_deinit() - Call each deinit() in its own data stack frame

lib: test-data-stack - Make sure data stack memory usage doesn't leak

lib: test-cpu-limit - Remove checking for CPU usage upper limit

These tests keep randomly failing on loaded systems. It's more important
anyway to check that the minimum CPU usage is high enough than it is to
check that CPU usage isn't too high.

lib: Optimize str_tabescape()

lib: Optimize p_strsplit_tabescaped()

lib: Optimize t_strsplit_tabescaped()

lib: Optimize t_strsplit_tabescaped_inplace()

lib: Optimize t_strdup*()

Avoid zeroing the allocated data stack memory just before it's going to be
filled with the duplicated string anyway.

lib: Optimize t_str_tabunescape()

lib: Optimize str_tabunescape()

lib: Optimize str_append_tabescaped()

Avoid calling strlen() and replace for-loop with strcspn().

lib: Optimize str_append_tabescaped_n()

lib: Optimize p_strndup()

lib: Optimize buffer_append() and buffer_append_c()

lib: buffer_create_dynamic_max() - Fix max_size handling

Never allocate buffer larger than its max_size, since it's just wasted
memory. Also clarify that the allocation can actually go up to max_size+1
because of str_c() NUL byte reservation.

lib: buffer_append_zero() - Avoid unnecessary memset()

lib: buffer - Add writable_size to simplify checking if buffer needs to be grown

lib: buffer - Replace casts with container_of()

lib-storage: Add data stack frame for mailbox_copy and mailbox_move

lib-storage: Add data stack frame for mailbox_rename

lib-storage: Add data stack frame for mailbox_delete

acl: acl_backend_vfile_has_acl() - Simplify code

acl: acl_backend_vfile_has_acl() - Open mailbox to check if it exists

This is a bit more expensive than the previous behavior, but it's done only
when creating or renaming mailboxes which are pretty rare operations.

This fixes copying parent ACLs with obox when the parent mailbox doesn't
exist in local metacache.

acl: acl_backend_vfile_has_acl() - Avoid unnecessary local ACL file check

The local ACL file can't exist if its mailbox doesn't exist.

acl: acl_backend_vfile_has_acl() - Check first if global ACL exists

Global ACL can be checked more efficiently. If it exists, there's no need
anymore to access the local mailbox ro ACL files.

acl: Consistently determine whether ACL files are in control or mailbox directory

Add mail_storage_get_acl_list_path_type() that is used for it. This fixes
ACL inheritance with obox.

lib-lua: Add function for restricting global variable definition

Add "dovecot.restrict_global_variables()" with a boolean argument to mitigate
unintended variable assignments and to prevent unnecessarily populating
global namespace.

If enabled, variables can only be defined local to the script but global
functions are still allowed.

lib-lua: Use rawget to check presence of functions in scripts

With the restricted global variables in next commit, checking for
undeclared functions results in error. Use rawget to avoid metamethods.

lib-lua: Build test-dict-lua only with Lua 5.3+

Fixes building with Lua 5.1

lib-compression: bench-compress - Ensure we have both istream and ostream constructor

After 6e5ae5ef0f0f31acd7bde0db53980a708c81eced we have read-only compression
mechanism, that leads to null pointer crash in bench-compress.

NEWS: Add news for 2.3.16

lib-lua: Add test-dict-lua

dict-lua: Change dict:lookup() to actually return nil if key isn't found

It was previously returning an empty table, although the comment said it
should have returned nil.

lib-dict: dict-lua - Add set_timestamp()

lib-dict: dict-lua - Add unset()

indexer: Remove the concept of a "busy" connection

All the connections are busy, since they are created for a new request and
they are disconnected when the request is done.

indexer: Handle more requests whenever indexer-worker connection closes

Previously this was done only when worker process sent a "request finished"
notification. Crashing worker processes could have caused the queue to get
stuck until more requests were added to the queue.

indexer: Disconnect from worker after each request

service_count won't be tracked correctly otherwise.

indexer: Fix tracking indexer-worker's process_limit

After recent changes, the process_limit was too often thought to be 1.

indexer: Change status callback to take struct indexer_request parameter

indexer: Don't free worker_connection too early

There's no need for the status callback anymore to free the connection.
It will be tracked automatically.

indexer: Use a separate indexer_queue_callback_t type for indexer-queue callback

lib: Remove connect_finished_time field from connection event.

lib: ENUM_NEGATE() - Disable runtime sizeof() check with STATIC_CHECKER

This is to avoid "Dangerous variable-length array (VLA) declaration"
errors with clang 12 scan-build, which happen because scan-build keeps
thinking that the enums can become larger than 2147483647.

doveadm: Flush data to server client asynchronously

virtual: Add storage flag for secondary index

lib-storage: Add storage_class_flag for secondary index

man: doveadm director flush - The parameter is -F, not -f

doveadm: doveadm-stats - Allocate field_types

field_types was function local variable that got used outside
of function. Change to use datastack allocation instead to
keep it valid after leaving function.

Broken in e9a46e3a6df2edd6cb68a8fc04a5e8e4564a9d5e

lib-storage: Move (un)deleting debug message to mailbox_mark_index_deleted

lib-storage: mailbox-list - Detect duplicate GUIDs

This is only done for LAYOUT=INDEX.

lib-storage: mailbox-list - Add duplicate pool for duplicate detection

lib-storage: maildir - Use mail_storage_index_list_rebuild

lib-storage: maildir - Allow creating existing folder when rebuilding list index

lib-storage: dbox - Use mailbox_list_index_rebuild

lib-storage: dbox - Allow creating existing folder when rebuilding list index

lib-storage: Add list index rebuild code

lib-storage: Populate mailboxes_fs if needed

lib-storage: mailbox-list - Try to get GUID from mailbox path

lib-storage: Add fields to mail_storage needed for list rebuild

lib-storage: Fix changing mailbox GUID with LAYOUT=index

The old path would generate Mail/mailboxes/mailboxes/<guid>

doveadm-stats: Add doveadm stats add/remove documentation