lib-mail: Fix istream-header-filter snapshotting

lib: Add istream_snapshot.free() to allow more complex snapshots

lib-storage: Make use of MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

lib-index: Introduce MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

This flag is used to make sure secondary views flags-index can work
properly without emitting warnings about inconsistency. If an
inconsistency is encountered fix it by fully syncing.

Revert "lib-storage: Always fix inconsistency when syncing private flags index"

This reverts commit 986d9cbbecffd836d977b6ad956b04e3ca606677.

This is reverted because storing flags on private indexes no longer send
untagged replies.

acl: Ignore acls in acl_lookup_dict_rebuild_add_backend if ignore_acls is set

In case an namespace has been configured to ignore ACLs also respect
that when acl_lookup_dict_rebuild is called.

Co-Authored-By: Vincent Brillault <vincent.brillault@cern.ch>

lib-smtp: test-smtp-payload - Set all timeouts to CLIENT_PROGRESS_TIMEOUT.

This prevents connect and idle timeouts from triggering earlier than the
progress timeout.

imap: PREVIEW responses need trailing space

2.3.15 regression

Before 2.3.15, there was this same buggy behavior in error cases; 2.3.15
moved that buggy behavior to the success code path

DOP-2463

doveadm-server: Add log prefix to logs written to client

doveadm-server: Simplify writing log output to client

lib: Fix log prefix in internal handler when log handler has been overridden

Adds back mail_log_prefix to doveadm mail commands when doveadm-server was
accessed via TCP.

Originally broken by c9dd53f7180a78668cbc1e6eb34d5b1722beccb9

dict-file: Make sure home_dir doesn't change during operations

file_dict is initialized for a specific user. Keep record of the user's
home_dir and check for all dict operations that the user did not change.

global: Remove dict_settings.home_dir

Allows dict to be shared across users. Dict operations use
dict_op_settings.home_dir if set.

dict: Split protocol command arguments in dict_command_input()

Instead of duplicating code and splitting in each command functions
separately.

lib-dict: Make sure username is valid as well when checking key prefix

If this is a private key, username must be non-empty.

dict: Remove dict_connection.username and dict_settings.username

- dict should be user agnostic. dict operations have username.
- same for dict connection
- also removes username from dict process' log prefix

dict: Add username field for command events

To prepare for connection username removal in next commit. Instead of
adding username field for the parent event, add it in command events.

Commands can now be run for different users. Having the same username
field as the one used in initialization can be wrong.

dict-client: Do not send username in initial handshake

Dict commands that need username have it included in their arguments now.

dict-fs: Remove unused fs_dict.username

dict-redis: Remove unused redis_dict.username

dict-memcached-ascii: Remove unused memcached_ascii_dict.username

dict-sql: Remove unused sql_dict.username

dict-ldap: Remove unused ldap_dict.username

dict: Add dict_event_create

Helper function for dict events. If dict_op_settings has username set, adds
it as a field.

dict-client: Send username in commands

Lookup, iterate_begin, and transaction_begin need username. This bumps
dict protocol's major version to 3.

dict-redis: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username. Also, ensure
that username is escaped.

dict-memcached-ascii: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict-fs: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict: Use dict_op_settings in backends

- Use dict_op_settings in dict API functions
- forward the settings object to backends for dict lookup/iterate
- Update backends to use dict_op_settings

notify-status: Initialize dict_op_settings for dict operations

last-login: Initialize dict_op_settings for dict operations

quota: Initialize dict_op_settings for dict operations

dict: Initialize dict_op_settings for dict operations

acl: Initialize dict_op_settings for dict lookup

lib-oauth2: Initialize dict_op_settings for dict operations

lib-dict: lua: Initialize dict_op_settings for dict operations

- Add new mandatory argument for lookup, set, and transaction_begin.
- Use the username to initialize dict_op_settings passed to lib-dict API

lib-dict-extra: test-dict-fs: Initialize dict_op_settings for dict operations

lib-dict-backend: test-dict-sql: Initialize dict_op_settings for dict operations

lib-dict: test-dict-client: Initialize dict_op_settings for dict operations

lib-storage: Initialize dict_op_settings for dict operations

lib-fs: Initialize dict_op_settings for dict operations

auth: userdb-dict: Initialize dict_op_settings for dict iterate

auth: db-dict: Initialize dict_op_settings for dict lookup

doveadm dict: Initialize & use dict_op_settings for dict commands

Sets the username in cmd_dict_init_full and use the settings struct for dict
operations.

lib-storage: Add mail_user.dict_op_set and mail_user_get_dict_op_settings()

Used to initialize or obtain dict_op_settings for the user.

lib-storage: mail-user: Clarify mail_user_get_home() usage string

Explicitly comment about returned string lifetime.

dict: Optionally accept username in lookup/iterate/begin dict protocol commands

Only an optional field, don't actually use it.

dict-file: Remove file_dict_iterate_path struct

No need for the struct since support for multi-path iterate is removed.
So path and path length can be merged with file_dict_iterate_context.

dict backends: Remove multi-path handling code in dict iteration

With mutli-path iteration support being dropped from dict protocol, these
can be cleaned up.

dict: Drop support for multi-path iteration in dict protocol

Remove dict_iterate_init_multiple() since it is not used anywhere. Also
drop support in dict protocol to read multiple paths.

lib-dict: Add dict_op_settings_dup() and dict_op_settings_private_free()

- dict_op_settings_dup() creates a copy of dict_op_settings into a new
  struct dict_dop_settings_private.
- dict_op_settings_private_free() frees the memory for copied object.

lib-dict: Add dict_op_settings parameter for dict_iterate_init()

Only adds the parameter, doesn't use it.

lib-dict: Add dict_op_settings parameter for dict_transaction_begin()

Only adds the parameter, doesn't use it.

lib-dict: Add dict_op_settings

Used for dict operations. Currently username & home_dir are used. Also, change
dict_lookup() to accept a parameter of this type but don't actually use it.

lib-dict: Remove dict_settings.value_type

It was originally added to dict-db and no other backend uses it. With dict-db
removed, there is no need to keep it.

dict-client: Escape username and dict uri in handshake HELLO message

lib-dict-backen: Drop unused dict-db

virtual: Expunge old emails if backend box uidvalidity changed

doveadm-server: Don't return two error lines if a command fails

This normally didn't affect doveadm client usage, but it did break reply
matching when multiple usernames were handled by a single command (e.g.
wildcard users).

lib-http: test-http-client-errors - Don't rely on sleeps

Use the notification signal API instead. Also it's only one test (group)
that needs to do this.

lib-test: Add notification signal send/wait API

This allows a simple way for child/parent processes to communicate when
they're ready. SIGHUP signal is reserved for this.

doveadm batch: Fix assert-crash that happened when it was attempted to be used

Fixes:
Panic: file mail-storage.c: line 1067 (mailbox_set_reason): assertion failed: (reason != NULL)

lib-fs: metawrap - Fix handling empty file

As empty files are already closed when fs-metawrap attempts to append
metadata there have been problems with size calculation. Fix this by
relying on the same mechanism as if metadata changed during write.

This recreates metadata and keeps old body. This fixes an issue when
writing empty mails to cache (failed: Cached message size larger than
expected).

This was introduced by 03e102ddccaae9e944c503d4269de755731798e8a

lib-fs: fs-metawrap - Expect fs_stat to return size 0 for empty file

NEWS: Updates for v2.3.15

NEWS: Add news for 2.3.14.1

lib-smtp: smtp-server-connection - Fix STARTTLS command injection vulnerability.

The input handler kept reading more commands even though the input was locked by
the STARTTLS command, thereby causing it to read the command pipelined beyond
STARTTLS. This causes a STARTTLS command injection vulerability.

lib-dict-extra: dict-fs - Escape unsafe paths

Change any path components that are `.` or `..` to `...` and `....`.
Prevents path traversal attacks.

lib-oauth2: Do not escape '.'

This is not really needed and just makes things difficult.

lib-oauth2: Add missing test_begin/test_end to token escape

lib-oauth2: test-oauth2-jwt - Fix linkage for openssl

Without whole archive option ssl_iostream_unref isn't
included in linkage, which will prevent libdcrypt from
loading openssl backend.

lib-oauth2: Ensure azp is escaped too

lib-oauth2: Add test for token escape

lib-oauth2: Improve identifier escaping function

lib-oauth2: Move identifier escaping to own function

lib-storage: Sync mailbox if autoexpunging finds mails that are already expunged

The syncing should remove the mails from the index.

lib-storage: Fix infinite loop in autoexpunging if the mails are already expunged

This happens if the mails exist in the index, but mail_get_save_date()
fails with MAIL_ERROR_EXPUNGED.

plugins/fts: Use event logging

plugins/fts: fts-indexer - Use connection.c functions

plugins/fts: fts-indexer - Move fts_indexer_init to end of file

Simplifies next commit

plugins/fts: fts-indexer - Use connection structures

indexer: worker - Fix busy/free status

Determining whether worker is free or not should be determined
using worker_connection_is_busy, not whether there are
connections in the list.

A worker connection is busy when it has a request.

indexer: indexer-client - Use connection.c functions

indexer: indexer-client - Use connection structure

indexer: indexer-worker - Use event logging

indexer: indexer-worker: Use connection.c functions

indexer: indexer-worker: Use connection structure

indexer: worker-connection - Use connection.c functions

indexer: worker-connection - Prepare for using connection.c

indexer: worker-pool - Use connection_list

indexer: worker-pool - Remove unused last_use

indexer: worker-connection - Use connection.h structures

indexer: worker-connection - Move constructor further down

Simplifies next commit

Reformat worker-connection.c

lib: lib-event - Copy ru_last when making passthrough event

Otherwise user_cpu_usecs does not get added to the sent events.

master: Fix idle-kill for processes with a single short-lived client

lib-master sends unimportant service status updates to master only once per
second when client_limit>1, because within that 1 second the available client
count may have already changed many times. Normally this is fine, but there's a
problem with the initial client:

 * The client connection launches a new process
 * The process sends the initial status notification with available_count=MAX
 * The client connection is handled, but because the status notification was
   just sent, the update won't be sent until 1 second later
 * The client disconnects within the 1 second
 * The available_count is again MAX, so no status notification is sent

In this situation the master process never created the idle-kill timeout.
Usually the following clients will cause a status notification to be sent, but
if there was only the one client then this process won't be idle-killed. Fix the
situation so that the idle-kill timeout is created already by the initial status
notification.

lib: Add array_foreach_reverse[_modifiable]()

This is especially useful when deleting multiple elements inside the loop.

lib: Don't use special code for i_unreached() with STATIC_CHECKER

This was done originally to help scan-build, but this is no longer
necessary. Also actually running code where __builtin_unreachable() was
reached produced (very weird) undefined behavior.

Reverts e2e9ea6da9f3db5fd7fe467db79232d20d03832f

Makefile.am: Update configure parameters for scan-build

Especially add --enable-static-checker.

lib-imap: imap-parser - Parse literal size using as same algorithm as str_parse*().

This prevents wrapping the integer value and fixes an ubsan complaint.

Based on Stephan's similar patch in managesieve-parser.