doveadm exec: Convert to v2 command

doveadm: Add CMD_FLAG_NO_UNORDERED_OPTIONS

doveadm: Add CMD_FLAG_NO_OPTIONS

This allows command to process all parameters, including parameters starting
with "-".

doveadm: Split off doveadm_cmd_process_options()

doveadm: Reformat doveadm-cmd.c

doveadm help: Convert to v2 command

doveadm dump: Convert to v2 command

doveadm dump: Change doveadm_cmd_dump.cmd() API to be simpler

doveadm pw: Convert to v2 command

doveadm mailbox mutf7: Convert to v2 command

doveadm sis deduplicate/find: Convert to v2 command

doveadm zlibconnect: Convert to v2 command

doveadm: Code cleanup - Add doveadm_cmdline_commands_ver2[]

doveadm: Support building ARRAY type mail command parameters

doveadm: Fix building IP/INT64 type mail command parameters

doveadm: Split off doveadm_cmd_parse_arg()

lib: Fix assert-crash when destroying ioloop that has active context

Normally the ioloop shouldn't have an active context at deinit, but it
seems to be possible in some situations. It's not really bad anyway, so
just allow it.

Fixes:
Panic: file ioloop.c: line 928 (io_loop_destroy): assertion failed: (ioloop->cur_ctx == NULL)

lib-mail: Fix memory leak in istream-header-filter

Broken by 1c1b77dbf9a548aac788efb76973ce2d0fa6c732

lib: data-stack - t_try_realloc() - Add missing data_stack_last_buffer_reset() call

This fixes incorrect "buffer overflow" panics with DEBUG builds.

lib: data-stack - data_stack_last_buffer_reset(() - Add comments and an assert

This clarifies how the function is expected to work.

lib-storage: Use escaped name length to calculate truncation margin

This fixes corruption of mailbox names when the storage_name_escape_char
has been part of the parent folder name.

Broken by 5dd81d83d8d9120ed2a74d5bd2aa62622885b49c

lib-lua: Fix LIBDICT_LUA variable usage

It needs to be appended to, not set again. Broken by
3d0b7e9bb59e3dc41fd5a4d09832eedea7a92933.

lib-lua: Only link libdict_lua if it's available

plugins/fts: Restore fts_indexer_cmd

It was removed in cf114f90e0ba25c18db846ee582e3a130bd52949 and that
broke some FTS plugins.

lib-dict: Fix linking when building without Lua

Linking didn't work on some non-Linux OSes (non-GNU linkers?)

lib-compression: istream-zstd - Make sure parent stream error isn't overwritten

This could have happened if the parent istream failed before the zstd header
was read. Practically this didn't happen currently, because the initial
parent stream error was normally already handled by istream-decompress
before istream-zstd was even called.

lib-compression: istream-zlib - Fix parent stream error handling near EOF

This happened when gz stream (including trailer) was fully read, but the
final check to see if there is a concatenated gz stream afterwards failed
due to parent istream failure. In this case the error was ignored and
istream returned success, truncating any potential concatenated istream
input. This situation was very unlikely to happen.

lib-mail: Fix istream-header-filter snapshotting

lib: Add istream_snapshot.free() to allow more complex snapshots

lib-storage: Make use of MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

lib-index: Introduce MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

This flag is used to make sure secondary views flags-index can work
properly without emitting warnings about inconsistency. If an
inconsistency is encountered fix it by fully syncing.

Revert "lib-storage: Always fix inconsistency when syncing private flags index"

This reverts commit 986d9cbbecffd836d977b6ad956b04e3ca606677.

This is reverted because storing flags on private indexes no longer send
untagged replies.

acl: Ignore acls in acl_lookup_dict_rebuild_add_backend if ignore_acls is set

In case an namespace has been configured to ignore ACLs also respect
that when acl_lookup_dict_rebuild is called.

Co-Authored-By: Vincent Brillault <vincent.brillault@cern.ch>

lib-smtp: test-smtp-payload - Set all timeouts to CLIENT_PROGRESS_TIMEOUT.

This prevents connect and idle timeouts from triggering earlier than the
progress timeout.

imap: PREVIEW responses need trailing space

2.3.15 regression

Before 2.3.15, there was this same buggy behavior in error cases; 2.3.15
moved that buggy behavior to the success code path

DOP-2463

doveadm-server: Add log prefix to logs written to client

doveadm-server: Simplify writing log output to client

lib: Fix log prefix in internal handler when log handler has been overridden

Adds back mail_log_prefix to doveadm mail commands when doveadm-server was
accessed via TCP.

Originally broken by c9dd53f7180a78668cbc1e6eb34d5b1722beccb9

dict-file: Make sure home_dir doesn't change during operations

file_dict is initialized for a specific user. Keep record of the user's
home_dir and check for all dict operations that the user did not change.

global: Remove dict_settings.home_dir

Allows dict to be shared across users. Dict operations use
dict_op_settings.home_dir if set.

dict: Split protocol command arguments in dict_command_input()

Instead of duplicating code and splitting in each command functions
separately.

lib-dict: Make sure username is valid as well when checking key prefix

If this is a private key, username must be non-empty.

dict: Remove dict_connection.username and dict_settings.username

- dict should be user agnostic. dict operations have username.
- same for dict connection
- also removes username from dict process' log prefix

dict: Add username field for command events

To prepare for connection username removal in next commit. Instead of
adding username field for the parent event, add it in command events.

Commands can now be run for different users. Having the same username
field as the one used in initialization can be wrong.

dict-client: Do not send username in initial handshake

Dict commands that need username have it included in their arguments now.

dict-fs: Remove unused fs_dict.username

dict-redis: Remove unused redis_dict.username

dict-memcached-ascii: Remove unused memcached_ascii_dict.username

dict-sql: Remove unused sql_dict.username

dict-ldap: Remove unused ldap_dict.username

dict: Add dict_event_create

Helper function for dict events. If dict_op_settings has username set, adds
it as a field.

dict-client: Send username in commands

Lookup, iterate_begin, and transaction_begin need username. This bumps
dict protocol's major version to 3.

dict-redis: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username. Also, ensure
that username is escaped.

dict-memcached-ascii: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict-fs: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict: Use dict_op_settings in backends

- Use dict_op_settings in dict API functions
- forward the settings object to backends for dict lookup/iterate
- Update backends to use dict_op_settings

notify-status: Initialize dict_op_settings for dict operations

last-login: Initialize dict_op_settings for dict operations

quota: Initialize dict_op_settings for dict operations

dict: Initialize dict_op_settings for dict operations

acl: Initialize dict_op_settings for dict lookup

lib-oauth2: Initialize dict_op_settings for dict operations

lib-dict: lua: Initialize dict_op_settings for dict operations

- Add new mandatory argument for lookup, set, and transaction_begin.
- Use the username to initialize dict_op_settings passed to lib-dict API

lib-dict-extra: test-dict-fs: Initialize dict_op_settings for dict operations

lib-dict-backend: test-dict-sql: Initialize dict_op_settings for dict operations

lib-dict: test-dict-client: Initialize dict_op_settings for dict operations

lib-storage: Initialize dict_op_settings for dict operations

lib-fs: Initialize dict_op_settings for dict operations

auth: userdb-dict: Initialize dict_op_settings for dict iterate

auth: db-dict: Initialize dict_op_settings for dict lookup

doveadm dict: Initialize & use dict_op_settings for dict commands

Sets the username in cmd_dict_init_full and use the settings struct for dict
operations.

lib-storage: Add mail_user.dict_op_set and mail_user_get_dict_op_settings()

Used to initialize or obtain dict_op_settings for the user.

lib-storage: mail-user: Clarify mail_user_get_home() usage string

Explicitly comment about returned string lifetime.

dict: Optionally accept username in lookup/iterate/begin dict protocol commands

Only an optional field, don't actually use it.

dict-file: Remove file_dict_iterate_path struct

No need for the struct since support for multi-path iterate is removed.
So path and path length can be merged with file_dict_iterate_context.

dict backends: Remove multi-path handling code in dict iteration

With mutli-path iteration support being dropped from dict protocol, these
can be cleaned up.

dict: Drop support for multi-path iteration in dict protocol

Remove dict_iterate_init_multiple() since it is not used anywhere. Also
drop support in dict protocol to read multiple paths.

lib-dict: Add dict_op_settings_dup() and dict_op_settings_private_free()

- dict_op_settings_dup() creates a copy of dict_op_settings into a new
  struct dict_dop_settings_private.
- dict_op_settings_private_free() frees the memory for copied object.

lib-dict: Add dict_op_settings parameter for dict_iterate_init()

Only adds the parameter, doesn't use it.

lib-dict: Add dict_op_settings parameter for dict_transaction_begin()

Only adds the parameter, doesn't use it.

lib-dict: Add dict_op_settings

Used for dict operations. Currently username & home_dir are used. Also, change
dict_lookup() to accept a parameter of this type but don't actually use it.

lib-dict: Remove dict_settings.value_type

It was originally added to dict-db and no other backend uses it. With dict-db
removed, there is no need to keep it.

dict-client: Escape username and dict uri in handshake HELLO message

lib-dict-backen: Drop unused dict-db

virtual: Expunge old emails if backend box uidvalidity changed

doveadm-server: Don't return two error lines if a command fails

This normally didn't affect doveadm client usage, but it did break reply
matching when multiple usernames were handled by a single command (e.g.
wildcard users).

lib-http: test-http-client-errors - Don't rely on sleeps

Use the notification signal API instead. Also it's only one test (group)
that needs to do this.

lib-test: Add notification signal send/wait API

This allows a simple way for child/parent processes to communicate when
they're ready. SIGHUP signal is reserved for this.

doveadm batch: Fix assert-crash that happened when it was attempted to be used

Fixes:
Panic: file mail-storage.c: line 1067 (mailbox_set_reason): assertion failed: (reason != NULL)

lib-fs: metawrap - Fix handling empty file

As empty files are already closed when fs-metawrap attempts to append
metadata there have been problems with size calculation. Fix this by
relying on the same mechanism as if metadata changed during write.

This recreates metadata and keeps old body. This fixes an issue when
writing empty mails to cache (failed: Cached message size larger than
expected).

This was introduced by 03e102ddccaae9e944c503d4269de755731798e8a

lib-fs: fs-metawrap - Expect fs_stat to return size 0 for empty file

NEWS: Updates for v2.3.15

NEWS: Add news for 2.3.14.1

lib-smtp: smtp-server-connection - Fix STARTTLS command injection vulnerability.

The input handler kept reading more commands even though the input was locked by
the STARTTLS command, thereby causing it to read the command pipelined beyond
STARTTLS. This causes a STARTTLS command injection vulerability.

lib-dict-extra: dict-fs - Escape unsafe paths

Change any path components that are `.` or `..` to `...` and `....`.
Prevents path traversal attacks.

lib-oauth2: Do not escape '.'

This is not really needed and just makes things difficult.

lib-oauth2: Add missing test_begin/test_end to token escape

lib-oauth2: test-oauth2-jwt - Fix linkage for openssl

Without whole archive option ssl_iostream_unref isn't
included in linkage, which will prevent libdcrypt from
loading openssl backend.

lib-oauth2: Ensure azp is escaped too

lib-oauth2: Add test for token escape