lib-smtp: smtp-server-connection - Allow username/ehlo to be set before smtp_server_connection_login().

This allows setting the proxy data early.

lib-smtp: Reformat smtp-server.h.

submission: Reformat submission-client.h.

submission: Reformat submission-client.c.

login-common: Add support for recording rawlog of connection between proxy and backend.

doveadm: Mark fs_cmd_help() with ATTR_NORETURN

This helps static analyzers understand that the function doesn't return.

doveadm: Avoid passing NULL to memcpy() even though zero bytes are copied

Makes static analyzers happier.

doveadm: Remove dead assignment

lib: Use 32 byte buffer for getting randomness

This reduces the number of syscalls when small amount of randomness is
requested, like i_rand*() calls using only 4 bytes at a time.

doveadm: Remove code related to obsolete doveadm_mail_cmd handling

struct doveadm_mail_cmd couldn't be completely removed since v2 mail
commands are still converted to it.

doveadm sync/backup/dsync-server: Convert to v2 command

doveadm batch: Convert to v2 command

doveadm: Remove struct doveadm_cmd and related code

doveadm: Remove doveadm_cmd_ver2.old_cmd

doveadm proxy: Convert to v2 commands

doveadm oldstats: Convert to v2 commands

doveadm stop/reload: Convert to v2 commands

doveadm fs: Convert to v2 commands

doveadm auth cache flush: Convert auth-server command to v2

doveadm auth: Convert to v2 commands

doveadm instance: Convert to v2 commands

doveadm log: Convert to v2 commands

doveadm replicator: Convert to v2 commands

doveadm config: Convert to v2 command

doveadm exec: Convert to v2 command

doveadm: Add CMD_FLAG_NO_UNORDERED_OPTIONS

doveadm: Add CMD_FLAG_NO_OPTIONS

This allows command to process all parameters, including parameters starting
with "-".

doveadm: Split off doveadm_cmd_process_options()

doveadm: Reformat doveadm-cmd.c

doveadm help: Convert to v2 command

doveadm dump: Convert to v2 command

doveadm dump: Change doveadm_cmd_dump.cmd() API to be simpler

doveadm pw: Convert to v2 command

doveadm mailbox mutf7: Convert to v2 command

doveadm sis deduplicate/find: Convert to v2 command

doveadm zlibconnect: Convert to v2 command

doveadm: Code cleanup - Add doveadm_cmdline_commands_ver2[]

doveadm: Support building ARRAY type mail command parameters

doveadm: Fix building IP/INT64 type mail command parameters

doveadm: Split off doveadm_cmd_parse_arg()

lib: Fix assert-crash when destroying ioloop that has active context

Normally the ioloop shouldn't have an active context at deinit, but it
seems to be possible in some situations. It's not really bad anyway, so
just allow it.

Fixes:
Panic: file ioloop.c: line 928 (io_loop_destroy): assertion failed: (ioloop->cur_ctx == NULL)

lib-mail: Fix memory leak in istream-header-filter

Broken by 1c1b77dbf9a548aac788efb76973ce2d0fa6c732

lib: data-stack - t_try_realloc() - Add missing data_stack_last_buffer_reset() call

This fixes incorrect "buffer overflow" panics with DEBUG builds.

lib: data-stack - data_stack_last_buffer_reset(() - Add comments and an assert

This clarifies how the function is expected to work.

lib-storage: Use escaped name length to calculate truncation margin

This fixes corruption of mailbox names when the storage_name_escape_char
has been part of the parent folder name.

Broken by 5dd81d83d8d9120ed2a74d5bd2aa62622885b49c

lib-lua: Fix LIBDICT_LUA variable usage

It needs to be appended to, not set again. Broken by
3d0b7e9bb59e3dc41fd5a4d09832eedea7a92933.

lib-lua: Only link libdict_lua if it's available

plugins/fts: Restore fts_indexer_cmd

It was removed in cf114f90e0ba25c18db846ee582e3a130bd52949 and that
broke some FTS plugins.

lib-dict: Fix linking when building without Lua

Linking didn't work on some non-Linux OSes (non-GNU linkers?)

lib-compression: istream-zstd - Make sure parent stream error isn't overwritten

This could have happened if the parent istream failed before the zstd header
was read. Practically this didn't happen currently, because the initial
parent stream error was normally already handled by istream-decompress
before istream-zstd was even called.

lib-compression: istream-zlib - Fix parent stream error handling near EOF

This happened when gz stream (including trailer) was fully read, but the
final check to see if there is a concatenated gz stream afterwards failed
due to parent istream failure. In this case the error was ignored and
istream returned success, truncating any potential concatenated istream
input. This situation was very unlikely to happen.

lib-mail: Fix istream-header-filter snapshotting

lib: Add istream_snapshot.free() to allow more complex snapshots

lib-storage: Make use of MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

lib-index: Introduce MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

This flag is used to make sure secondary views flags-index can work
properly without emitting warnings about inconsistency. If an
inconsistency is encountered fix it by fully syncing.

Revert "lib-storage: Always fix inconsistency when syncing private flags index"

This reverts commit 986d9cbbecffd836d977b6ad956b04e3ca606677.

This is reverted because storing flags on private indexes no longer send
untagged replies.

acl: Ignore acls in acl_lookup_dict_rebuild_add_backend if ignore_acls is set

In case an namespace has been configured to ignore ACLs also respect
that when acl_lookup_dict_rebuild is called.

Co-Authored-By: Vincent Brillault <vincent.brillault@cern.ch>

lib-smtp: test-smtp-payload - Set all timeouts to CLIENT_PROGRESS_TIMEOUT.

This prevents connect and idle timeouts from triggering earlier than the
progress timeout.

imap: PREVIEW responses need trailing space

2.3.15 regression

Before 2.3.15, there was this same buggy behavior in error cases; 2.3.15
moved that buggy behavior to the success code path

DOP-2463

doveadm-server: Add log prefix to logs written to client

doveadm-server: Simplify writing log output to client

lib: Fix log prefix in internal handler when log handler has been overridden

Adds back mail_log_prefix to doveadm mail commands when doveadm-server was
accessed via TCP.

Originally broken by c9dd53f7180a78668cbc1e6eb34d5b1722beccb9

dict-file: Make sure home_dir doesn't change during operations

file_dict is initialized for a specific user. Keep record of the user's
home_dir and check for all dict operations that the user did not change.

global: Remove dict_settings.home_dir

Allows dict to be shared across users. Dict operations use
dict_op_settings.home_dir if set.

dict: Split protocol command arguments in dict_command_input()

Instead of duplicating code and splitting in each command functions
separately.

lib-dict: Make sure username is valid as well when checking key prefix

If this is a private key, username must be non-empty.

dict: Remove dict_connection.username and dict_settings.username

- dict should be user agnostic. dict operations have username.
- same for dict connection
- also removes username from dict process' log prefix

dict: Add username field for command events

To prepare for connection username removal in next commit. Instead of
adding username field for the parent event, add it in command events.

Commands can now be run for different users. Having the same username
field as the one used in initialization can be wrong.

dict-client: Do not send username in initial handshake

Dict commands that need username have it included in their arguments now.

dict-fs: Remove unused fs_dict.username

dict-redis: Remove unused redis_dict.username

dict-memcached-ascii: Remove unused memcached_ascii_dict.username

dict-sql: Remove unused sql_dict.username

dict-ldap: Remove unused ldap_dict.username

dict: Add dict_event_create

Helper function for dict events. If dict_op_settings has username set, adds
it as a field.

dict-client: Send username in commands

Lookup, iterate_begin, and transaction_begin need username. This bumps
dict protocol's major version to 3.

dict-redis: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username. Also, ensure
that username is escaped.

dict-memcached-ascii: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict-fs: Use dict_op_settings to get full key

Switch from dict.username to dict_op_settings.username.

dict: Use dict_op_settings in backends

- Use dict_op_settings in dict API functions
- forward the settings object to backends for dict lookup/iterate
- Update backends to use dict_op_settings

notify-status: Initialize dict_op_settings for dict operations

last-login: Initialize dict_op_settings for dict operations

quota: Initialize dict_op_settings for dict operations

dict: Initialize dict_op_settings for dict operations

acl: Initialize dict_op_settings for dict lookup

lib-oauth2: Initialize dict_op_settings for dict operations

lib-dict: lua: Initialize dict_op_settings for dict operations

- Add new mandatory argument for lookup, set, and transaction_begin.
- Use the username to initialize dict_op_settings passed to lib-dict API

lib-dict-extra: test-dict-fs: Initialize dict_op_settings for dict operations

lib-dict-backend: test-dict-sql: Initialize dict_op_settings for dict operations

lib-dict: test-dict-client: Initialize dict_op_settings for dict operations

lib-storage: Initialize dict_op_settings for dict operations

lib-fs: Initialize dict_op_settings for dict operations

auth: userdb-dict: Initialize dict_op_settings for dict iterate

auth: db-dict: Initialize dict_op_settings for dict lookup

doveadm dict: Initialize & use dict_op_settings for dict commands

Sets the username in cmd_dict_init_full and use the settings struct for dict
operations.

lib-storage: Add mail_user.dict_op_set and mail_user_get_dict_op_settings()

Used to initialize or obtain dict_op_settings for the user.

lib-storage: mail-user: Clarify mail_user_get_home() usage string

Explicitly comment about returned string lifetime.

dict: Optionally accept username in lookup/iterate/begin dict protocol commands

Only an optional field, don't actually use it.

dict-file: Remove file_dict_iterate_path struct

No need for the struct since support for multi-path iterate is removed.
So path and path length can be merged with file_dict_iterate_context.

dict backends: Remove multi-path handling code in dict iteration

With mutli-path iteration support being dropped from dict protocol, these
can be cleaned up.