stats: Revert the previous OpenMetrics info type revert

The OpenMetrics standard does support "info" type. The original Prometheus
format doesn't support it, but our support is for OpenMetrics. They don't
even have any overlapping types that could be used for this, so the only
other possibility would have been to make this configurable.

Reverts 55a519d18fbbb8435854f1fcf2642b908d6fc074

submission-login: Fix compiling error with some older compilers

submission-login: submission-proxy - Optionally send XCLIENT LOGIN to backend and skip authentication.

This behavior is enabled by returning proxy_noauth from passdb.

login-common: Add proxy field proxy_noauth.

submission-login: submission-proxy - Move submission_proxy_success_reply_sent().

dict: Use the dict name as the log prefix

Otherwise if there are multiple dicts it may not be obvious which one is
causing the errors.

stats: Revert dovecot build information to untyped data

OpenMetrics does not know type 'info', so use 'untyped' instead.

Broken in ae678116a79fff609cdf4fb1eb7eb3db2975bf1c

lib-storage: mail_cache_*_fields - Check for invalid header names while parsing config

This way the errors are noticed early on.

lib-storage: mail_cache_*_fields - Log an error if hdr.<name> isn't valid

Mainly verify that it doesn't have accidental UTF-8 characters that aren't
easily visible in text editors.

lib-mail: Add message_header_name_is_valid()

login-proxy: Make sure input line isn't freed too early

proxy_parse_line() could free the proxy's istream, which frees the line
string. With IMAP the line could have been used as part of the error string
passed to login_proxy_failed(), which can free the istream before using
the string for logging purposes. This could have resulted in logging a
corrupted line or a crash.

Broken by e3134289529cec16ade44cefd0fd26594ae40e30

lib-test: Make sure child processes exit cleanly with SIGTERM

It's normal behavior that the parent process kills the child process with
SIGTERM. This shouldn't result in the child process dying with SIGTERM, but
a clean exit. This was causing http-test-client-errors unit tests to fail
somewhat randomly, especially when running them only with 1 CPU.

lib-test: Ensure we send signals to regular PIDs only

lib-test: Update subprocess list after forking

Due to a race condition, we could end up killing PID 0 by accident
sometimes.

lib: random_fill() - Optimize away memmove()

We just need to track the position of how far the random_next buffer has
been used.

submission-login: submission-proxy - Send XCLIENT data in multiple commands if line exceeds 512 bytes.

When the proxy talks to non-Dovecot software, failures could occur otherwise. Particularly Postfix will fail.

submission-login: submission-proxy - Send PROTO and HELO XCLIENT fields.

submission-login: submission-proxy - Properly send EHLO after XCLIENT.

submission-login: submission-proxy - Reorder XCLIENT fields to match lib-smtp client.

submission-login: submission-proxy - Handle EHLO reply in a separate function.

submission-login: submission-proxy - Move sending STARTTLS to separate function.

submission-login: submission-proxy - Avoid sending empty XCLIENT FORWARD field.

submission: Separately pass XCLIENT HELO value from pre-login to post-login service.

submission: submission-backend-relay - Use smtp_server_connection_get_proxy_data() for composing client settings.

submission: main - Restructure parsing of login input data.

Needed for adding additional fields.

submission-login: client-authenticate - Restructure composition of master_prefix.

Needed for later commit.

lib-smtp: smtp-server-connection - Record proxied EHLO domain separately.

This prevents it from being overriden by a local EHLO command.

lib-smtp: smtp-server - Make smtp_server_connection_set_proxy_data() public.

lib-smtp: smtp-server-connection - Use smtp_server_connection_get_proxy_data() for the conn_proxy_data_updated() callback.

Removes code duplication.

lib-smtp: smtp-server-connection - Allow username/ehlo to be set before smtp_server_connection_login().

This allows setting the proxy data early.

lib-smtp: Reformat smtp-server.h.

submission: Reformat submission-client.h.

submission: Reformat submission-client.c.

login-common: Add support for recording rawlog of connection between proxy and backend.

doveadm: Mark fs_cmd_help() with ATTR_NORETURN

This helps static analyzers understand that the function doesn't return.

doveadm: Avoid passing NULL to memcpy() even though zero bytes are copied

Makes static analyzers happier.

doveadm: Remove dead assignment

lib: Use 32 byte buffer for getting randomness

This reduces the number of syscalls when small amount of randomness is
requested, like i_rand*() calls using only 4 bytes at a time.

doveadm: Remove code related to obsolete doveadm_mail_cmd handling

struct doveadm_mail_cmd couldn't be completely removed since v2 mail
commands are still converted to it.

doveadm sync/backup/dsync-server: Convert to v2 command

doveadm batch: Convert to v2 command

doveadm: Remove struct doveadm_cmd and related code

doveadm: Remove doveadm_cmd_ver2.old_cmd

doveadm proxy: Convert to v2 commands

doveadm oldstats: Convert to v2 commands

doveadm stop/reload: Convert to v2 commands

doveadm fs: Convert to v2 commands

doveadm auth cache flush: Convert auth-server command to v2

doveadm auth: Convert to v2 commands

doveadm instance: Convert to v2 commands

doveadm log: Convert to v2 commands

doveadm replicator: Convert to v2 commands

doveadm config: Convert to v2 command

doveadm exec: Convert to v2 command

doveadm: Add CMD_FLAG_NO_UNORDERED_OPTIONS

doveadm: Add CMD_FLAG_NO_OPTIONS

This allows command to process all parameters, including parameters starting
with "-".

doveadm: Split off doveadm_cmd_process_options()

doveadm: Reformat doveadm-cmd.c

doveadm help: Convert to v2 command

doveadm dump: Convert to v2 command

doveadm dump: Change doveadm_cmd_dump.cmd() API to be simpler

doveadm pw: Convert to v2 command

doveadm mailbox mutf7: Convert to v2 command

doveadm sis deduplicate/find: Convert to v2 command

doveadm zlibconnect: Convert to v2 command

doveadm: Code cleanup - Add doveadm_cmdline_commands_ver2[]

doveadm: Support building ARRAY type mail command parameters

doveadm: Fix building IP/INT64 type mail command parameters

doveadm: Split off doveadm_cmd_parse_arg()

lib: Fix assert-crash when destroying ioloop that has active context

Normally the ioloop shouldn't have an active context at deinit, but it
seems to be possible in some situations. It's not really bad anyway, so
just allow it.

Fixes:
Panic: file ioloop.c: line 928 (io_loop_destroy): assertion failed: (ioloop->cur_ctx == NULL)

lib-mail: Fix memory leak in istream-header-filter

Broken by 1c1b77dbf9a548aac788efb76973ce2d0fa6c732

lib: data-stack - t_try_realloc() - Add missing data_stack_last_buffer_reset() call

This fixes incorrect "buffer overflow" panics with DEBUG builds.

lib: data-stack - data_stack_last_buffer_reset(() - Add comments and an assert

This clarifies how the function is expected to work.

lib-storage: Use escaped name length to calculate truncation margin

This fixes corruption of mailbox names when the storage_name_escape_char
has been part of the parent folder name.

Broken by 5dd81d83d8d9120ed2a74d5bd2aa62622885b49c

lib-lua: Fix LIBDICT_LUA variable usage

It needs to be appended to, not set again. Broken by
3d0b7e9bb59e3dc41fd5a4d09832eedea7a92933.

lib-lua: Only link libdict_lua if it's available

plugins/fts: Restore fts_indexer_cmd

It was removed in cf114f90e0ba25c18db846ee582e3a130bd52949 and that
broke some FTS plugins.

lib-dict: Fix linking when building without Lua

Linking didn't work on some non-Linux OSes (non-GNU linkers?)

lib-compression: istream-zstd - Make sure parent stream error isn't overwritten

This could have happened if the parent istream failed before the zstd header
was read. Practically this didn't happen currently, because the initial
parent stream error was normally already handled by istream-decompress
before istream-zstd was even called.

lib-compression: istream-zlib - Fix parent stream error handling near EOF

This happened when gz stream (including trailer) was fully read, but the
final check to see if there is a concatenated gz stream afterwards failed
due to parent istream failure. In this case the error was ignored and
istream returned success, truncating any potential concatenated istream
input. This situation was very unlikely to happen.

lib-mail: Fix istream-header-filter snapshotting

lib: Add istream_snapshot.free() to allow more complex snapshots

lib-storage: Make use of MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

lib-index: Introduce MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

This flag is used to make sure secondary views flags-index can work
properly without emitting warnings about inconsistency. If an
inconsistency is encountered fix it by fully syncing.

Revert "lib-storage: Always fix inconsistency when syncing private flags index"

This reverts commit 986d9cbbecffd836d977b6ad956b04e3ca606677.

This is reverted because storing flags on private indexes no longer send
untagged replies.

acl: Ignore acls in acl_lookup_dict_rebuild_add_backend if ignore_acls is set

In case an namespace has been configured to ignore ACLs also respect
that when acl_lookup_dict_rebuild is called.

Co-Authored-By: Vincent Brillault <vincent.brillault@cern.ch>

lib-smtp: test-smtp-payload - Set all timeouts to CLIENT_PROGRESS_TIMEOUT.

This prevents connect and idle timeouts from triggering earlier than the
progress timeout.

imap: PREVIEW responses need trailing space

2.3.15 regression

Before 2.3.15, there was this same buggy behavior in error cases; 2.3.15
moved that buggy behavior to the success code path

DOP-2463

doveadm-server: Add log prefix to logs written to client

doveadm-server: Simplify writing log output to client

lib: Fix log prefix in internal handler when log handler has been overridden

Adds back mail_log_prefix to doveadm mail commands when doveadm-server was
accessed via TCP.

Originally broken by c9dd53f7180a78668cbc1e6eb34d5b1722beccb9

dict-file: Make sure home_dir doesn't change during operations

file_dict is initialized for a specific user. Keep record of the user's
home_dir and check for all dict operations that the user did not change.

global: Remove dict_settings.home_dir

Allows dict to be shared across users. Dict operations use
dict_op_settings.home_dir if set.

dict: Split protocol command arguments in dict_command_input()

Instead of duplicating code and splitting in each command functions
separately.

lib-dict: Make sure username is valid as well when checking key prefix

If this is a private key, username must be non-empty.

dict: Remove dict_connection.username and dict_settings.username

- dict should be user agnostic. dict operations have username.
- same for dict connection
- also removes username from dict process' log prefix

dict: Add username field for command events

To prepare for connection username removal in next commit. Instead of
adding username field for the parent event, add it in command events.

Commands can now be run for different users. Having the same username
field as the one used in initialization can be wrong.

dict-client: Do not send username in initial handshake

Dict commands that need username have it included in their arguments now.

dict-fs: Remove unused fs_dict.username

dict-redis: Remove unused redis_dict.username