lib-master: Add admin-client API

The admin-clients are automatically created for %{pid} socket listeners.
They are not reported to master process as being actual connections to
the process, or counted towards service_count.

imap/pop3/submission-login: Add srv.<name>/%{pid}-admin unix socket listener

This can be used by admin clients.

master: Automatically mkdir listener subdirectories

The directory permissions are based on the unix/fifo_listeners that are
created under the directory.

master: Split off service_is_enabled()

master: Support %{pid} in unix_listener paths

This allows each process to have their own private UNIX socket listener.

master: service_unix_listener_listen() - Add path parameter

master: service_unix_listener_listen() - Add verify_addrinuse parameter

master: Make service_unix_listener_listen() public

master: Move error logging from service_*_listener_listen() to parent function

This is in preparation for the following changes. It would have been
enough actually to just do this for service_unix_listener_listen(), but
it's nicer this way for consistency.

lib: Add connection_client_connect_with_retries()

lib: Add connection_input_read_stream()

lib: Add i_stream_set_error()

lib-master: Remove unused master_auth_request()

welcome: Supply noreply-parameter to program client creation

Use the appropriate noreply parameter when initializing the program
client to implement the behavior as it was configured.

welcome: Use program_client_exit_status enum value

Replace the implicit int with the explicit program_client_exit_status
enum value when starting the script and handling the callback.

welcome: Remove io_loop_stop() call in callback

This is the responsibility of the program-client API and should not
happen in the plugin itself.

lib-program-client: Stop waiting ioloop on destruction

stats: stats_metrics_remove_dynamic() - Free the removed metric

stats: stats_metric_alloc() - Fix indentation on p_new() call

replication: aggregator - Free replicator_connection content

lib-master: Fix deinit memory leak with process_shutdown_filter

lmtp: proxy - Add per-connection counter to session_id

This way connections to two different backends don't try to use the same
session_id. Add 'P' letter before the counter to clarify that it's the
proxy connection counter.

lmtp: Simplify/clarify per-recipient session ID

The session ID is the transaction ID followed by an increasing recipient
count (number of RCPT commands) in the SMTP transaction. Clarify this by
adding 'R' letter before the counter. Also don't add the counter suffix at
all for the first recipient, since most transactions only have a single
recipient.

lib-smtp: server-transaction - Simplify/clarify transaction ID

The transaction ID is the session ID followed by an increasing transaction
count (number of MAIL commands) in the SMTP server connection. Clarify
this by adding 'T' letter before the counter. Also don't add the counter
suffix at all for the first session, since most sessions only have a
single transaction.

lib-smtp, lmtp: Add brackets to <session-id> in logging

This makes it clearer where the session-id stops. It's also similar to
how it is in mail_log_prefix.

lmtp: proxy - Use recipient-specific session-id when logging the result

Instead of transaction ID, which is shared between recipients.

lmtp: struct lmtp_recipient - Change all strings to const

auth: ldap: Drop partially saved results before retrying request

Fixes "LDAP search returned multiple entries" happening after reconnects.

auth: ldap: If any requests were lost, reconnect to LDAP server

auth: ldap: If LDAP connection appears to be hanging, abort all old requests

Retrying the reconnect might fix them, but since this situation isn't
supposed to happen in the first place, it's safer to just remove them
entirely to guarantee that it's not trying to keep retrying them for
a long time.

auth: ldap: Reconnect to server if receiving unknown msgid

It's unclear why this happens. Is it a bug on server or client side?
Either way, this situation doesn't now fix itself automatically, so
reconnecting should help.

auth: ldap: Stop re-sending request after 3 disconnect+reconnects

This prevents retrying the same LDAP request forever in situations where the
request causes LDAP server to become disconnected. This might fix some real
issues, but it was mainly implemented because testing the following commit
caused infinite looping.

welcome: Use program-client for welcome script

Replace manual execution of client script with consolidated
program-client API.

lib-program-client: Add unit tests for client program execution

- Add unit test that covers program_client_wait(), in which the script
  execution environment needs to wait for a still running asynchronous
  client program, and
- add unit test that covers a synchronous program_client_run().

lib-program-client: Add program_client_wait() function

Akin to program_client_run() this function creates an inner io-loop that
waits but without operating on the available data.

lib-program-client: Process successful unix connection directly

Call program_client_remote_connected() directly instead of adding it to
the io-loop.

imapc: Start to handle new untagged fetch messages in imapc_sync()

imapc: Add imapc_sync_handle_untagged_fetches()

imapc: imapc_untagged_fetch_handle() - Change return type to bool

When calling imapc_untagged_fetch_handle() also retrieve new_message_r
from it which allows imapc_mailbox_msgmap_update() to determine if the
message just handled was already in index or not.

imapc: imapc_untagged_fetch_update_flags() - Reduce indentation

imapc: Split off imapc_untagged_fetch_update_flags() for handling flag updates

imapc: Introduce imapc_untagged_fetch_ctx

imapc: Decouple imapc_untagged_fetch parsing and handling

lib-smtp: test-smtp-client-errors - Add test for succesful authentication with large initial response.

lib-smtp: smtp-client-connection - Fix authentication with multi-roundtrip SASL mechanisms.

Before, it would fail with an unexpected reply error.

lib-smtp: test-smtp-client-errors - Add test for successful authentication.

lib-smtp: test-smtp-client-errors - Rename "authentication failed" test to "authentication".

lib-smtp: smtp-client - Fix maximum line length to include CRLF.

lib-smtp: smtp-client-connection - Do not include initial response in AUTH command if it is too long.

lib-smtp: smtp-client-connection - Move auth cleanup to separate function.

lib-sasl: dsasl-client - Make dsasl_client_free(&NULL) a no-op.

lib-smtp: smtp-client-connection - Reformat comment.

lib-program-client: Explicitly ignore dns_lookup() return value

lmtp: proxy: Fix bad error handling code path with assert

dict-ldap: Fix crash in synchronous dict_lookup()

However, this code could never actually be called. All dict-ldap lookups
go through dict process, which uses only dict_lookup_async().

Broken by 4453ca75c600ed35643d0775b16848cafae9eaea

lib-http: http_server_resource_create() - Remove unnecessary pool allocation

Fixes leaking the memory pool created in stats_http_resource_add()

lib-storage: LAYOUT=index: Fix accessing freed memory when deleting \Noselect parents

Broken by f5328d6f7e4a8e460c736fa0336f5766aa58abda

fts: Use fts_backend_is_uid_indexed() instead of fts_backend_get_last_uid()

If the highest UID currently known to the view is already indexed, we don't
care whether there are other higher UIDs that have already been indexed.

fts: Add fts_backend_is_uid_indexed() and fts_backend_vfuncs.is_uid_indexed()

Backends may be able to optimize this better than get_last_uid(), because
they only need to verify whether the given UID is indexed or not. This
allows e.g. caching internally without having to refresh the index to see
whether another mail was just recently indexed.

If the new vfunc isn't implemented by the backend, get_last_uid() is used to
implement it.

fts-*: Use named initializers for fts_backend_vfuncs

plugins/fts: Allow plugins to carry state across calls during search session

indexer: Fix memory leak - worker_requests were never freed

Broken by 141766b24f885259508ae39f2e18811018373bc7

indexer: Fix memory leak - session IDs were never freed

Broken by a8dcd4e2332c73087e9b148d34259230a77edb28

lib-storage: Add unit tests for mail_parse_human_timestamp()

Add one test for one of each branches in mail_parse_human_timestamp()
which include:
- ISO dates,
- IMAP dates,
- UNIX timestamps, and
- relative time intervals.

lib-storage: mail_parse_human_timestamp() - Make ISO date conversion UTC specific

lib-sql: pgsql: Added correct notice processor

lib-storage: mailbox-list: index_list_rename_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or existant when renaming child mailboxes.

lib-storage: mailbox-list: index_list_delete_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or not existant when deleting child mailboxes.

imapc: Fix doveadm copy with imapc

When copying to a mailbox with imapc it does not sync the destination
mailbox when opening. This created "Error: Syncing mailbox '$mailboxname'
failed: Internal error occurred." Prevent this error by checking for the
MAILBOX_FLAG_SAVEONLY flag which is used by doveadm to create the
destination mailbox. If that flag is set ignore that there was no initial
fetching done.

doveadm fetch/search: Use DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

These commands only write output to the client, so it's safe to stop
them if the client disconnects.

doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

lib-master: Add process_shutdown_filter setting

lib-master: Refactor parsing event filters from settings.

lib-master: Remove check for client->filter == NULL before event_filter_match().

lib: Add check for NULL to event_filter_match().

lib-master: Whitespace cleanup.

lib-storage: Emit event with process stat in mail_user_deinit().

lib: Add event_add_int_non_zero()

lib: Add functionality for acquiring process stat.

lib: add timeval_to_usecs()

lib: Whitespace cleanup

lib-storage: Fix search query that only contains SEARCH_MAILBOX_GUID

Fixes assert-crash in virtual mailbox:

Panic: file virtual-search.c: line 77 (virtual_search_get_records): assertion failed: (result != 0)

lib-doveadm: Fix connect timeout from 30ms to 30s

config: old_settings_ssl_dh_read() - Replace while() from non-iterating code

Found by code analysis tool

doveadm: doveadm_mailbox_list_iter_next() - Replace while() in non-iterating code

Found by code analysis tool

dsync: Log errors sent by remote tcp connection

dsync: Split off dsync_errors_finish()

The logic changes a bit, but it's fine because either all of err_stream,
io_error and fd_err are set or none of them are.

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

submission: submission-backend-relay - Make sure QUIT command yields 221 when relay connection is closed normally.

Before, it would sometimes erroneously treat the closing connection as a
"connection lost" 421 situation.

submission: submission-backend-relay - Fix segfault in QUIT command client-side destruction.

lib-smtp: smtp-server-cmd-rset - Stop processing pipeline until RSET is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the RSET command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already being
processed.

lib-smtp: smtp-server-cmd-helo - Stop processing pipeline until HELO/EHLO is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the EHLO/HELO command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already
being processed.

lib-smtp: smtp-server-command - Add smtp_server_command_pipeline_block/unblock().

lib-smtp: smtp-client-transaction - Plug the command pipeline while transaction is pending.

This prevents commands submitted after creating the transaction from being
exectuted out-of-order before the transaction's MAIL command.

lib-smtp: smtp-client-transaction - Add smtp_client_command_mail_submit_after().

lib-smtp: smtp-client-transaction - Prevent recursion for smtp_client_transaction_fail*().