auth: ldap: Stop re-sending request after 3 disconnect+reconnects

This prevents retrying the same LDAP request forever in situations where the
request causes LDAP server to become disconnected. This might fix some real
issues, but it was mainly implemented because testing the following commit
caused infinite looping.

welcome: Use program-client for welcome script

Replace manual execution of client script with consolidated
program-client API.

lib-program-client: Add unit tests for client program execution

- Add unit test that covers program_client_wait(), in which the script
  execution environment needs to wait for a still running asynchronous
  client program, and
- add unit test that covers a synchronous program_client_run().

lib-program-client: Add program_client_wait() function

Akin to program_client_run() this function creates an inner io-loop that
waits but without operating on the available data.

lib-program-client: Process successful unix connection directly

Call program_client_remote_connected() directly instead of adding it to
the io-loop.

imapc: Start to handle new untagged fetch messages in imapc_sync()

imapc: Add imapc_sync_handle_untagged_fetches()

imapc: imapc_untagged_fetch_handle() - Change return type to bool

When calling imapc_untagged_fetch_handle() also retrieve new_message_r
from it which allows imapc_mailbox_msgmap_update() to determine if the
message just handled was already in index or not.

imapc: imapc_untagged_fetch_update_flags() - Reduce indentation

imapc: Split off imapc_untagged_fetch_update_flags() for handling flag updates

imapc: Introduce imapc_untagged_fetch_ctx

imapc: Decouple imapc_untagged_fetch parsing and handling

lib-smtp: test-smtp-client-errors - Add test for succesful authentication with large initial response.

lib-smtp: smtp-client-connection - Fix authentication with multi-roundtrip SASL mechanisms.

Before, it would fail with an unexpected reply error.

lib-smtp: test-smtp-client-errors - Add test for successful authentication.

lib-smtp: test-smtp-client-errors - Rename "authentication failed" test to "authentication".

lib-smtp: smtp-client - Fix maximum line length to include CRLF.

lib-smtp: smtp-client-connection - Do not include initial response in AUTH command if it is too long.

lib-smtp: smtp-client-connection - Move auth cleanup to separate function.

lib-sasl: dsasl-client - Make dsasl_client_free(&NULL) a no-op.

lib-smtp: smtp-client-connection - Reformat comment.

lib-program-client: Explicitly ignore dns_lookup() return value

lmtp: proxy: Fix bad error handling code path with assert

dict-ldap: Fix crash in synchronous dict_lookup()

However, this code could never actually be called. All dict-ldap lookups
go through dict process, which uses only dict_lookup_async().

Broken by 4453ca75c600ed35643d0775b16848cafae9eaea

lib-http: http_server_resource_create() - Remove unnecessary pool allocation

Fixes leaking the memory pool created in stats_http_resource_add()

lib-storage: LAYOUT=index: Fix accessing freed memory when deleting \Noselect parents

Broken by f5328d6f7e4a8e460c736fa0336f5766aa58abda

fts: Use fts_backend_is_uid_indexed() instead of fts_backend_get_last_uid()

If the highest UID currently known to the view is already indexed, we don't
care whether there are other higher UIDs that have already been indexed.

fts: Add fts_backend_is_uid_indexed() and fts_backend_vfuncs.is_uid_indexed()

Backends may be able to optimize this better than get_last_uid(), because
they only need to verify whether the given UID is indexed or not. This
allows e.g. caching internally without having to refresh the index to see
whether another mail was just recently indexed.

If the new vfunc isn't implemented by the backend, get_last_uid() is used to
implement it.

fts-*: Use named initializers for fts_backend_vfuncs

plugins/fts: Allow plugins to carry state across calls during search session

indexer: Fix memory leak - worker_requests were never freed

Broken by 141766b24f885259508ae39f2e18811018373bc7

indexer: Fix memory leak - session IDs were never freed

Broken by a8dcd4e2332c73087e9b148d34259230a77edb28

lib-storage: Add unit tests for mail_parse_human_timestamp()

Add one test for one of each branches in mail_parse_human_timestamp()
which include:
- ISO dates,
- IMAP dates,
- UNIX timestamps, and
- relative time intervals.

lib-storage: mail_parse_human_timestamp() - Make ISO date conversion UTC specific

lib-sql: pgsql: Added correct notice processor

lib-storage: mailbox-list: index_list_rename_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or existant when renaming child mailboxes.

lib-storage: mailbox-list: index_list_delete_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or not existant when deleting child mailboxes.

imapc: Fix doveadm copy with imapc

When copying to a mailbox with imapc it does not sync the destination
mailbox when opening. This created "Error: Syncing mailbox '$mailboxname'
failed: Internal error occurred." Prevent this error by checking for the
MAILBOX_FLAG_SAVEONLY flag which is used by doveadm to create the
destination mailbox. If that flag is set ignore that there was no initial
fetching done.

doveadm fetch/search: Use DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

These commands only write output to the client, so it's safe to stop
them if the client disconnects.

doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

lib-master: Add process_shutdown_filter setting

lib-master: Refactor parsing event filters from settings.

lib-master: Remove check for client->filter == NULL before event_filter_match().

lib: Add check for NULL to event_filter_match().

lib-master: Whitespace cleanup.

lib-storage: Emit event with process stat in mail_user_deinit().

lib: Add event_add_int_non_zero()

lib: Add functionality for acquiring process stat.

lib: add timeval_to_usecs()

lib: Whitespace cleanup

lib-storage: Fix search query that only contains SEARCH_MAILBOX_GUID

Fixes assert-crash in virtual mailbox:

Panic: file virtual-search.c: line 77 (virtual_search_get_records): assertion failed: (result != 0)

lib-doveadm: Fix connect timeout from 30ms to 30s

config: old_settings_ssl_dh_read() - Replace while() from non-iterating code

Found by code analysis tool

doveadm: doveadm_mailbox_list_iter_next() - Replace while() in non-iterating code

Found by code analysis tool

dsync: Log errors sent by remote tcp connection

dsync: Split off dsync_errors_finish()

The logic changes a bit, but it's fine because either all of err_stream,
io_error and fd_err are set or none of them are.

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

submission: submission-backend-relay - Make sure QUIT command yields 221 when relay connection is closed normally.

Before, it would sometimes erroneously treat the closing connection as a
"connection lost" 421 situation.

submission: submission-backend-relay - Fix segfault in QUIT command client-side destruction.

lib-smtp: smtp-server-cmd-rset - Stop processing pipeline until RSET is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the RSET command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already being
processed.

lib-smtp: smtp-server-cmd-helo - Stop processing pipeline until HELO/EHLO is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the EHLO/HELO command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already
being processed.

lib-smtp: smtp-server-command - Add smtp_server_command_pipeline_block/unblock().

lib-smtp: smtp-client-transaction - Plug the command pipeline while transaction is pending.

This prevents commands submitted after creating the transaction from being
exectuted out-of-order before the transaction's MAIL command.

lib-smtp: smtp-client-transaction - Add smtp_client_command_mail_submit_after().

lib-smtp: smtp-client-transaction - Prevent recursion for smtp_client_transaction_fail*().

lib-smtp: Reformat smtp-server-cmd-quit.c.

lib-dict: test-dict-client - Handle shutdown cleanly with ctrl-c

lib: Fix assert-crash when using only non-delayed signals

Fixes:
Panic: file lib-signals.c: line 190 (lib_signals_init_io): assertion failed: (sig_pipe_fd[0] != -1)

util: Remove unreachable code.

plugins/fts-squat: Remove unreachable code.

lib: Replace compile time defined conditions with COMPILE_ERROR_IF_TRUE.

lib: Remove unreachable code.

lib-storage: Remove unreachable code.

lib-ssl-iostream: Replace unreachable error handling with i_unreached().

SSL_CTX_set_eddh_auto() cannot return 0 when HAVE_ECDH is defined.

lib-smtp: Remove unreachable code.

lib-settings: Remove unreachable code.

lib-oauth2: Remove unreachable code.

lib-imap: Replace compile time defined conditions with conditional compilation.

lib-http: Remove unreachable code.

lib-http: Replace unreachable return statement with i_unreached().

lib-dcrypt: Remove unreachable code.

doveadm: Remove unreachable code.

lib-smtp: Whitespace cleanup.

lib-http: Whitespace cleanup.

doveadm: Whitespace cleanup.

doc: Update Solr schema

Use ICU tokenization and normalization.
Reorder filters to make more sense.

pop3-login: client-authenticate - Send redirect reply upon referral nologin auth result.

pop3-login: proxy - Support parsing REFERRAL on remote auth failure.

lib-pop3: Add definition for default service TCP ports.

pop3: Move pop3-capability.h to new lib-pop3.

submission-login: submission-proxy - Properly handle IPv6 in redirect.

imap-login: client-authenticate - Make sure redirect IPv6 is handled correctly.

Pass IP structure to URL API instead of only the hostname as a string.

imap-login: imap-proxy - Fix parsing REFERRAL response with IPv6 URL.

imap-login: imap-proxy - Sanitize response in REFERRAL parse error.

imap-login: imap-proxy - Restructure parsing of NO response.

Don't parse the closing ']' beforehand. This is needed for later commit in which
REFERRAL response code is parsed incrementally.

lmtp: lmtp-proxy - Always wrap IPv6 in [...] in log messages.