lib-storage: LAYOUT=index: Fix accessing freed memory when deleting \Noselect parents

Broken by f5328d6f7e4a8e460c736fa0336f5766aa58abda

fts: Use fts_backend_is_uid_indexed() instead of fts_backend_get_last_uid()

If the highest UID currently known to the view is already indexed, we don't
care whether there are other higher UIDs that have already been indexed.

fts: Add fts_backend_is_uid_indexed() and fts_backend_vfuncs.is_uid_indexed()

Backends may be able to optimize this better than get_last_uid(), because
they only need to verify whether the given UID is indexed or not. This
allows e.g. caching internally without having to refresh the index to see
whether another mail was just recently indexed.

If the new vfunc isn't implemented by the backend, get_last_uid() is used to
implement it.

fts-*: Use named initializers for fts_backend_vfuncs

plugins/fts: Allow plugins to carry state across calls during search session

indexer: Fix memory leak - worker_requests were never freed

Broken by 141766b24f885259508ae39f2e18811018373bc7

indexer: Fix memory leak - session IDs were never freed

Broken by a8dcd4e2332c73087e9b148d34259230a77edb28

lib-storage: Add unit tests for mail_parse_human_timestamp()

Add one test for one of each branches in mail_parse_human_timestamp()
which include:
- ISO dates,
- IMAP dates,
- UNIX timestamps, and
- relative time intervals.

lib-storage: mail_parse_human_timestamp() - Make ISO date conversion UTC specific

lib-sql: pgsql: Added correct notice processor

lib-storage: mailbox-list: index_list_rename_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or existant when renaming child mailboxes.

lib-storage: mailbox-list: index_list_delete_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or not existant when deleting child mailboxes.

imapc: Fix doveadm copy with imapc

When copying to a mailbox with imapc it does not sync the destination
mailbox when opening. This created "Error: Syncing mailbox '$mailboxname'
failed: Internal error occurred." Prevent this error by checking for the
MAILBOX_FLAG_SAVEONLY flag which is used by doveadm to create the
destination mailbox. If that flag is set ignore that there was no initial
fetching done.

doveadm fetch/search: Use DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

These commands only write output to the client, so it's safe to stop
them if the client disconnects.

doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

lib-master: Add process_shutdown_filter setting

lib-master: Refactor parsing event filters from settings.

lib-master: Remove check for client->filter == NULL before event_filter_match().

lib: Add check for NULL to event_filter_match().

lib-master: Whitespace cleanup.

lib-storage: Emit event with process stat in mail_user_deinit().

lib: Add event_add_int_non_zero()

lib: Add functionality for acquiring process stat.

lib: add timeval_to_usecs()

lib: Whitespace cleanup

lib-storage: Fix search query that only contains SEARCH_MAILBOX_GUID

Fixes assert-crash in virtual mailbox:

Panic: file virtual-search.c: line 77 (virtual_search_get_records): assertion failed: (result != 0)

lib-doveadm: Fix connect timeout from 30ms to 30s

config: old_settings_ssl_dh_read() - Replace while() from non-iterating code

Found by code analysis tool

doveadm: doveadm_mailbox_list_iter_next() - Replace while() in non-iterating code

Found by code analysis tool

dsync: Log errors sent by remote tcp connection

dsync: Split off dsync_errors_finish()

The logic changes a bit, but it's fine because either all of err_stream,
io_error and fd_err are set or none of them are.

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

submission: submission-backend-relay - Make sure QUIT command yields 221 when relay connection is closed normally.

Before, it would sometimes erroneously treat the closing connection as a
"connection lost" 421 situation.

submission: submission-backend-relay - Fix segfault in QUIT command client-side destruction.

lib-smtp: smtp-server-cmd-rset - Stop processing pipeline until RSET is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the RSET command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already being
processed.

lib-smtp: smtp-server-cmd-helo - Stop processing pipeline until HELO/EHLO is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the EHLO/HELO command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already
being processed.

lib-smtp: smtp-server-command - Add smtp_server_command_pipeline_block/unblock().

lib-smtp: smtp-client-transaction - Plug the command pipeline while transaction is pending.

This prevents commands submitted after creating the transaction from being
exectuted out-of-order before the transaction's MAIL command.

lib-smtp: smtp-client-transaction - Add smtp_client_command_mail_submit_after().

lib-smtp: smtp-client-transaction - Prevent recursion for smtp_client_transaction_fail*().

lib-smtp: Reformat smtp-server-cmd-quit.c.

lib-dict: test-dict-client - Handle shutdown cleanly with ctrl-c

lib: Fix assert-crash when using only non-delayed signals

Fixes:
Panic: file lib-signals.c: line 190 (lib_signals_init_io): assertion failed: (sig_pipe_fd[0] != -1)

util: Remove unreachable code.

plugins/fts-squat: Remove unreachable code.

lib: Replace compile time defined conditions with COMPILE_ERROR_IF_TRUE.

lib: Remove unreachable code.

lib-storage: Remove unreachable code.

lib-ssl-iostream: Replace unreachable error handling with i_unreached().

SSL_CTX_set_eddh_auto() cannot return 0 when HAVE_ECDH is defined.

lib-smtp: Remove unreachable code.

lib-settings: Remove unreachable code.

lib-oauth2: Remove unreachable code.

lib-imap: Replace compile time defined conditions with conditional compilation.

lib-http: Remove unreachable code.

lib-http: Replace unreachable return statement with i_unreached().

lib-dcrypt: Remove unreachable code.

doveadm: Remove unreachable code.

lib-smtp: Whitespace cleanup.

lib-http: Whitespace cleanup.

doveadm: Whitespace cleanup.

doc: Update Solr schema

Use ICU tokenization and normalization.
Reorder filters to make more sense.

pop3-login: client-authenticate - Send redirect reply upon referral nologin auth result.

pop3-login: proxy - Support parsing REFERRAL on remote auth failure.

lib-pop3: Add definition for default service TCP ports.

pop3: Move pop3-capability.h to new lib-pop3.

submission-login: submission-proxy - Properly handle IPv6 in redirect.

imap-login: client-authenticate - Make sure redirect IPv6 is handled correctly.

Pass IP structure to URL API instead of only the hostname as a string.

imap-login: imap-proxy - Fix parsing REFERRAL response with IPv6 URL.

imap-login: imap-proxy - Sanitize response in REFERRAL parse error.

imap-login: imap-proxy - Restructure parsing of NO response.

Don't parse the closing ']' beforehand. This is needed for later commit in which
REFERRAL response code is parsed incrementally.

lmtp: lmtp-proxy - Always wrap IPv6 in [...] in log messages.

lmtp: lmtp-proxy - Wrap IPv6 in [...] for redirect path.

lmtp: lmtp-proxy - Sanitize response in REFERRAL parse error.

login-common: client-common-auth - Wrap IPv6 in [...] for proxy_redirect_host_next= field.

login-common: login-proxy - Always wrap IPv6 in [...] in log messages.

login-common: login-proxy - Wrap IPv6 in [...] for redirect path.

submission-login: submission-proxy - Rename target argument for submission_proxy_*_redirect().

It makes more sense.

submission-login: submission-proxy - Sanitize response in REFERRAL parse error.

lib-smtp: smtp-dovecot - Generate and parse referral data as URI authority.

This makes sure special characters are escaped properly. Before, usernames with
special characters and IPv6 caused problems.

lib-smtp: smtp-dovecot - Return error from smtp_proxy_redirect_parse().

lib-smtp: smtp-client-connection - Make sure IPv6 in log prefix is wrapped in [...].

lib-imap: imap-url - Add imap_url_parse_prefix().

lib: uri-util - Add support for prefix parsing.

lib: uri-util - Make construction of URI host name robust to IP literals.

When only a host name (string) is set, it may still be an IP address. This
change makes sure it is correctly written to the URL when it is IPv6; don't
trust the caller to get it right.

lib: uri-util - Use IP over host name string in construction of URI host name.

Both can be set when the URI was parsed earlier from a string or when the caller
sets both. There is never a valid case where these separate fields would yield a
completely different URI. Using the IP when available is necessary to make
sure IPv6 literals are output correctly; don't trust the caller to get it right.

lib: uri-util - Fix error message for invalid percent encoding in host name.

lib: net - Change net_ipport2str() API to assert fail on invalid IP.

Before, it returned an error result which was either handled with i_unreached()
or ignored.

lib-imap: test-imap-url - Split off test_imap_url_valid_check() to reduce indent.

lib-imap: Reformat test-imap-url.c.

lib-dict: Add dict_lookup_values()

This is the same as dict_lookup(), except it returns all values instead of
just the first.

lib-dict: Change dict_vfuncs.lookup() to support multiple values

lib-dict: dict_iterate() - Return NULL as value with DICT_ITERATE_FLAG_NO_VALUE

This makes the behavior more consistent with dict_iterate_values().

lib-sql: Makefile.am - Fix linking unit tests

If -ldl is before liblib.a, it might complain about missing symbols.
Fix it by just adding -ldl again at the end.

lib-dns: Fix leaking idle timeout

lib: var-expand - Support base64url for hash format

lib-http: http-url - Improve error messages by showing which character is unexpected.