dsync: Log reason why mailbox is synced with debug logging

dsync: If modseqs aren't permanent, assume HIGHESTMODSEQ=0

Otherwise the HIGHESTMODSEQ is just whatever happens to be in the in-memory
view of the index, which most likely isn't the true HIGHESTMODSEQ. Using 0
makes it clear that the HIGHESTMODSEQ isn't valid and can't be used.

submission-login: submission-proxy - Do not include initial response in AUTH command if it is too long.

submission-login: submission-proxy - Rename local variable in proxy_send_login().

lib-smtp: smtp-client - Move SMTP_BASE_LINE_LENGTH_LIMIT definition to smtp-common.h.

lib-smtp: smtp-client-connection - Rename SMTP_CLIENT_BASE_LINE_LENGTH_LIMIT to SMTP_BASE_LINE_LENGTH_LIMIT.

lib-smtp: smtp-client-connection - Fix typo in comment.

director: Fix crashes caused by changing host tag

Fixes:
Panic: file director.c: line 1175 (director_move_user): assertion failed: (user->host->tag == host->tag)
Panic: file director-request.c: line 303 (director_request_continue_real): assertion failed: (user->host->tag == mail_tag)

director: Prevent loops where directors keep changing host tags

lib: If log prefix update can't be sent to log, exit with FATAL_LOGERROR

lib: Fix losing log prefix or IP change when log process is busy

The fd for writing to log process is non-blocking. When sending options
to log process, it was done with write_full(), which stopped whenever
EAGAIN was returned. This error was simply ignored, and the logging code
thought that the prefix was successfully changed (or the IP was sent).

This mainly caused a problem when processes were reused and log process
was busy. The prefix update could have failed, and the following logging
would be using the previous session's log prefix, i.e. log lines could have
been logged for the wrong user/session.

Broken by 9372e48b702a3af5705785e08fbf47b0e37f2047

dict: Fix potential timeout leak at deinit

The deinit code could still trigger proctitle refresh.

dict: Make sure proctitle refresh timeout goes to the main ioloop

In some situations it could have gone to dict_wait() ioloop, causing
timeout leaks or crashes.

lib-storage: Don't use cached message_parts while message is being parsed

Finish the parsing instead. Otherwise there can be some confusion about
parsed_bodystructure* fields, which indicate that data->parts have the
bodystructure info while in reality data->parts came from cached fields
and they have no bodystructure info.

lib-storage: Reset bodystructure parsing state when reseting message_parts

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

dict-sql: Fix assert-crash if trying to rollback an open set/inc transaction

Fixes:
Panic: file dict-sql.c: line 911 (sql_dict_transaction_free): assertion failed: (!array_is_created(&ctx->prev_set))

anvil: connect_limit_deinit() - Free ident_pid_hash elements

indexer: indexer_client_status_callback() - Fix accessing freed memory

Broken by a9683d7b3

indexer: Fix memory leak on indexer timeout

stats: stats_metrics_remove_dynamic() - Free the removed metric

stats: stats_metric_alloc() - Fix indentation on p_new() call

replication: aggregator - Free replicator_connection content

mail-crypt: Fix for mail being wrongly storing encrypted via LMTP

If 1st recipient has mail_crypt_save_version=2,
and 2nd recipient has mail_crypt_save_version=0,
the mail for 2nd recipient is wrongly stored encrypted.

Same happens if 2nd recipient has mail_crypt disabled

mail-crypt: Remove "plugin disabled" texts from errors

The plugin isn't just disabled, the user initialization fails entirely.

mail-crypt: Fix crash when plugin is already initialized, but not used for another user

Fixes:
Panic: Module context mail_crypt_user_module missing

doveadm deduplicate: Simplify code by using doveadm_mail_iter_deinit_sync()

doveadm deduplicate: Optimize by deduplicating in a single transaction

pop3: Fix empty command handling

If empty command is given, error out instead of trying to create event.
This fixes a crash caused by d2ab26be6038bd53b13a3ff18c403d6c192c1d91.

lib-master: Fix deinit memory leak with process_shutdown_filter

plugins/fts: Allow plugins to carry state across calls during search session

auth: ldap: Drop partially saved results before retrying request

Fixes "LDAP search returned multiple entries" happening after reconnects.

auth: ldap: If any requests were lost, reconnect to LDAP server

auth: ldap: If LDAP connection appears to be hanging, abort all old requests

Retrying the reconnect might fix them, but since this situation isn't
supposed to happen in the first place, it's safer to just remove them
entirely to guarantee that it's not trying to keep retrying them for
a long time.

auth: ldap: Reconnect to server if receiving unknown msgid

It's unclear why this happens. Is it a bug on server or client side?
Either way, this situation doesn't now fix itself automatically, so
reconnecting should help.

auth: ldap: Stop re-sending request after 3 disconnect+reconnects

This prevents retrying the same LDAP request forever in situations where the
request causes LDAP server to become disconnected. This might fix some real
issues, but it was mainly implemented because testing the following commit
caused infinite looping.

lmtp: proxy - Add per-connection counter to session_id

This way connections to two different backends don't try to use the same
session_id. Add 'P' letter before the counter to clarify that it's the
proxy connection counter.

lmtp: Simplify/clarify per-recipient session ID

The session ID is the transaction ID followed by an increasing recipient
count (number of RCPT commands) in the SMTP transaction. Clarify this by
adding 'R' letter before the counter. Also don't add the counter suffix at
all for the first recipient, since most transactions only have a single
recipient.

lib-smtp: server-transaction - Simplify/clarify transaction ID

The transaction ID is the session ID followed by an increasing transaction
count (number of MAIL commands) in the SMTP server connection. Clarify
this by adding 'T' letter before the counter. Also don't add the counter
suffix at all for the first session, since most sessions only have a
single transaction.

lib-smtp, lmtp: Add brackets to <session-id> in logging

This makes it clearer where the session-id stops. It's also similar to
how it is in mail_log_prefix.

lmtp: proxy - Use recipient-specific session-id when logging the result

Instead of transaction ID, which is shared between recipients.

lmtp: struct lmtp_recipient - Change all strings to const

lib-storage: LAYOUT=index: Fix accessing freed memory when deleting \Noselect parents

Broken by f5328d6f7e4a8e460c736fa0336f5766aa58abda

lib-http: http_server_resource_create() - Remove unnecessary pool allocation

Fixes leaking the memory pool created in stats_http_resource_add()

lib-smtp: test-smtp-client-errors - Add test for succesful authentication with large initial response.

lib-smtp: smtp-client-connection - Fix authentication with multi-roundtrip SASL mechanisms.

Before, it would fail with an unexpected reply error.

lib-smtp: test-smtp-client-errors - Add test for successful authentication.

lib-smtp: test-smtp-client-errors - Rename "authentication failed" test to "authentication".

lib-smtp: smtp-client - Fix maximum line length to include CRLF.

lib-smtp: smtp-client-connection - Do not include initial response in AUTH command if it is too long.

lib-smtp: smtp-client-connection - Move auth cleanup to separate function.

lib-sasl: dsasl-client - Make dsasl_client_free(&NULL) a no-op.

lib-smtp: smtp-client-connection - Reformat comment.

indexer: Fix memory leak - worker_requests were never freed

Broken by 141766b24f885259508ae39f2e18811018373bc7

indexer: Fix memory leak - session IDs were never freed

Broken by a8dcd4e2332c73087e9b148d34259230a77edb28

lib-storage: Fix search query that only contains SEARCH_MAILBOX_GUID

Fixes assert-crash in virtual mailbox:

Panic: file virtual-search.c: line 77 (virtual_search_get_records): assertion failed: (result != 0)

lib-master: Add process_shutdown_filter setting

lib-master: Refactor parsing event filters from settings.

lib-master: Remove check for client->filter == NULL before event_filter_match().

lib: Add check for NULL to event_filter_match().

lib-master: Whitespace cleanup.

lib-storage: Emit event with process stat in mail_user_deinit().

lib: Add event_add_int_non_zero()

lib: Add functionality for acquiring process stat.

lib: add timeval_to_usecs()

lib: Whitespace cleanup

lib-storage: mailbox-list: index_list_rename_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or existant when renaming child mailboxes.

lib-storage: mailbox-list: index_list_delete_mailbox() - Support NO-NOSELECT

When NO-NOSELECT is configured delete parent mailboxes which are not
selectable or not existant when deleting child mailboxes.

doveadm fetch/search: Use DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

These commands only write output to the client, so it's safe to stop
them if the client disconnects.

doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

imapc: Fix doveadm copy with imapc

When copying to a mailbox with imapc it does not sync the destination
mailbox when opening. This created "Error: Syncing mailbox '$mailboxname'
failed: Internal error occurred." Prevent this error by checking for the
MAILBOX_FLAG_SAVEONLY flag which is used by doveadm to create the
destination mailbox. If that flag is set ignore that there was no initial
fetching done.

configure.ac: Set dovecot version to 2.3.100.devel

This helps with version comparisons.

submission: submission-backend-relay - Make sure QUIT command yields 221 when relay connection is closed normally.

Before, it would sometimes erroneously treat the closing connection as a
"connection lost" 421 situation.

submission: submission-backend-relay - Fix segfault in QUIT command client-side destruction.

lib-smtp: smtp-server-cmd-rset - Stop processing pipeline until RSET is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the RSET command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already being
processed.

lib-smtp: smtp-server-cmd-helo - Stop processing pipeline until HELO/EHLO is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the EHLO/HELO command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already
being processed.

lib-smtp: smtp-server-command - Add smtp_server_command_pipeline_block/unblock().

lib-smtp: smtp-client-transaction - Plug the command pipeline while transaction is pending.

This prevents commands submitted after creating the transaction from being
exectuted out-of-order before the transaction's MAIL command.

lib-smtp: smtp-client-transaction - Add smtp_client_command_mail_submit_after().

lib-smtp: smtp-client-transaction - Prevent recursion for smtp_client_transaction_fail*().

lib-smtp: Reformat smtp-server-cmd-quit.c.

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

configure: Update version to 2.3.devel

NEWS: Add news for 2.3.17.1

NEWS: Add news for 2.3.17

lib-storage: Remove reason_code=mailbox:search

Continues the slow per-mail event removals started in
f3c568e3cbc113920bc029e07e56619589c6a26d.

Reverts 87cd6570a14b3f572fc6000f710df409371a4bcb

lmtp: lmtp-proxy - Add session ID to backend connection error replies.

submssion: submission-backend-relay - Avoid logging two errors about a connection problem.

Earlier commit changed lib-smtp to consistently log an error for connection
problems, which causes a second error to occur for submission relay backend.
This is undesirable.

lmtp: lmtp-proxy - Add lmtp_verbose_replies setting.

It causes the proxy to return errors with full details in replies to the LMTP
client.

lmtp: lmtp-proxy - Split off lmtp_proxy_handle_connection_error().

lmtp: lmtp-proxy - Change proxy connection failure message make more sense.

lib-smtp: smtp-client - Add verbose_user_errors setting.

It returns the detailed administrator errors as user error in the reply returned
to the calling application.

lib-smtp: smtp-client-connection - Log administrator connection failures at a single place.

lib-smtp: smtp-client-connection - Consistently log an error for connection failures.

lib-smtp: smtp-client-connection - Add definition for repeatedly used connection error.

lmtp: Reformat lmtp-proxy.c.

lib-smtp: Reformat smtp-client-connection.c.