lib-lua: dlua-resume - Ensure timeout is handled correctly

lmtp: lmtp-proxy - Add support for recipient referrals.

This mimics login referral support.

lmtp: lmtp-proxy - Use struct lmtp_proxy_recipient for lmtp_proxy_rcpt_parse_fields().

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_get_connection().

lmtp: lmtp-proxy - Add approved recipient hook before initiating connection.

Before, it was added in the client login callback, which can be called more than
once after later commits.

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_init_auth_user_info().

lmtp: lmtp-proxy - Create proxy recipient struct immediately in lmtp_proxy_rcpt().

lmtp: lmtp-recipient - Put lmtp_local_rcpt() and lmtp_proxy_rcpt() parameters in struct lmtp_recipient.

lmtp: lmtp-client - Add forward declaration of struct master_service_connection.

Later changes to includes makes this necessary.

lmtp: lmtp-proxy - Remove unused finish timout.

lib-smtp: smtp-reply - Add smtp_reply_code_equals().

lib-smtp: Add smtp_client_connection_get_remote_ip().

login-common: Add proxy_redirect_reauth auth extra field support

Without this a proxy redirect request is immediately trusted and will be
reconnected to. With this enabled, a new EXTERNAL authentication request
is performed, which contains the redirect destination as well as the
current redirection path. The auth server can catch this request and
figure out whether the redirect is allowed or not, or if the proxy
should be reconnecting to a different IP entirely.

login-common: Add login_proxy_get_redirect_path()

login-common: Fix event logging when aborting auth requests

The reason was NULL, so the event was missing "error" field and also the
error message was logged as "(null)" (or it could have crashed in some
OSes).

login-common: Fail if auth returns invalid source_ip

login-common: Check validity of auth proxy fields' values earlier

login-common: If auth lookup returns invalid extra fields, fail authentication

This is a safer behavior.

login-common: Split off client_auth_reply_args()

login-common: client_auth_parse_args() - Don't modify client directly

Return alt_usernames in reply, and modify client in
client_auth_handle_reply().

login-common: Split off sasl_server_auth_request_info_fill()

login-common: sasl_server_auth_begin() - Remove service parameter

Use login_binary->protocol directly. It's always going to be that.

imap-login: proxy - Support parsing REFERRAL on remote auth failure

login-proxy: Add support for reconnecting to a different IP:port

For now only IP is supported. Hostname lookup would require further code to
do it asynchronously.

login-common: Split off proxy_reset()

It doesn't harm to call client_vfuncs.proxy_reset() also on non-reconnect
case.

login-common: Set log prefix in login_proxy_set_destination()

This way the log prefix changes if destination changes.

login-proxy: Split off login_proxy_set_destination()

NEWS: Add news for 2.3.17.1

NEWS: Add news for 2.3.17

lib-storage: Remove reason_code=mailbox:search

Continues the slow per-mail event removals started in
f3c568e3cbc113920bc029e07e56619589c6a26d.

Reverts 87cd6570a14b3f572fc6000f710df409371a4bcb

lmtp: lmtp-proxy - Add session ID to backend connection error replies.

submssion: submission-backend-relay - Avoid logging two errors about a connection problem.

Earlier commit changed lib-smtp to consistently log an error for connection
problems, which causes a second error to occur for submission relay backend.
This is undesirable.

lmtp: lmtp-proxy - Add lmtp_verbose_replies setting.

It causes the proxy to return errors with full details in replies to the LMTP
client.

lmtp: lmtp-proxy - Split off lmtp_proxy_handle_connection_error().

lmtp: lmtp-proxy - Change proxy connection failure message make more sense.

lib-smtp: smtp-client - Add verbose_user_errors setting.

It returns the detailed administrator errors as user error in the reply returned
to the calling application.

lib-smtp: smtp-client-connection - Log administrator connection failures at a single place.

lib-smtp: smtp-client-connection - Consistently log an error for connection failures.

lib-smtp: smtp-client-connection - Add definition for repeatedly used connection error.

lmtp: Reformat lmtp-proxy.c.

lib-smtp: Reformat smtp-client-connection.c.

lib-compression: ostream-zlib - Fix signed vs unsigned comparison.

lib: test-event-flatten - Fix format string specifier for usec time

lib-storage: Remove most reason_code=mail:*

Event reasons create events internally. This is rather expensive if it's
done for operations that access all emails in a large folder, e.g. SORT.
The per-mail reason_codes also didn't seem to be hugely helpful, so best
to just remove them.

Some of the mail:* reasons were left where they are causing mail stream to
be opened anyway. In these cases the extra CPU used by event reasons is
relatively little.

Reverts ce517f8323fa4a60b230f29712b207139badb3f0

maildir: maildir_filename_base_hash() - Disable ubsan integer wrapping checks

lib-fts: Reuse textcat handle between sessions

textcat initialization is rather CPU intensive. Its configuration is
normally always the same between sessions, so we can keep the latest textcat
handle cached.

lib-storage: Remove index_mail_data.seq

The seq already exists in struct mail, so this unnecessarily duplicated it.

lib-storage: Minor optimization - Use mail_index_lookup_full() to avoid two index lookups

mail_index_is_expunged() was already internally doing the full lookup.

lib-index: mail_index_lookup_full() - Add expunged_r parameter

lib-storage: Optimize setting mail event log prefix

This was much more important before mail event creation was delayed. In one
installation the t_strdup_printf() call itself took about 4% of the total CPU
usage. Now that mail events are delayed, this is likely much less of an issue.
Still, this is easy enough of an optimization that might as well do it.

lib-storage: Delay creating mail event until mail_event() is called

Mails can be accessed a lot. The event handling code takes up a lot of CPU,
but most of the time the created event wasn't actually used for anything.

lib-storage: Make sure mail event is created before accessing streams or metadata

This is in preparation for the next commit which delays the mail event
creation. The event duration behaves better if the event is created before
any potentially slow access is done.

lib-storage: Move struct mail.event to mail_private

lib-lda, lib-storage: Use mail_event()

lib-storage: Add mail_event()

lib-storage: Add and use mail_metadata_access_start()

lib-storage: Add and use mail_stream_access_start()

This replaces setting mail_stream_accessed directly.

lib-storage: raw: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

pop3c: Add missing lookup_abort and mail_stream_accessed handling

maildir: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

lib-storage: Rename mail.mail_stream_opened to mail_stream_accessed

It is set to TRUE even if the mail stream couldn't successfully be opened,
so this describes it better. Also it's now consistent with
mail_metadata_accessed.

lib-index: Remove mail_cache_lookup_finished event

This event was using too much CPU with commands that accessed lots of mails
(e.g. IMAP SORT). It also wasn't especially useful.

Reverts 0d252dccb3013fea4d9a28bd5fafb5ea6e847d0e

lib-index: Use ATTR_COLD for error/corruption handling functions

This could reduce CPU usage due to better branch prediction.

lib: pool_alloconly_destroy() optimization - Don't clear the last block before free

The block is going to be freed, so there's no need to clear it.
(The clearing still happens if clean_frees=TRUE.)

lib: pool_alloconly_destroy() - Deduplicate code

lib: Split off pool_alloconly_free_block()

lib: Split off pool_alloconly_free_blocks_until_last()

lib: Minor optimization - Avoid zeroing a newly created empty event field

lib: Remove copy of event_passthrough from struct event

There was no need for it. This saves some memory and CPU.

This change now prevents modifications to the event_passthrough, but nothing
was doing it before either.

lib: Grow initial event pool size to 1024 bytes

The old 64 bytes size wasn't enough to allocate even the struct event itself.

login-common: Explicitly null client auth fields on proxy pool unref

Explicitly setting `client_id` and `forward_fields` to null in the
client may reveal use-after-free issues when trying to access these
fields on a client proxy.

login-common: Use base index for aliases

Define a base index for aliases in the login variable table. Assign
values via offset of that base index. This allows adding more values
later without updating any subsequent index.

fts: Add headers filters

fts: fts-build-mail - Remove stray line

auth: mech-scram - Amend comments.

auth: mech-scram - Fix handling of authzid.

The gs2-header field was not recreated correctly for the final verification.
Fixed by storing the complete gs2-header value instead.

auth: mech-scram - Properly size temporary string buffers.

auth: mech-scram - Restructure message parsing in parse_scram_client_first().

auth: Reformat mech-scram.c.

lib-storage: Return reason string in mailbox_vfuncs.list_index_has_changed()

The callers can use it to log why the list index had changed.

lib-storage: Don't call mailbox_vfuncs.list_index_has_changed() in data stack frame

This will be required by the next change.

lib-storage: mailbox_list_index_view_open() - Log a debug line why index isn't up-to-date

lib-storage: mailbox_list_index_status() - Return failure reason string

Log a debug line if mailbox list index couldn't be used to get the wanted
status information.

auth: userdb-ldap - Avoid early dereferencing

userdb_ldap_iterate_callback() is still invoked after dereferencing
auth_request in userdb_ldap_iterate_deinit().

Normally this happens only on teardown, but it may happens also
in case of auth disconnecting from auth-worker during iteration.
(which shouldn't happen unless the auth process crashes)

var-expand-crypt: Remove dead code

It's correct that dcrypt library shouldn't be deinitialized at plugin
deinit.

login-common: Add more fields to proxy_session_finished

Added disconnect_side, disconnect_reason, idle_secs, bytes_in, bytes_out.

login-common: Split off proxy disconnection prefix to LOGIN_PROXY_KILL_PREFIX

login-common: login_proxy_free_*() - Rename reason to log_msg

This better describes it, since it's the full log message.

dsync: Fix -I max-size to actually be the max-size rather than min-size

The -I max-size parameter was supposed to be used to skip mails that are
larger than max-size. Instead, it skipped mails that were smaller.

man: Add missing parameters to doveadm-sync

dsync: Remove -D parameter that disables syncing mailbox renames

It hasn't been necessary for a long time, and its behavior seems to be
broken.

dsync: Add back various missing parameters

Also add them to the usage string.

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Don't overwrite INUSE error if indexing times out

lib-storage/index: If mail stream was already opened, do not count it as slow vsize access

imapc storage driver will open the mail stream in some circumstances during search,
so do not consider this as slow vsize.

lib-storage: Split off index_mailbox_vsize_finish_bg()

Simplifies next commit

lib-index: Fix storing cache fields' last_used with 64bit big endian CPUs

maildir: Fix crash at error handling

At this point dest_mail is already NULL. Mainly could happen when running
out of disk space.

login-proxy: Don't send proxying start event for reconnects

Send the event only for the beginning of proxying and add the reconnect counts
as a field for _established and _finished events.

lib: str_parse_intmax() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: switch i_rand_limit() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool