NEWS: Update news for 2.3.18 - final fixups

lmtp: proxy - Add per-connection counter to session_id

This way connections to two different backends don't try to use the same
session_id. Add 'P' letter before the counter to clarify that it's the
proxy connection counter.

lmtp: Simplify/clarify per-recipient session ID

The session ID is the transaction ID followed by an increasing recipient
count (number of RCPT commands) in the SMTP transaction. Clarify this by
adding 'R' letter before the counter. Also don't add the counter suffix at
all for the first recipient, since most transactions only have a single
recipient.

lib-smtp: server-transaction - Simplify/clarify transaction ID

The transaction ID is the session ID followed by an increasing transaction
count (number of MAIL commands) in the SMTP server connection. Clarify
this by adding 'T' letter before the counter. Also don't add the counter
suffix at all for the first session, since most sessions only have a
single transaction.

lib-smtp, lmtp: Add brackets to <session-id> in logging

This makes it clearer where the session-id stops. It's also similar to
how it is in mail_log_prefix.

lmtp: proxy - Use recipient-specific session-id when logging the result

Instead of transaction ID, which is shared between recipients.

lmtp: struct lmtp_recipient - Change all strings to const

NEWS: Update news for 2.3.18

NEWS: Add news for 2.3.17.1

NEWS: Add news for 2.3.17

lib-smtp: test-smtp-client-errors - Add test for succesful authentication with large initial response.

lib-smtp: smtp-client-connection - Fix authentication with multi-roundtrip SASL mechanisms.

Before, it would fail with an unexpected reply error.

lib-smtp: test-smtp-client-errors - Add test for successful authentication.

lib-smtp: test-smtp-client-errors - Rename "authentication failed" test to "authentication".

lib-smtp: smtp-client - Fix maximum line length to include CRLF.

lib-smtp: smtp-client-connection - Do not include initial response in AUTH command if it is too long.

lib-smtp: smtp-client-connection - Move auth cleanup to separate function.

lib-sasl: dsasl-client - Make dsasl_client_free(&NULL) a no-op.

lib-smtp: smtp-client-connection - Reformat comment.

indexer: Fix memory leak - worker_requests were never freed

Broken by 141766b24f885259508ae39f2e18811018373bc7

indexer: Fix memory leak - session IDs were never freed

Broken by a8dcd4e2332c73087e9b148d34259230a77edb28

doveadm fetch/search: Use DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

These commands only write output to the client, so it's safe to stop
them if the client disconnects.

doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

configure: Set version to 2.3.18

lib-storage: Remove reason_code=mailbox:search

Continues the slow per-mail event removals started in
f3c568e3cbc113920bc029e07e56619589c6a26d.

Reverts 87cd6570a14b3f572fc6000f710df409371a4bcb

lmtp: lmtp-proxy - Add session ID to backend connection error replies.

submssion: submission-backend-relay - Avoid logging two errors about a connection problem.

Earlier commit changed lib-smtp to consistently log an error for connection
problems, which causes a second error to occur for submission relay backend.
This is undesirable.

lmtp: lmtp-proxy - Add lmtp_verbose_replies setting.

It causes the proxy to return errors with full details in replies to the LMTP
client.

lmtp: lmtp-proxy - Split off lmtp_proxy_handle_connection_error().

lmtp: lmtp-proxy - Change proxy connection failure message make more sense.

lib-smtp: smtp-client - Add verbose_user_errors setting.

It returns the detailed administrator errors as user error in the reply returned
to the calling application.

lib-smtp: smtp-client-connection - Log administrator connection failures at a single place.

lib-smtp: smtp-client-connection - Consistently log an error for connection failures.

lib-smtp: smtp-client-connection - Add definition for repeatedly used connection error.

lmtp: Reformat lmtp-proxy.c.

lib-smtp: Reformat smtp-client-connection.c.

lib-compression: ostream-zlib - Fix signed vs unsigned comparison.

lib: test-event-flatten - Fix format string specifier for usec time

lib-storage: Remove most reason_code=mail:*

Event reasons create events internally. This is rather expensive if it's
done for operations that access all emails in a large folder, e.g. SORT.
The per-mail reason_codes also didn't seem to be hugely helpful, so best
to just remove them.

Some of the mail:* reasons were left where they are causing mail stream to
be opened anyway. In these cases the extra CPU used by event reasons is
relatively little.

Reverts ce517f8323fa4a60b230f29712b207139badb3f0

maildir: maildir_filename_base_hash() - Disable ubsan integer wrapping checks

lib-fts: Reuse textcat handle between sessions

textcat initialization is rather CPU intensive. Its configuration is
normally always the same between sessions, so we can keep the latest textcat
handle cached.

lib-storage: Remove index_mail_data.seq

The seq already exists in struct mail, so this unnecessarily duplicated it.

lib-storage: Minor optimization - Use mail_index_lookup_full() to avoid two index lookups

mail_index_is_expunged() was already internally doing the full lookup.

lib-index: mail_index_lookup_full() - Add expunged_r parameter

lib-storage: Optimize setting mail event log prefix

This was much more important before mail event creation was delayed. In one
installation the t_strdup_printf() call itself took about 4% of the total CPU
usage. Now that mail events are delayed, this is likely much less of an issue.
Still, this is easy enough of an optimization that might as well do it.

lib-storage: Delay creating mail event until mail_event() is called

Mails can be accessed a lot. The event handling code takes up a lot of CPU,
but most of the time the created event wasn't actually used for anything.

lib-storage: Make sure mail event is created before accessing streams or metadata

This is in preparation for the next commit which delays the mail event
creation. The event duration behaves better if the event is created before
any potentially slow access is done.

lib-storage: Move struct mail.event to mail_private

lib-lda, lib-storage: Use mail_event()

lib-storage: Add mail_event()

lib-storage: Add and use mail_metadata_access_start()

lib-storage: Add and use mail_stream_access_start()

This replaces setting mail_stream_accessed directly.

lib-storage: raw: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

pop3c: Add missing lookup_abort and mail_stream_accessed handling

maildir: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

lib-storage: Rename mail.mail_stream_opened to mail_stream_accessed

It is set to TRUE even if the mail stream couldn't successfully be opened,
so this describes it better. Also it's now consistent with
mail_metadata_accessed.

lib-index: Remove mail_cache_lookup_finished event

This event was using too much CPU with commands that accessed lots of mails
(e.g. IMAP SORT). It also wasn't especially useful.

Reverts 0d252dccb3013fea4d9a28bd5fafb5ea6e847d0e

lib-index: Use ATTR_COLD for error/corruption handling functions

This could reduce CPU usage due to better branch prediction.

lib: pool_alloconly_destroy() optimization - Don't clear the last block before free

The block is going to be freed, so there's no need to clear it.
(The clearing still happens if clean_frees=TRUE.)

lib: pool_alloconly_destroy() - Deduplicate code

lib: Split off pool_alloconly_free_block()

lib: Split off pool_alloconly_free_blocks_until_last()

lib: Minor optimization - Avoid zeroing a newly created empty event field

lib: Remove copy of event_passthrough from struct event

There was no need for it. This saves some memory and CPU.

This change now prevents modifications to the event_passthrough, but nothing
was doing it before either.

lib: Grow initial event pool size to 1024 bytes

The old 64 bytes size wasn't enough to allocate even the struct event itself.

login-common: Explicitly null client auth fields on proxy pool unref

Explicitly setting `client_id` and `forward_fields` to null in the
client may reveal use-after-free issues when trying to access these
fields on a client proxy.

login-common: Use base index for aliases

Define a base index for aliases in the login variable table. Assign
values via offset of that base index. This allows adding more values
later without updating any subsequent index.

fts: Add headers filters

fts: fts-build-mail - Remove stray line

auth: mech-scram - Amend comments.

auth: mech-scram - Fix handling of authzid.

The gs2-header field was not recreated correctly for the final verification.
Fixed by storing the complete gs2-header value instead.

auth: mech-scram - Properly size temporary string buffers.

auth: mech-scram - Restructure message parsing in parse_scram_client_first().

auth: Reformat mech-scram.c.

lib-storage: Return reason string in mailbox_vfuncs.list_index_has_changed()

The callers can use it to log why the list index had changed.

lib-storage: Don't call mailbox_vfuncs.list_index_has_changed() in data stack frame

This will be required by the next change.

lib-storage: mailbox_list_index_view_open() - Log a debug line why index isn't up-to-date

lib-storage: mailbox_list_index_status() - Return failure reason string

Log a debug line if mailbox list index couldn't be used to get the wanted
status information.

auth: userdb-ldap - Avoid early dereferencing

userdb_ldap_iterate_callback() is still invoked after dereferencing
auth_request in userdb_ldap_iterate_deinit().

Normally this happens only on teardown, but it may happens also
in case of auth disconnecting from auth-worker during iteration.
(which shouldn't happen unless the auth process crashes)

var-expand-crypt: Remove dead code

It's correct that dcrypt library shouldn't be deinitialized at plugin
deinit.

login-common: Add more fields to proxy_session_finished

Added disconnect_side, disconnect_reason, idle_secs, bytes_in, bytes_out.

login-common: Split off proxy disconnection prefix to LOGIN_PROXY_KILL_PREFIX

login-common: login_proxy_free_*() - Rename reason to log_msg

This better describes it, since it's the full log message.

dsync: Fix -I max-size to actually be the max-size rather than min-size

The -I max-size parameter was supposed to be used to skip mails that are
larger than max-size. Instead, it skipped mails that were smaller.

man: Add missing parameters to doveadm-sync

dsync: Remove -D parameter that disables syncing mailbox renames

It hasn't been necessary for a long time, and its behavior seems to be
broken.

dsync: Add back various missing parameters

Also add them to the usage string.

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Don't overwrite INUSE error if indexing times out

lib-storage/index: If mail stream was already opened, do not count it as slow vsize access

imapc storage driver will open the mail stream in some circumstances during search,
so do not consider this as slow vsize.

lib-storage: Split off index_mailbox_vsize_finish_bg()

Simplifies next commit

lib-index: Fix storing cache fields' last_used with 64bit big endian CPUs

maildir: Fix crash at error handling

At this point dest_mail is already NULL. Mainly could happen when running
out of disk space.

login-proxy: Don't send proxying start event for reconnects

Send the event only for the beginning of proxying and add the reconnect counts
as a field for _established and _finished events.

lib: str_parse_intmax() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: switch i_rand_limit() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool