doveadm: doveadm_mail_iter_init() - Add DOVEADM_MAIL_ITER_FLAG_STOP_WITH_CLIENT

When this flag is used, the iteration is stopped if print ostream has
reported an error, i.e. doveadm-client has disconnected.

doveadm: doveadm_mail_iter_init() - Change bool parameter to flags

doveadm-server: Fix hang when flushing print output and client disconnects

lib: ostream-multiplex - Call flush callbacks also when stream has failed

It may be important for the flush callbacks to know when ostream has been
closed. This is a partial fix to prevent doveadm-server hanging when it's
printing lots of output and doveadm client disconnects.

doveadm: Fix assert-crash when proxying causes print buffer to be flushed

Fixes:
Panic: file ioloop.c: line 865 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

imapc: Fix doveadm copy with imapc

When copying to a mailbox with imapc it does not sync the destination
mailbox when opening. This created "Error: Syncing mailbox '$mailboxname'
failed: Internal error occurred." Prevent this error by checking for the
MAILBOX_FLAG_SAVEONLY flag which is used by doveadm to create the
destination mailbox. If that flag is set ignore that there was no initial
fetching done.

configure.ac: Set dovecot version to 2.3.100.devel

This helps with version comparisons.

submission: submission-backend-relay - Make sure QUIT command yields 221 when relay connection is closed normally.

Before, it would sometimes erroneously treat the closing connection as a
"connection lost" 421 situation.

submission: submission-backend-relay - Fix segfault in QUIT command client-side destruction.

lib-smtp: smtp-server-cmd-rset - Stop processing pipeline until RSET is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the RSET command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already being
processed.

lib-smtp: smtp-server-cmd-helo - Stop processing pipeline until HELO/EHLO is complete.

A subsequent MAIL command could get reset in the middle otherwise. Before, it
only blocked input until a reply was submitted, but the transaction isn't reset
until the EHLO/HELO command is complete (just before actually sending the reply)
which can cause issues when the subsequent MAIL command is already
being processed.

lib-smtp: smtp-server-command - Add smtp_server_command_pipeline_block/unblock().

lib-smtp: smtp-client-transaction - Plug the command pipeline while transaction is pending.

This prevents commands submitted after creating the transaction from being
exectuted out-of-order before the transaction's MAIL command.

lib-smtp: smtp-client-transaction - Add smtp_client_command_mail_submit_after().

lib-smtp: smtp-client-transaction - Prevent recursion for smtp_client_transaction_fail*().

lib-smtp: Reformat smtp-server-cmd-quit.c.

lib-storage: Don't delay setting mail event's log prefix

This caused crashes if the mail event was kept referenced and used for
logging after struct mail was already freed. With the delayed mail event
creation the log prefix shouldn't be much of a performance problem, so just
set the prefix immediately.

Partially reverts bc68e1c368db746557829f67556f3c72943b7956.

configure: Update version to 2.3.devel

NEWS: Add news for 2.3.17.1

NEWS: Add news for 2.3.17

lib-storage: Remove reason_code=mailbox:search

Continues the slow per-mail event removals started in
f3c568e3cbc113920bc029e07e56619589c6a26d.

Reverts 87cd6570a14b3f572fc6000f710df409371a4bcb

lmtp: lmtp-proxy - Add session ID to backend connection error replies.

submssion: submission-backend-relay - Avoid logging two errors about a connection problem.

Earlier commit changed lib-smtp to consistently log an error for connection
problems, which causes a second error to occur for submission relay backend.
This is undesirable.

lmtp: lmtp-proxy - Add lmtp_verbose_replies setting.

It causes the proxy to return errors with full details in replies to the LMTP
client.

lmtp: lmtp-proxy - Split off lmtp_proxy_handle_connection_error().

lmtp: lmtp-proxy - Change proxy connection failure message make more sense.

lib-smtp: smtp-client - Add verbose_user_errors setting.

It returns the detailed administrator errors as user error in the reply returned
to the calling application.

lib-smtp: smtp-client-connection - Log administrator connection failures at a single place.

lib-smtp: smtp-client-connection - Consistently log an error for connection failures.

lib-smtp: smtp-client-connection - Add definition for repeatedly used connection error.

lmtp: Reformat lmtp-proxy.c.

lib-smtp: Reformat smtp-client-connection.c.

lib-compression: ostream-zlib - Fix signed vs unsigned comparison.

lib: test-event-flatten - Fix format string specifier for usec time

lib-storage: Remove most reason_code=mail:*

Event reasons create events internally. This is rather expensive if it's
done for operations that access all emails in a large folder, e.g. SORT.
The per-mail reason_codes also didn't seem to be hugely helpful, so best
to just remove them.

Some of the mail:* reasons were left where they are causing mail stream to
be opened anyway. In these cases the extra CPU used by event reasons is
relatively little.

Reverts ce517f8323fa4a60b230f29712b207139badb3f0

maildir: maildir_filename_base_hash() - Disable ubsan integer wrapping checks

lib-fts: Reuse textcat handle between sessions

textcat initialization is rather CPU intensive. Its configuration is
normally always the same between sessions, so we can keep the latest textcat
handle cached.

lib-storage: Remove index_mail_data.seq

The seq already exists in struct mail, so this unnecessarily duplicated it.

lib-storage: Minor optimization - Use mail_index_lookup_full() to avoid two index lookups

mail_index_is_expunged() was already internally doing the full lookup.

lib-index: mail_index_lookup_full() - Add expunged_r parameter

lib-storage: Optimize setting mail event log prefix

This was much more important before mail event creation was delayed. In one
installation the t_strdup_printf() call itself took about 4% of the total CPU
usage. Now that mail events are delayed, this is likely much less of an issue.
Still, this is easy enough of an optimization that might as well do it.

lib-storage: Delay creating mail event until mail_event() is called

Mails can be accessed a lot. The event handling code takes up a lot of CPU,
but most of the time the created event wasn't actually used for anything.

lib-storage: Make sure mail event is created before accessing streams or metadata

This is in preparation for the next commit which delays the mail event
creation. The event duration behaves better if the event is created before
any potentially slow access is done.

lib-storage: Move struct mail.event to mail_private

lib-lda, lib-storage: Use mail_event()

lib-storage: Add mail_event()

lib-storage: Add and use mail_metadata_access_start()

lib-storage: Add and use mail_stream_access_start()

This replaces setting mail_stream_accessed directly.

lib-storage: raw: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

pop3c: Add missing lookup_abort and mail_stream_accessed handling

maildir: get_stream() - Add missing lookup_abort and mail_stream_accessed handling

lib-storage: Rename mail.mail_stream_opened to mail_stream_accessed

It is set to TRUE even if the mail stream couldn't successfully be opened,
so this describes it better. Also it's now consistent with
mail_metadata_accessed.

lib-index: Remove mail_cache_lookup_finished event

This event was using too much CPU with commands that accessed lots of mails
(e.g. IMAP SORT). It also wasn't especially useful.

Reverts 0d252dccb3013fea4d9a28bd5fafb5ea6e847d0e

lib-index: Use ATTR_COLD for error/corruption handling functions

This could reduce CPU usage due to better branch prediction.

lib: pool_alloconly_destroy() optimization - Don't clear the last block before free

The block is going to be freed, so there's no need to clear it.
(The clearing still happens if clean_frees=TRUE.)

lib: pool_alloconly_destroy() - Deduplicate code

lib: Split off pool_alloconly_free_block()

lib: Split off pool_alloconly_free_blocks_until_last()

lib: Minor optimization - Avoid zeroing a newly created empty event field

lib: Remove copy of event_passthrough from struct event

There was no need for it. This saves some memory and CPU.

This change now prevents modifications to the event_passthrough, but nothing
was doing it before either.

lib: Grow initial event pool size to 1024 bytes

The old 64 bytes size wasn't enough to allocate even the struct event itself.

login-common: Explicitly null client auth fields on proxy pool unref

Explicitly setting `client_id` and `forward_fields` to null in the
client may reveal use-after-free issues when trying to access these
fields on a client proxy.

login-common: Use base index for aliases

Define a base index for aliases in the login variable table. Assign
values via offset of that base index. This allows adding more values
later without updating any subsequent index.

fts: Add headers filters

fts: fts-build-mail - Remove stray line

auth: mech-scram - Amend comments.

auth: mech-scram - Fix handling of authzid.

The gs2-header field was not recreated correctly for the final verification.
Fixed by storing the complete gs2-header value instead.

auth: mech-scram - Properly size temporary string buffers.

auth: mech-scram - Restructure message parsing in parse_scram_client_first().

auth: Reformat mech-scram.c.

lib-storage: Return reason string in mailbox_vfuncs.list_index_has_changed()

The callers can use it to log why the list index had changed.

lib-storage: Don't call mailbox_vfuncs.list_index_has_changed() in data stack frame

This will be required by the next change.

lib-storage: mailbox_list_index_view_open() - Log a debug line why index isn't up-to-date

lib-storage: mailbox_list_index_status() - Return failure reason string

Log a debug line if mailbox list index couldn't be used to get the wanted
status information.

auth: userdb-ldap - Avoid early dereferencing

userdb_ldap_iterate_callback() is still invoked after dereferencing
auth_request in userdb_ldap_iterate_deinit().

Normally this happens only on teardown, but it may happens also
in case of auth disconnecting from auth-worker during iteration.
(which shouldn't happen unless the auth process crashes)

var-expand-crypt: Remove dead code

It's correct that dcrypt library shouldn't be deinitialized at plugin
deinit.

login-common: Add more fields to proxy_session_finished

Added disconnect_side, disconnect_reason, idle_secs, bytes_in, bytes_out.

login-common: Split off proxy disconnection prefix to LOGIN_PROXY_KILL_PREFIX

login-common: login_proxy_free_*() - Rename reason to log_msg

This better describes it, since it's the full log message.

dsync: Fix -I max-size to actually be the max-size rather than min-size

The -I max-size parameter was supposed to be used to skip mails that are
larger than max-size. Instead, it skipped mails that were smaller.

man: Add missing parameters to doveadm-sync

dsync: Remove -D parameter that disables syncing mailbox renames

It hasn't been necessary for a long time, and its behavior seems to be
broken.

dsync: Add back various missing parameters

Also add them to the usage string.

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Don't overwrite INUSE error if indexing times out

lib-storage/index: If mail stream was already opened, do not count it as slow vsize access

imapc storage driver will open the mail stream in some circumstances during search,
so do not consider this as slow vsize.

lib-storage: Split off index_mailbox_vsize_finish_bg()

Simplifies next commit

lib-index: Fix storing cache fields' last_used with 64bit big endian CPUs

maildir: Fix crash at error handling

At this point dest_mail is already NULL. Mainly could happen when running
out of disk space.

login-proxy: Don't send proxying start event for reconnects

Send the event only for the beginning of proxying and add the reconnect counts
as a field for _established and _finished events.

lib: str_parse_intmax() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: switch i_rand_limit() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: buffer_truncate_rshift_bits() - Replace signed expression with an unsigned equivalent

Found by code analysis tool

lib: bits_rotXYY() - Replace signed expression with UNSIGNED_MINUS() macro for unsigned 2's complement

Found by code analysis tool

bits_is_power_of_two() Replace signed expression with __builtin_popcountl()

Found by code analysis tool

lib: test-bits.c - Removing stray spaces at end of lines

raw-storage: copy the envelope sender instead of referencing it

lib-fs: Add test-fs utility for testing fs drivers

It performs random read/write/delete/iter operations.

replicator: doveadm replicator replicate -f didn't always start full sync

The full sync happened only if the dsync queue was already full. If it
wasn't, dsync was called too early before user->force_full_sync was set.

replicator: Move replicator_brain_timeout(()

lib-storage: Optimize behavior when building THREAD tree with empty cache

Although it's possible that Date, Subject or received-date isn't actually
needed for all mails, it's much more efficient behavior to add all of these
to cache at the same time if they're not there already. Otherwise the same
mail could be opened and parsed up to 3 times.