mdbox: Fix crash if resync fails because of an early failure

This mainly happened if dovecot.map.index.log was locked and resync timed
out waiting for it.

replicator: fixed infinity loop on sync replication

Before this fix, replicator adds the same lookup into callbacks over and
over, until it reaches out of memory, and crashes.

This regression was introduced 447e086422f1ab7cc16833583ed70a4af7a84bc5
with initial implementation of replicator.

imap-hibernate: Add local and remote port as variables to mail_log_prefix

lib-storage: Add local and remote port as variables to mail_log_prefix

virtual: Fix copying storage error on mail_precache() failure

fts: Don't ignore parent mail_precache() failure

lib: istream-seekable - Allow in-memory fallback only for up to 10 MB streams

lib: istream-seekable - Improve logging after write() errors

Also don't silently handle out of disk space errors - log a warning instead.

lib: istream-seekable - Assert that write() won't return 0

lib: istream-seekable - Fix moving stream to memory on write() failure

Fixes:
Panic: file istream-seekable.c: line 238 (read_from_buffer): assertion failed: (*ret_r > 0)

doveadm save: Fix potential assert-crash if saving failed

The input stream may not have been fully read at failure time.

Fixes:
Panic: file doveadm-mail-save.c: line 91 (cmd_save_to_mailbox): assertion failed: (input->eof)

lib: istream-seekable - Remove unused define BUF_INITIAL_SIZE

ChangeLog: Stop generating ChangeLog

It is not very useful, you can get same information with
git commands anyways, and NEWS file contains more useful
information.

imap: Fix potential hang/crash when unhibernating

This fixes two potential bugs:

a) Unhibernation is triggered by new mailbox changes. While sending these
to IMAP client, Dovecot notices that the client has disconnected. The
process will stay IDLEing for 30 minutes until it gets disconnected with
"Disconnected: Inactivity - no input for 1800 secs"

b) Unhibernation is triggered by DONE command with some further pipelined
commands. During unhibernation new mailbox changes are noticed, and
again IMAP client is found to be disconnected while sending the changes.
This causes a segfault.

imap-login: Don't forward x-multiplex ID parameter when proxying

If a connecting v2.4 proxy sends this parameter, it should be ignored rather
than forwarded to the next hop, which again might be v2.4. This would end
up enabling multiplex iostreams, even though this v2.3 proxy doesn't
understand it.

NEWS: Add news for 2.3.21.1

lib-mail: message-parser - Limit headers total count to 50MB by default

(including top headers and all mime-sections headers)

lib-mail: message-header-parser - Limit header block to 10MB by default

lib-mail, lib-imap: Optimize parsing large number of address headers

Every header was appended to a linked list by walking through the whole
list, causing excessive CPU usage when the list became large enough.
Fixed by changing struct message_part_envelope to use struct
message_address_list, which stores also linked list tail pointers. This
allows quickly appending to the end of the linked list.

lib-mail: Add message_address_parse_full() and struct message_address_list

lib-mail: Change message_address to be doubly linked list

lib-mail: test-imap-envelope - Use test_assert_idx() where possible

lib: Add DLLIST2_JOIN()

lib: test-llist - Fix dllist2 test name

master: Fix assert-crash after "Process .. is ignoring idle SIGINT" error

The timeout was called multiple times, which caused internal state to break.

Fixes:
Panic: file service-monitor.c: line 60 (service_kill_idle): assertion failed: (processes_to_kill <= service->process_avail)

imapc, lib-imap-client: Add imapc_features=no-qresync to disable QRESYNC

This can be used to silently work around the Zimbra bug of not sending
[CLOSED] imap-resp-code.

lib-imap-client: Handle better when QRESYNC capable server doesn't send CLOSED imap-resp-code

QRESYNC RFC specifies that the [CLOSED] imap-resp-code MUST always be sent
if server advertises CONDSTORE or QRESYNC capability. However, at least some
Zimbra versions don't do this. Workaround by reconnecting to the server
automatically.

lib-imap-client: Fix automatic reconnecting with delayed logins

reconnect_command_count was always set to 1, because there was always
the command that triggered the connection. It was never reset to 0,
which caused reconnects to never happen.

auth: mech-oauth2 - Use the iterated passdb in oauth2_find_oidc_url()

Fixes a crash when oauth2 passdb is not first. Broken in
59647f483c49c9e54c43cade168bf10f44a49292

login-common: Add client_vfuncs.iostream_change_pre/post()

mdbox: Fix assert-crash if syncing causes storage rebuild

Fixes:
Panic: file mail-index-sync.c: line 419 (mail_index_sync_begin_to2): assertion failed: (!index->syncing)

Broken by b073a14640cab4b9e2a84a783aac2f7fd0102473

mdbox: Reset internal fscked-flag after rebuilding index

The index was just rebuilt. If the flag isn't reset, it might become
rebuilt again.

mdbox: Fix "Invalid dbox header size" error to use "mdbox"

mdbox: fsck map index only after logging "rebuilding indexes"

mdbox: Skip storage rebuild if the reason for it no longer exists after locking map

mdbox: mdbox_storage_set_corrupted() - Add reason parameter

mdbox: Replace mdbox_storage_set_corrupted() with mdbox_set_mailbox_corrupted() where possible

mdbox: If mdbox_sync_begin() fail with corruption, make sure storage corruption reason is set

dbox: Add reason parameter to dbox_storage_vfuncs.set_mailbox_corrupted()

dbox: Add reason parameter to dbox_storage_vfuncs.set_file_corrupted()

mdbox: Change mdbox_storage.corrupted boolean to reason string

mdbox: Log reason when rebuilding indexes

Already include the reason also as bitmask in preparation for a later commit
using it.

mdbox: Remove unused MDBOX_SYNC_FLAG_NO_PURGE

mdbox: Rebuild storage in its own atomic context

This guarantees that the atomic context is fully committed after rebuild,
instead of rolled back due to sync failing later on.

mdbox: Move storage rebuild handling to mdbox_sync()

This simplifies the code, since it's the only place that can actually
rebuild the storage. Also will be needed for following commit.

lib-index: mail_index_unset_fscked() - Fix to use the latest index header

The flags field was updated using the view's header, which may have been
out-of-date. This could have resulted in more than the FSCKD flag update,
and most importantly it could have meant that the FSCKD flag wasn't
actually removed when it should have been.

lib: Fix sha2 functions to not produce wrong results with >500MB input

oauth: Accept multiple entries in aud field

NEWS: Update NEWS with changes

NEWS: Add news for 2.3.21

lib-dict-extra: dict-fs - If iteration flag isn't supported, error out instead of panic

lib-dict-extra: dict-fs - Implement DICT_ITERATE_FLAG_EXACT_KEY

lib-dict-extra: dict-fs - Fix endless loop while iterating

Broken by 32e8bd5b5a9d5bc04e5ac6c65ac132ba5c386d64

mail-crypt: mail_crypt_mailbox_allocated() - Force cross-user copies to (de,re)encrypt the contents

lib-sql: driver-mysql - Use API state to check if there is connection

db->mysql cannot be NULL.

Broken in dd14131fcbd4b84f02316ecc0ff3a185683a5f23

dsync: Destroy name128_remotesep_hash in dsync_mailbox_tree_deinit()

Forgotten in 678d0463849ba777106eb7875f27db07a5d8e3df

dsync: Fix an infinite loop

Be sure to update 'name' when traversing the components of a path
in convert_name_to_remote_sep.  Otherwise we end up allocating a
lot of memory and failing.

lib-sql: driver-mysql - Initialize MYSQL struct once

Calling initialize more than once will leak memory.

lib-sql: driver-mysql - Use driver_mysql_disconnect() in deinit

This ensures we call mysql_close() only in one place.

lib-sql: driver-mysql - Use container_of instead of blind cast

lib-sql: Disconnect SQL connection on error

mdbox: Fix crash still if fdatasync_path() fails

Broken still in a8424a71d70e2f5c54d9e2aab8338cf9547b15b4

login-common: Make login_proxy_free(&NULL) no-op

Backport of 92b12678ff85112a0631f58fc2c9422e41e0d376

stats: Allow empty event exporters when registering metrics

fts: doveadm - Add missing pool initialization in cmd_search_box()

Broken by: 467a664b5fce33f3d47a3e1171ecacb508968d1a

auth: db-oauth2 - Set default value for active_attribute and active_value to empty string

Otherwise it will always require this attribute to be present when not
configured.

login-common: If authentication is aborted, clear out final response.

auth: db-oauth2 - Handle the case for check on attribute presence only

auth: db_oauth2_user_is_enabled() - Flatten the code

auth: db-oauth2 - Fail login if active_attribute is missing

If active_attribute is required by config, we should fail to
login when it's missing.

lib-oauth2: Do not send empty client_id or client_secret

lib-oauth2: Do not send client_id and client_secret as parameters in POST queries

They need to be configured in the URL as Basic auth instead.

lib-oauth2: Do not send client_id & client_secret as POST parameters when doing introspection

lib-oauth2: Validate scope when configured

lib-oauth2: Remove typ check

It is not really useful. And mostly just keeps breaking when people
invent new kty values.

lib-oauth2: Ensure aud field has client_id when set.

OpenID Connect 1.0 specification says that "aud" field must contain
OAuth 2.0 client_id of the Relying Party as an audience value.

auth: mech-oauth2 - Always fail with protocol specific error

auth: mech-oauth2 - Look for openid configuration URL if missing

lib-oauth2: Return failure instead of crash with invalid or missing token

auth: db-oauth2 - Add accessor for OpenID configuration URL

auth: db-oauth2 - Store request username

auth: Add auth_request_fail_with_reply()

auth: Pass along final response with failure

lib-auth: Move auth_client_request_continue() lower

Simplifies next commit

login-common: Serve final response for client on failure

login-common: Ignore resp when present

acl: Fix wrong \HasChildren flags for parent mailboxes containing '*' and '%'

'*' in mailbox name is replaced with '%' while child mailboxes still
have '*' in their path, this results in wrong \HasNoChildren flag.

lib-storage: Whitespace cleanup.

lib-storage: Add mail_get_message_id_no_validation()

lib-dict: redis_reply_callback() - Don't crash if there is no callback

lib-index: Delete dovecot.index.cache during purging if it becomes too large

This only happens if the file was already too large before the purging
happens. This mainly fixes assert-crashes caused by old huge >1GB cache
files.

Fixes:
Panic: file mail-index-util.c: line 10 (mail_index_uint32_to_offset): assertion failed: (offset < 0x40000000)

lib-master: Use ssl_require_crl setting only for server-side SSL settings

We don't currently properly support checking CRLs when acting as SSL client.
The CRL would have to be stored as part of the CAs, which isn't commonly
done. This bug has been in the code ever since it was added in
30c5c1fc3608ae575f11960281d3e338b6bf7bc8, but it became more noticeable
with recent changes that started using lib-master for getting all SSL
client settings, e.g. 1e5324b5805bf7299cd8196f7b659fe935f027bd

stats: stats_metrics_add_dynamic() - Validate event exporter

lib-master: stats_client_deinit() - Ensure conn.output is flushed before returning

This prevents losing exported events still waiting in buffers while the process exits.

lib-master: stats_event_callback() - Skip if conn.output is already closed

This also prevents further errors from happening on the closed stream.

lib-master: stats_client_send_event() - Also flush conn.output and check for errors

lib-master: stats_event_write() - Don't accumulate more than IO_BLOCK_SIZE bytes in str buffer

lib: event-filter-parser.y - Add workaround for nerrs being unused warning

Fixes with clang-17:
warning: variable 'event_filter_parser_nerrs' set but not used

global: Remove dead code

lib-dict: test-dict-client - Handle shutdown cleanly with ctrl-c