mail-crypt: mail_crypt_mailbox_allocated() - Force cross-user copies to (de,re)encrypt the contents

NEWS: Update NEWS with changes

lib-sql: driver-mysql - Use API state to check if there is connection

db->mysql cannot be NULL.

Broken in 542877c08eb8130733567e5b718933bc3cdc8426

dsync: Destroy name128_remotesep_hash in dsync_mailbox_tree_deinit()

Forgotten in 678d0463849ba777106eb7875f27db07a5d8e3df

dsync: Fix an infinite loop

Be sure to update 'name' when traversing the components of a path
in convert_name_to_remote_sep.  Otherwise we end up allocating a
lot of memory and failing.

lib-sql: driver-mysql - Initialize MYSQL struct once

Calling initialize more than once will leak memory.

lib-sql: driver-mysql - Use driver_mysql_disconnect() in deinit

This ensures we call mysql_close() only in one place.

lib-sql: driver-mysql - Use container_of instead of blind cast

lib-sql: Disconnect SQL connection on error

mdbox: Fix crash still if fdatasync_path() fails

Broken still in a8424a71d70e2f5c54d9e2aab8338cf9547b15b4

configure: Update version

NEWS: Add news for 2.3.21

stats: Allow empty event exporters when registering metrics

fts: doveadm - Add missing pool initialization in cmd_search_box()

Broken by: 467a664b5fce33f3d47a3e1171ecacb508968d1a

auth: db-oauth2 - Set default value for active_attribute and active_value to empty string

Otherwise it will always require this attribute to be present when not
configured.

login-common: If authentication is aborted, clear out final response.

auth: db-oauth2 - Handle the case for check on attribute presence only

auth: db_oauth2_user_is_enabled() - Flatten the code

auth: db-oauth2 - Fail login if active_attribute is missing

If active_attribute is required by config, we should fail to
login when it's missing.

lib-oauth2: Do not send empty client_id or client_secret

lib-oauth2: Do not send client_id and client_secret as parameters in POST queries

They need to be configured in the URL as Basic auth instead.

lib-oauth2: Do not send client_id & client_secret as POST parameters when doing introspection

lib-oauth2: Validate scope when configured

lib-oauth2: Remove typ check

It is not really useful. And mostly just keeps breaking when people
invent new kty values.

lib-oauth2: Ensure aud field has client_id when set.

OpenID Connect 1.0 specification says that "aud" field must contain
OAuth 2.0 client_id of the Relying Party as an audience value.

auth: mech-oauth2 - Always fail with protocol specific error

auth: mech-oauth2 - Look for openid configuration URL if missing

lib-oauth2: Return failure instead of crash with invalid or missing token

auth: db-oauth2 - Add accessor for OpenID configuration URL

auth: db-oauth2 - Store request username

auth: Add auth_request_fail_with_reply()

auth: Pass along final response with failure

lib-auth: Move auth_client_request_continue() lower

Simplifies next commit

login-common: Serve final response for client on failure

login-common: Ignore resp when present

acl: Fix wrong \HasChildren flags for parent mailboxes containing '*' and '%'

'*' in mailbox name is replaced with '%' while child mailboxes still
have '*' in their path, this results in wrong \HasNoChildren flag.

lib-storage: Whitespace cleanup.

lib-storage: Add mail_get_message_id_no_validation()

lib-dict: redis_reply_callback() - Don't crash if there is no callback

lib-index: Delete dovecot.index.cache during purging if it becomes too large

This only happens if the file was already too large before the purging
happens. This mainly fixes assert-crashes caused by old huge >1GB cache
files.

Fixes:
Panic: file mail-index-util.c: line 10 (mail_index_uint32_to_offset): assertion failed: (offset < 0x40000000)

lib-master: Use ssl_require_crl setting only for server-side SSL settings

We don't currently properly support checking CRLs when acting as SSL client.
The CRL would have to be stored as part of the CAs, which isn't commonly
done. This bug has been in the code ever since it was added in
30c5c1fc3608ae575f11960281d3e338b6bf7bc8, but it became more noticeable
with recent changes that started using lib-master for getting all SSL
client settings, e.g. 1e5324b5805bf7299cd8196f7b659fe935f027bd

stats: stats_metrics_add_dynamic() - Validate event exporter

lib-master: stats_client_deinit() - Ensure conn.output is flushed before returning

This prevents losing exported events still waiting in buffers while the process exits.

lib-master: stats_event_callback() - Skip if conn.output is already closed

This also prevents further errors from happening on the closed stream.

lib-master: stats_client_send_event() - Also flush conn.output and check for errors

lib-master: stats_event_write() - Don't accumulate more than IO_BLOCK_SIZE bytes in str buffer

lib: event-filter-parser.y - Add workaround for nerrs being unused warning

Fixes with clang-17:
warning: variable 'event_filter_parser_nerrs' set but not used

global: Remove dead code

lib-dict: test-dict-client - Handle shutdown cleanly with ctrl-c

login-common: Handle missing ssl_iostream in get_var_expand_table()

It can be missing during connection disconnection when connection
is lost uncleanly.

notify-status: Fix crash if user initialization fails

The deinit code crashed if mail_namespaces_created hook hadn't been called
before user was deinitialized.

lib-sql: pgsql - Use orig_ioloop instead of local variable

orig_ioloop is used later, leaving it NULL here causes
problems when timeout is added by sqlpool.

Broken in 8981a973987c237552e46b68075b64caa8c1f5bb

dbox: Fix for dangling pointer being passed to cleanup_interval()

Broken in 88eee28fd86d619b26ce6aebadca5b18e748dc6f

mdbox: Optimize mail_temp_scan_interval storage/ scanning

Use the generic dbox scanning code, which avoids stat()ing the directory by
keeping the timestamp in index header. Also do the scanning while at
session deinit instead of startup, so the latency isn't visible to clients.

lib-storage: Split off index_mailbox_view_update_last_temp_file_scan()

dbox: mail_temp_scan_interval - Fix deleted temp file prefix

dbox files are always created with DBOX_TEMP_FILE_PREFIX, not the mailbox
list-specific prefix. This was a problem only if dbox was used with
LAYOUT=Maildir++, which nobody was likely to do. Other layouts had
identical temp file prefixes to DBOX_TEMP_FILE_PREFIX.

dbox: Split off dbox_mailbox_list_cleanup()

mdbox: Don't do temp file scanning for mailbox directories

The intention was to delete any temporary mail files that have been left
behind by crashed processes, but mail files are written to storage/
directory.

mdbox: Fix fdatasync() path when saving mails

It was supposed to be called on the parent directory of where mails were
written, i.e. storage/ directory. The previous code was instead calling it
on the mailbox-specific directory (similarly to sdbox) where nothing was
written.

mdbox: Fix crash if fdatasync_path() fails

There is no dest_mail anymore at this stage of transaction.

lib-storage: Rollback save transaction when transaction commit fails.

sdbox: Fix panic due to leaked mail_index_view if sync fails

Fixes:
Panic: Leaked view for index .../dbox-Mails/dovecot.index: Opened in mail-index-sync.c:445

lib-index: Don't update log_file_tail_offset on sync if reading dovecot.index.log failed

This is more of a theoretical issue, since dovecot.index.log read failure is
very unlikely.

lib-index: Don't update max_tail_offset if write to dovecot.index.log fails

The max_tail_offset didn't actually increase in that situation.
This fixes wrongly updating mail_index_header.log_file_tail_offset after
write to dovecot.index.log failed (due to out of disk space), which in
turn can cause some unexpected errors.

lib-index: Fix event leak if purging dovecot.index.cache fails

lib-oauth2: jwt - Allow missing 'typ' field

lib-oauth2: test-oauth2-jwt - Ensure we ignore 'none' algorithm

lib-login: Don't update process title if verbose_proctitle=no

Broken by 4fcd7f497577af361fc3313fbc07a61c14e17715

global: Enable login_server_settings.update_proctitle

lib-login: Add login_server_settings.update_proctitle

Update the current login state in process title when enabled.

lib-login: Keep connection in server's linked list until it's fully freed

Otherwise the connection isn't accessible from any global variables.

imap: Update process title while unhibernating

Previously the process title stayed as [idling] even though the process was
busy waiting on the imap-hibernate process to finish sending the
unhibernation request.

lib-master: Set process title to [initializing] until master_service_init_finish()

lib: Add process_title_get_counter()

master: Set VERBOSE_PROCTITLE environment to child processes

This is needed for updating process title during initialization before
settings are read.

imap: Disconnect imap-master client if it's not sending anything for 25 seconds

imap: Improve disconnection log message if it happens immediately after unhibernation

The "No commands sent after unhibernation" can mean that imap-hibernate
process saw a timeout while unhibernating and shutdown the connection.
Or it can also mean just that the client itself disconnected.

imap-hibernate: If unhibernation fails, make sure imap process won't finish it later on

Especially if unhibernation fails due to a connection timeout to imap
process due to high load, it's possible that the imap process will
eventually finish the unhibernation and continue with the client. This is
rather confusing, since imap-hibernate process already logged that the
client got disconnected.

imap: Add client.unhibernated boolean

auth: mech_gssapi_unwrap() - Release gss_release_buffe(outbuf) before returning

master: Fix service { idle_kill } to work better on busy servers

The previous behavior was to kill a process once it had idled for idle_kill
seconds. However, on a busy server the new connections are picked up somewhat
randomly by all the idling processes, so there's never any single process
idling for a long time. This effectively prevents the idle_kill from killing
any processes, even if there are unnecessarily many of them.

The new behavior here tracks the lowest number of idling processes during
idle_kill time interval. Then it kills that many processes. If the load
stays the same, this should shrink the number of processes to the number
that is needed to handle the load, but no more.

master: Replace per-process idle_kill timeout with per-service

This is much more efficient, since it doesn't have to keep updating the
timeout constantly for busy processes.

This change still preserves the original way the idle_kill setting behaves.

master: Add asserts to make sure counters don't wrap

master: Add service.process_idling to count number of idling processes

master: Split processes list to busy and idling processes

Keep the idling processes sorted by idle_start time. This will be needed
by the next commit.

dbox: dbox_cleanup_temp_files() - Fuzz scan interval adding 0..+30% based on username hash

dbox: dbox_cleanup_temp_files() - Reformat code

dbox: dbox_cleanup_temp_files() - Remove unnecessary else/else if after returns

dbox: dbox_mailbox_open() - Drop unused ctime

dbox: dbox_mailbox_open() - Move dbox_cleanup_temp_files() to dbox_mailbox_close()

dbox: dbox_mailbox_open() - Infer last_temp_file_scan from dir's atime if 0

dbox: dbox_mailbox_create() - Update last_temp_file_scan

lib-storage: dbox_cleanup_temp_files() - Fix inverted check for ENOENT

stats: openmetrics - Set field always when used

Satisfied static analysers.

Broken in ba19a18d54cb7cf7de93d6a235862a408cfe5828

stats: openmetrics - Create metrics for all specified fields

dsync: Fix handling mailboxes with % character when BROKENCHAR isn't explicitly set in config

When vname_escape_char (= BROKENCHAR) isn't explicitly set in configuration,
'%' character (or if it was hierarchy separator, '~') was used as the default
internal escape character. However, this was used inconsistently between local
and remote mailbox trees. The remote tree stored the mailbox names unescaped,
while the local mailbox names were escaped. This inconsistency caused dsync
to do unnecessary mailbox renames, which might have ended up failing.

This especially fixes dsync failures when mailbox name ended with the '%'
character.

dsync: Refactor dsync_brain_mailbox_to_parts() into dsync_mailbox_name_to_parts()

virtual: virtual_backend_box_lookup() - Enforce callers to check if the call succeeded

virtual: virtual_sync_apply_existing_expunges() - Don't crash if the backend mailbox has been removed

lib-index: Fix assert-crash when header's log_file_seq/offset shrinks

mail_index_sync_set_log_view() is also missing this check, but it doesn't
seem to actually happen. It's likely handled by mail_index_map() already.

Fixes:
Panic: file mail-transaction-log-view.c: line 165 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)