lib-master: Set process title to [initializing] until master_service_init_finish()

lib: Add process_title_get_counter()

master: Set VERBOSE_PROCTITLE environment to child processes

This is needed for updating process title during initialization before
settings are read.

imap: Disconnect imap-master client if it's not sending anything for 25 seconds

imap: Improve disconnection log message if it happens immediately after unhibernation

The "No commands sent after unhibernation" can mean that imap-hibernate
process saw a timeout while unhibernating and shutdown the connection.
Or it can also mean just that the client itself disconnected.

imap-hibernate: If unhibernation fails, make sure imap process won't finish it later on

Especially if unhibernation fails due to a connection timeout to imap
process due to high load, it's possible that the imap process will
eventually finish the unhibernation and continue with the client. This is
rather confusing, since imap-hibernate process already logged that the
client got disconnected.

imap: Add client.unhibernated boolean

auth: mech_gssapi_unwrap() - Release gss_release_buffe(outbuf) before returning

master: Fix service { idle_kill } to work better on busy servers

The previous behavior was to kill a process once it had idled for idle_kill
seconds. However, on a busy server the new connections are picked up somewhat
randomly by all the idling processes, so there's never any single process
idling for a long time. This effectively prevents the idle_kill from killing
any processes, even if there are unnecessarily many of them.

The new behavior here tracks the lowest number of idling processes during
idle_kill time interval. Then it kills that many processes. If the load
stays the same, this should shrink the number of processes to the number
that is needed to handle the load, but no more.

master: Replace per-process idle_kill timeout with per-service

This is much more efficient, since it doesn't have to keep updating the
timeout constantly for busy processes.

This change still preserves the original way the idle_kill setting behaves.

master: Add asserts to make sure counters don't wrap

master: Add service.process_idling to count number of idling processes

master: Split processes list to busy and idling processes

Keep the idling processes sorted by idle_start time. This will be needed
by the next commit.

dbox: dbox_cleanup_temp_files() - Fuzz scan interval adding 0..+30% based on username hash

dbox: dbox_cleanup_temp_files() - Reformat code

dbox: dbox_cleanup_temp_files() - Remove unnecessary else/else if after returns

dbox: dbox_mailbox_open() - Drop unused ctime

dbox: dbox_mailbox_open() - Move dbox_cleanup_temp_files() to dbox_mailbox_close()

dbox: dbox_mailbox_open() - Infer last_temp_file_scan from dir's atime if 0

dbox: dbox_mailbox_create() - Update last_temp_file_scan

lib-storage: dbox_cleanup_temp_files() - Fix inverted check for ENOENT

stats: openmetrics - Set field always when used

Satisfied static analysers.

Broken in ba19a18d54cb7cf7de93d6a235862a408cfe5828

stats: openmetrics - Create metrics for all specified fields

dsync: Fix handling mailboxes with % character when BROKENCHAR isn't explicitly set in config

When vname_escape_char (= BROKENCHAR) isn't explicitly set in configuration,
'%' character (or if it was hierarchy separator, '~') was used as the default
internal escape character. However, this was used inconsistently between local
and remote mailbox trees. The remote tree stored the mailbox names unescaped,
while the local mailbox names were escaped. This inconsistency caused dsync
to do unnecessary mailbox renames, which might have ended up failing.

This especially fixes dsync failures when mailbox name ended with the '%'
character.

dsync: Refactor dsync_brain_mailbox_to_parts() into dsync_mailbox_name_to_parts()

virtual: virtual_backend_box_lookup() - Enforce callers to check if the call succeeded

virtual: virtual_sync_apply_existing_expunges() - Don't crash if the backend mailbox has been removed

lib-index: Fix assert-crash when header's log_file_seq/offset shrinks

mail_index_sync_set_log_view() is also missing this check, but it doesn't
seem to actually happen. It's likely handled by mail_index_map() already.

Fixes:
Panic: file mail-transaction-log-view.c: line 165 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-http: http-server-connection - Fix segfault occurring when output is resumed on closed connection.

man: Add doveadm fts check fast/full

lib-imap-client: Fix/clarify selection state handling

The old code assumed that selected_box would be non-NULL while a new mailbox
is being selected. That's not true though, the imapc-storage code closes the
old mailbox before selecting the next one. So the QRESYNC-specific code for
tracking selected-state was never being used. Fixed this, and clarified in
general how the selected-state is supposed to work.

lib-imap-client: Rename imapc_connection.selecting_box to qresync_selecting_box

It's only used when QRESYNC extension is enabled.

imapc: Fix handling EXISTS reply to previous mailbox while selecting new mailbox

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 10 EXISTS
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The first EXISTS is meant for box1, not box2. Fixed by not starting a FETCH
(FLAGS) for the mailbox being selected until the tagged reply is received.

imapc: Don't process untagged replies in mailbox that isn't fully selected yet

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 1 EXPUNGE
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The expunge was intended for box1, not box2. This caused:
Warning: imapc(...): Mailbox '...' state corrupted: EXPUNGE received for empty mailbox - reconnecting

Fixed this by ignoring untagged EXPUNGE, FETCH, SEARCH and ESEARCH replies
when the UIDVALIDITY reply hasn't been yet received for a mailbox.

auth: test-lua - Check that password is returned in lookup

auth: test-lua - Test bad keynames end up ignored

lib-storage: mail-user - Add event_ prefixed values from userdb as event fields

login-common: Add event_ prefixed values from auth as event fields

auth: db-lua - Skip invalid keys and values on field export

maildir: maildir_mailbox_open() - Split off maildir_is_selectable()

maildir: maildir_mailbox_open() - If the namespace root or INBOX has any subdir create others as well

maildir: maildir_mailbox_open() - Disable maildir subdirectory creation for INBOX

This was added in 522925f6e9ff8fe9592511c2221b3d6526d4cbf4. In the
meantime autocreate code changed so this is no longer valid.

welcome-plugin: Remove welcome_open_box()

welcome-plugin: Move script_execute() to welcome_create_box()

The welcome script was executed while opening the INBOX only when
the same session had created it. This could have led to unexpectedly not
executing welcome when not opening the mailbox right after it was created.

The original code delayed the welcome script run because mailbox creation
wasn't finished until the mailbox was opened. This seems to have become
fixed at some point.

lib-http: server - Fix potential crash with previous change on client disconnect

Broken by 1418d1e9018fc34287722467c6ee506f3e378e1a

lib-http: test-http-payload - Use ostream-final-trickle for server connections

lib-http: test-http-payload - Add filenames to data mismatch error messages

lib-test: Add ostream-final-trickle

lib: Add connection_vfuncs.init()

lib-http: server - Don't disconnect client before response is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: server - Don't disconnect client before payload is fully sent

lib-storage: Add mail_storage_service_input.unexpanded_set_parser

NEWS: Update news

auth: Fix auth_request_password_verify() result handling

Pass the result directly to caller, as auth_request_password_verify()
returns passdb result already.

auth: Change auth_request_password_verify() to return enum passdb_result

This does not break anything, because PASSDB_RESULT_OK is 1 and mismatch
is 0.

lib-storage: Fix unnecessary data stack growth when iterating mailboxes

When listing mailbox list indexes, it was possible that each iteration
increased the data stack memory usage. It was all freed at the end though,
so this didn't cause any permanent leaks.

Broken by 4fdb040d2471c6e5006579bef1dd0586f89c8570

lib-lua: http - Use correct dns-client path

The current code tries to look it up from user homedir sometimes.

Broken in 5b56debd31800ec45fc0c6529b138d1ce943b0aa

lib-sql: Add sql_statement_set_no_log_expanded_values()

This allows to store no_log_expanded_values to sql_statement.

dict: Implement DICT_PROTOCOL_CMD_HIDE_LOG_VALUES for dict and dict-proxy

lib-dict: Add .set_hide_log_values() to dict vfuncs

This is used to set hide_log_values in dict op settings.

cassandra: Rename query to log_query and initialize it with sql_statement_get_log_query()

Also add sql_statement_get_log_query() to sql-api.

lib-event: Add event_unset_log_message_callback()

fs-api: Add fs_get_event()

pop3: Fix assert-crash when POP3 command name contained ':'

The cmd_<name> reason code now only uses valid command names.

Broken by d2ab26be6038bd53b13a3ff18c403d6c192c1d91 with incomplete fix in
1309137812424c80e63d3c1052795b43d6e19803.

Fixes:
Panic: event_reason_code_prefix(): name has ':'

pop3: Move pop3 commands to array and add pop3_command_find()

NEWS: Update news

lmtp: Fix restoring global log prefix after session is finished

Broken by 069dfd657fd91a0e2a3a9307a0cf499d795f27f2

This change also slightly changes the lmtp log prefixes in some places.
It removes "conn $ip:$port [$idx]: rcpt $user:" from some of the log
messages (but that wasn't in all of the log messages anyway), but it now
always includes mail_log_prefix in these log messages, which previously
wasn't always set at that point yet.

fts: struct fts_user - Drop data_languages

fts: fts-search-args - Fix stopwords expansion (only on multiple languges and with stopword filter enabled)

lib-storage: enum mail_search_arg_type - Add SEARCH_NIL

lib-storage: mail_search_args_simplify_drop_redundant_args() - Apply Absorptive law versus all terms, not just the 1st

dsync: Skip autocreated mailboxes that haven't been created yet

imapc: Fix listing INBOX when INBOX is already the namespace prefix

This especially caused problems when using dsync with imapc, resulting in
"Remote lost mailbox GUID" errors.

replicator: Fix crash when importing user not listed by userdb iteration

Broken by 31545b4f38ea85615f0111a33d630a03d92d22ab

replicator: Add unit test to replicator-queue

replicator: Add replicator_queue_count() and replicator_queue_peek()

These will be useful for the following unit test.

replicator: Add "next sync secs" field to doveadm replicator status

replicator: Make sure to prevent request starvation

This synchronizes how priority queue is ordered vs what
replicator_queue_want_sync_now() returns. The mismatch might have caused
request starvation in some situations because they behaved differently.

Also this change makes sure that higher priority requests don't infinitely
block lower priority requests. Instead, they get a temporary boost time
(hardcoded 15-45 minutes). Afterwards lower priority requests are started
to be handled as well.

replicator: Don't update user's last_update if priority doesn't change

This didn't actually matter, since it was only used to check if importing
should update an existing user. However, importing is only run at startup
when all users have last_update=0 anyway.

The following changes bring new use cases for last_update.

replicator: Change replicator_queue_add_sync_callback() to take user struct

This is just to clean up the API to match the previous change.

replicator: Fix user placement in replication queue

Especially replicator queue importing and NOTIFY command could have
placed the user to wrong place in the queue, because they modified the
last sync timestamps afterwards.

Fixed by splitting replicator_queue_add() into get/update/add(), so all
the necessary changes can be done before replicator_queue_add() is used
to place the user into the queue.

maildir: If mailbox create fails, don't try to apply mailbox_update changes

This was especially causing problems with mailbox GUID mismatches in dsync.
The mismatch wasn't automatically fixed, because mailbox_create() incorrectly
kept updating the mailbox GUID for the already existing mailbox.

Fixes errors such as:
Remote lost mailbox GUID ... (maybe it was just deleted?)

lib-storage: mailbox_attribute_get*() - Fail early on with empty key lookup

This fixes using mail_attribute_dict with dict-sql.

imapc: imapc_connection_disconnect_full() - Only conditionally abort

Only abort commands if there are no reconnect commands. Otherwise these
still will be handled and the commands memory will be freed after handling
them.

Broken by 6d16e82fa2c352974558e1415d06f07d8962fe09

imapc: imapc_connection_disconnect_full() - Prevent leaking cmd->pool

If the imapc connection was already disconnected when calling
imapc_connection_disconnect() it didn't clean up the commands and
especially the command pools.

imapc: imapc_mailbox_get_status() - Implement STATUS_UNSEEN with INDEXPVT

lib-storage: mail-storage-list-index-rebuild - Don't use continue inside T_BEGIN..T_END

Coverity doesn't like using continue there.

lib-storage: LAYOUT=index rebuild - Fix detecting duplicate mailbox GUIDs in index

Otherwise duplicate folders are not properly cleared out.

Broken in 2fc8d7024bb161aab08031b8212a736301844858

lib-storage: LAYOUT=index rebuild - Remove existence check

It's not needed.

lib-storage: LAYOUT=index rebuild - Sort mailbox tree before creating

Try to load the mailbox original name already from storage
so we can sort & create the mailbox tree in correct order.

lib-storage: LAYOUT=index rebuild - Remove first_list usage

Instead, keep track of the list where box was found.

lib-storage: LAYOUT=index rebuild - Remove useless check for LAYOUT=index

This is already done when collecting namespaces.

Simplifies next change.

lib-storage: LAYOUT=index rebuild - Fix rebuilds when using multiple namespaces

The old code did not properly populate the mailbox list for each
namespace, but only for the first namespace. This caused mailbox
storage existence checks to always fail.

This applies for LAYOUT=index only.

Broken in 2fc8d7024bb161aab08031b8212a736301844858

lib-storage: list - Add separators to mailbox names when decoding from index

Mailbox name header decode did not add separators to name,
producing only FooBarBar, when it was supposed to give
Foo/Bar/Baz.

Broken in 8216a079d8aac93e2537ed79485e301350ff3887

lib-storage: Store mailbox names unescaped in box-name header

This header is used when rebuilding mailbox list indexes with LAYOUT=index.
The escape character is currently hardcoded for LAYOUT=index, so this
couldn't have broken anything unless the hardcoded separator was changed.
Still, this was wrong/confusing behavior.

dict-redis: Fix crash when using synchronous commit

Redis is usually used via dict proxy process, which always uses async
commit, so this didn't matter so much.

director: Fix handling auth_master_user_separator setting

It was actually using a separate master_user_separator setting, causing
logins based on auth_master_user_separator to be hashed to wrong backends.

doveadm: Fix assert-crash on secondary service_user failures

This mainly affected dsync when imapc authentication failed, but could have
also happened with copy and import commands.

Fixes:
Panic: file lib-event.c: line 506 (event_pop_global): assertion failed: (event == current_global_event)

lib-storage: Fix MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT to not change log prefix in ioloop context changes

This didn't appear to cause any visible bugs with the current code, but is
required by the next commit.

Broken by ad13ab0702141065b79a1b7e8f2833e5b93871a4

 doc/example-config: Document submissions/465 for submission-login