dbox: dbox_mailbox_check_existence() - Return 1 if a separate INDEX dir has an existing index

This allows taking actions if the separate INDEX dir does not have an existing
index file for a mailbox.

dbox: dbox_mailbox_check_existence() - Do always check for index_path existence

fts-flatcurve: fts_flatcurve_build_query_arg_term() - Use move constructor when available

Found by coverity

lib: test_istream_jsonstr_partial() - Rearrange code to prevent unspecified order of evaluation

Found by Coverity

lib-sql: Disconnect SQL connection on error

doc: Add Solr 9.x compatible config and schema

lib-storage: maildir - Use mail_metadata_accessed_event()

lib-storage: dbox - Use mail_metadata_accessed_event()

lib-storage: Add mail_metadata_accessed_event()

stats: test-client-reader - Fix error in test

It has never worked right. Previously it would just stop at
'test' because it would stop processing at first unknown group_by field,
and alpha would never be reached.

stats: Do not break submetrics is field is missing

If the field does not exist, emulate it as empty field, and continue
submetrics.

stats: Allow total length of all sub-metrics to be 256 bytes

Previously, we only allowed 32 bytes per sub-metric name, so this
new code changes this to allow total length of all components
to be up to 256 bytes.

This change allow e.g. using full DNS names in sub-metric labels.

doveadm: Explicitly handle invalid option

doveadm: Process subcommand "--help" options

Arguments are handled individually in different situations when invoking
doveadm with or without subcommands (specifically
doveadm_cmdline_find_with_args() may fail if "help" is passed). To
handle all necessary situtations the command context needs to be
expanded with a variable to differentiate whether a help argument (i.e.
"--help") or a help option (i.e. "help") is given. This is used
subsequently to print the help/usage text to stdout with a successful
return code if requested.

doveadm: Enable setting the output stream and return code to print usage

This commit prepares doveadm subcommands from printing the usage string
to stdout when requested with "--help".

lib-master, doveadm: Progress top level --help option

Print usage to stdout and exit successfully if requested via "doveadm
help" or "doveadm --help".

lib-master: Ensure master_getopt*() functions do not return 0

lib-master: Extend master-service API to register and parse long options

doveadm: Allow setting output stream and return code in usage_prefix()

global: Remove replicator

imap-urlauth: clients_deinit(): Fix use after free

Found by coverity.

lib-sql: sqlite - Emit sql_connection_log_finished event

lib-sql: sqlite - Retain last connection error

lib-sql: sqlite - Always use driver_sqlite_disconnect()

lib-sql: sqlite - Move driver_sqlite_disconnect()

Makes following commit easier.

lib-sql: pgsql - Use orig_ioloop instead of local variable

orig_ioloop is used later, leaving it NULL here causes
problems when timeout is added by sqlpool.

Broken in 8981a973987c237552e46b68075b64caa8c1f5bb

lib-sql: pgsql - Emit sql_connection_finished event

lib-sql: pgsql - Retain last connection error

lib-sql: pgsql - Use FATAL_OUTOFMEM with out of memory

lib-sql: pgsql - Return only last error

PQerrorMessage() can return multiple lines, make sure we only
return the very last one.

lib-sql: mysql - Retain last connection error

lib-sql: cassandra - Retain last connection error

lib-sql: Add last connection error to sql_connection_finished event

doveadm: doveadm auth - Allow interrupting auth lookups

auth: Fix crash when auth worker has already exited when deinitializating connection

Having no connections satisfies the original assertion.

auth: db-ldap: Remove userdb_warning_disable

auth: db-oauth2 - Handle the case for check on attribute presence only

auth: db_oauth2_user_is_enabled() - Flatten the code

auth: db-oauth2 - Fail login if active_attribute is missing

If active_attribute is required by config, we should fail to
login when it's missing.

lib-smtp: Do not log AUTH input from client.

This could happen when debug logging is enabled.

dbox: Fix for dangling pointer being passed to cleanup_interval()

Broken in 88eee28fd86d619b26ce6aebadca5b18e748dc6f

lib: Fix potential log corruption with event_set_log_message_callback()

If the callback returned the same input log_prefix pointer back, the message
became corrupted because the log_prefix was soon changed.

mdbox: Fix crash still if fdatasync_path() fails

Broken still in 8bffe291fe5142a2e385de8f4fc7b69caa816522

sdbox: Don't open are try to fix all mail files when rebuilding indexes

It's very rare for the mail files to be corrupted, so opening the files for
fixing them is rather unnecessary. This made the index rebuilding an
unnecessarily inefficient operation. If there are any corrupted mail files,
they are fixed on-demand while the mail is opened for other reasons.

sdbox: Check for duplicate files in primary/alt storage via transaction

The current method stops working in the next commit that removes opening the
mail files during rebuild.

sdbox: If mail file is found to be corrupted, fix the file immediately

Don't mark the whole mailbox corrupted. The file fixing on sdbox rebuild
will be removed by a following commit.

sdbox: Split off sdbox_sync_file_fix()

dbox: Avoid recursive loop while fixing dbox file

The loop ended with a crash due to running out of stack.

dbox: Don't set dbox file corrupted twice

The file is set to be corrupted immediately when dbox file reading detects
corruption, which causes the code path to return 0. This can happen all over
the place.

mdbox: Optimize mail_temp_scan_interval storage/ scanning

Use the generic dbox scanning code, which avoids stat()ing the directory by
keeping the timestamp in index header. Also do the scanning while at
session deinit instead of startup, so the latency isn't visible to clients.

lib-storage: Split off index_mailbox_view_update_last_temp_file_scan()

dbox: mail_temp_scan_interval - Fix deleted temp file prefix

dbox files are always created with DBOX_TEMP_FILE_PREFIX, not the mailbox
list-specific prefix. This was a problem only if dbox was used with
LAYOUT=Maildir++, which nobody was likely to do. Other layouts had
identical temp file prefixes to DBOX_TEMP_FILE_PREFIX.

dbox: Split off dbox_mailbox_list_cleanup()

mdbox: Don't do temp file scanning for mailbox directories

The intention was to delete any temporary mail files that have been left
behind by crashed processes, but mail files are written to storage/
directory.

dbox: Avoid opening mail file when getting mail's saved timestamp

Just stat() the file, no open() necessary.

dbox: Add dbox_storage_vfuncs.mail_file_set() vfunc

mdbox: Split off mdbox_mail_file_set()

mdbox_mail_lookup() has to be done again for handling mails that were
deleted, but that shouldn't be a problem.

sdbox: Rebuild index if mail saving finds that parent directory is missing

mdbox: Fix fdatasync() path when saving mails

It was supposed to be called on the parent directory of where mails were
written, i.e. storage/ directory. The previous code was instead calling it
on the mailbox-specific directory (similarly to sdbox) where nothing was
written.

mdbox: Fix crash if fdatasync_path() fails

There is no dest_mail anymore at this stage of transaction.

lib-ssl-iostream: Fix memory leak when storing JA3 string

Broken by 3ca8852ec531b83c86c30b890b7f0200cf86105a

login-common: sasl authenticate_callback() - Fix null pointer dereferencing

Broken by e9c008893f963248d522173180734f0e8a4cced8
Found by coverity

The checking for "resp" in AUTH_REQUEST_STATUS_OK has been currently removed,
since we have no SASL mechanisms requiring it. Besides, it was only partially
implemented and didn't actually work.

stats: Allow empty event exporters when registering metrics

lib-storage: string sort - Write sort extensions in message sequence order

This optimizes CPU usage by changing inserting into the middle of an array
into an append-only operation.

lib-storage: string sort - Replace array_get_modifiable() with array_get() where possible

lib-index: mail_index_seq_array_lookup() - Optimize append code path

lib-storage: mailbox_search_notify() - Ensure that ioloop_time stays sufficiently up to date

This caters for the cases where the ioloop times is not actively refreshed
inside the processing loops (sort command, index search_next())

lib-storage: search_more() - Ensure mailbox_search_notify() is invoked

auth: mech-oauth2 - Always fail with protocol specific error

auth: mech-oauth2 - Look for openid configuration URL if missing

lib-oauth2: Return failure instead of crash with invalid or missing token

auth: db-oauth2 - Add accessor for OpenID configuration URL

auth: db-oauth2 - Store request username

auth: Add auth_request_fail_with_reply()

auth: Pass along final response with failure

lib-auth: Move auth_client_request_continue() lower

Simplifies next commit

login-common: Serve final response for client on failure

login-common: Ignore resp when present

imap: NOTIFY - Perform MessageNew and MessageExpunge events related checks for all mailbox filters.

imap: Introduce cmd_notify_parse_event_list() function.

lib-master: Log more details if stats connection handshake times out

auth: Only test ldap when it's built in

virtual: Switch to VIRTUAL_LIST_CONTEXT_REQUIRE()

fts-solr: Use FTS_SOLR_USER_CONTEXT_REQUIRE() where possible

fts: Use FTS_USER_CONTEXT_REQUIRE() where possible

auth: db-lua - Ensure fn gets set in auth_lua_script_init()

Satisfies static analysers

doveadm stop: Try to wait shorter time between master process checks

Start from 1 ms timeout, but double it until 256 ms.

doveadm: Don't connect to stats process for "fast" commands

This especially caused "doveadm stop" to unnecessarily connect to stats
process, which prevented master process from immediately shutting down
without 1 second delay.

auth: db-ldap - Add %{ldap_multi}

auth: db_ldap_set_attrs() - Handle braces nesting while splitting on commas

submission: submission-client - Prevent NULL memory access upon early connection abort.

When the SMTP server connection is aborted early in client_create(), the
smtp_server_connection_abort() function clears client->conn immediately, causing
a later nested call to client_stats() from disconnect callback to access
client->conn == NULL. Early abort currently only happens when an anonymous login
is rejected.

submission: Drop unused anonymous_allowed fields

auth: user_callback() - Check if the user is anonymous

lib: Fix MODULE_CONTEXT_REQUIRE() to always panic if context is unset

Previously panic happened only if the module_contexts array was too small,
not when the element inside the array was NULL.

This required rewriting the macros partially as inline functions, which also
simplifies how they work.

imap: Don't try to hibernate when COMPRESS is enabled

It doesn't work properly. Broken by 5f27e25c64555dcaae6cb00c479cd05bc2638081

imap: Fix crash when trying to use COMPRESS multiple times

Broken by 5f27e25c64555dcaae6cb00c479cd05bc2638081

Fixes:
Panic: file cmd-compress.c: line 104 (cmd_compress): assertion failed: (client->input->v_offset == prev_in_offset)

lib-oauth2: Do not send empty client_id or client_secret

lib-oauth2: Do not send client_id and client_secret as parameters in POST queries

They need to be configured in the URL as Basic auth instead.

lib-oauth2: Do not send client_id & client_secret as POST parameters when doing introspection

global: Add INPROGRESS capability