mdbox: Replace mdbox_storage_set_corrupted() with mdbox_set_mailbox_corrupted() where possible

mdbox: If mdbox_sync_begin() fail with corruption, make sure storage corruption reason is set

dbox: Add reason parameter to dbox_storage_vfuncs.set_mailbox_corrupted()

dbox: Add reason parameter to dbox_storage_vfuncs.set_file_corrupted()

mdbox: Change mdbox_storage.corrupted boolean to reason string

mdbox: Log reason when rebuilding indexes

Already include the reason also as bitmask in preparation for a later commit
using it.

mdbox: Remove unused MDBOX_SYNC_FLAG_NO_PURGE

mdbox: Rebuild storage in its own atomic context

This guarantees that the atomic context is fully committed after rebuild,
instead of rolled back due to sync failing later on.

mdbox: Move storage rebuild handling to mdbox_sync()

This simplifies the code, since it's the only place that can actually
rebuild the storage. Also will be needed for following commit.

lib-index: mail_index_unset_fscked() - Fix to use the latest index header

The flags field was updated using the view's header, which may have been
out-of-date. This could have resulted in more than the FSCKD flag update,
and most importantly it could have meant that the FSCKD flag wasn't
actually removed when it should have been.

doveadm: Add doveadm stats reopen

stats: Add REOPEN command

stats: transport file - Add unix socket support

stats: Add file transport

stats: Add transport_context for exporter

Can be used by transporters

doveadm index: Fix for fts crashing on virtual folders

Broken by: d1be7f323f (implemented in indexer but not in doveadm)

cassandra: Clarify the minimum responses needed log message

With "n/m responses received" it looks as if "m" is the total number of
responses that could be received. Using "n of minimum m responses received"
should be clearer.

lib-oauth2: test-oauth2-jwt - Allow running test from paths other than current directory

lib-oauth2: Fix recursive field copying

Now arrays are properly copied, and fields are
prefixed with object keys when nested.

lib-dict: Avoid passing uninitialized pointer as function parameter

It wasn't actually dereferencing the pointer, but it seems this was still
causing valgrind to sometimes log an error.

auth: Move all final SASL response handling to login-common

Success response was still handled in auth service, which makes little sense.

login-common: sasl-server - Move nologin flag from local variable to client struct

login-common: sasl-server - Split off sasl_server_auth_success_finish()

login-common: client-common-auth - Move all direct (initial) auth client activity to sasl-server.c

This improves separation of concerns and clarity of the code.

login-common: client-common-auth - Move delayed final reply handling fully to sasl-server.c

login-common: client-common-auth - Use safe_memset() to clear auth response

login-common: client-common-auth - Centralize calling client_auth_respond() to client_auth_input

This makes sure the auth response data is always cleared after.

login-common: client-common-auth - Move SASL response pre-checks to client_auth_response()

This fixes Submission and ManageSieve not calling
sasl_server_auth_delayed_final().

login-common: client-common-auth - Remove io first in client_auth_respond()

submission-login: client - Properly use client event as event parent for SMTP server

This fixes using "submission" event category for debug logging submission login
STMP activity.

lib-smtp: smtp-server-connection - Call connnection_deinit() before conn_free() callback to prevent NULL dereference

The callback may destroy stuff that e.g. the event logging depends on. The
connection_deinit() call will cause event logging, which would cause trouble if
it is called after conn_free().

doveadm: doveadm-auth - Hide resp field from output

lib-smtp: smtp-server-cmd-auth - Clear potentially secret authentication data asap

lib-smtp: smtp-command-parser - Always safely clear potentially secret authentication data

login-common: Reformat sasl-server.c

lib-smtp: Reformat smtp-server-cmd-auth.c

auth/db-ldap: Replace obsolete ldap_search()

Replace deprecated ldap_search() with suggested ldap_search_ext()
function call. Rename error messages which function failed accordingly.

lib-imap-urlauth: imap-urlauth - Retry non-matching URL userid in with userdb lookup for generate and local fetch.

This way, post-login user name changes that are not visible to the user can be accounted for.

lib-imap-urlauth: imap-urlauth - Produce better user permission error message in imap_urlauth_fetch*().

lib-imap-urlauth: imap-urlauth - Produce better user permission error message in imap_urlauth_generate().

lib-auth-client: If auth client is not connected, call callback with AUTH_REQUEST_INTERNAL_FAILURE

lib-auth-client: Expose auth_server_reconnect_timeout()

lib-auth-client: Copy connection mechs to client

This way they are available when connection is not.

lib-auth-client: Mention cancel when failing to send cancel request

lib-auth-client: Make auth_client_deinit(&NULL) no-op

lib-auth-client: Make auth_client_connection_deinit(&NULL) no-op

lib-auth-client: Do not crash if auth server is unexpectedly lost

auth: Make auth_request_handler_unref(&NULL) no-op

fts: indexer - Don't fail if torn down without actually indexing anything.

fts: indexer - Make index_mailbox_precache_virtual() recursive

This is required for virtual-attachments plugin

fts: fts_backend_is_uid_indexed() - Remove stray line

cassandra: Log more details in failed query error messages

cassandra: Log consistency for finished queries

cassandra: Log an error if cass_statement_set_consistency() fails

The current implementation can't actually fail, but do it just to be safe.

virtual: Add and use virtual_sync_deinit() to free the context

This makes sure the memory is always freed.

fts: struct fts_transaction_context - Assert not indexing rather than do it conditionally

fts: struct fts_transaction_context - Remove field next_index_seq

fts: Remove fts_mail_precache_range()

fts: fts_index_get_header() - Open the mailbox to access the index if not opened yet

fts: fts_search_get_first_missing_uid() - Avoid using box->view as now it can be unopened yet

fts: Expose fts_mailbox_get_status() in fts-storage.h

fts: fts_mailbox_search_is_virtual_seq_indexed() - Cache known indexed uids per backend box

fts: fts_mailbox_search_next_update_seq() - Check indexing of virtual mailboxes

indexer: cmd_index_box_precache() - Avoid opening the mailbox when unnecessary

indexer: index_mailbox_precache_real() - Avoid opening the mailbox when unnecessary

lib-storage: struct mailbox_status - Replace last_cached_seq with fts_last_indexed_uid

Doveadm index behavior is changed so that now it is intended to be used only
for adding missing mails to fts, and no longer adds missing mails to dovecot.index.cache.

STATUS_FIRST_RECENT_UID is replaced by STATUS_FTS_LAST_INDEXED_UID
last_cached_seq s replaced by fts_last_indexed_uid

fts: fts_search_get_first_missing_uid() - Set last_indexed_uid_r also when uid is found

Previously last_indexed_uid_r was set only if uid was not found.
Now we set it to the uid provided in input (the functions invoked
do not provide the information).

fts: fts_backend_is_uid_indexed() - Set last_indexed_uid_r also when uid is found

Previously last_indexed_uid_r was set only if uid was not found.
Now we set it to the uid provided in input (the functions invoked
do not provide the information).

fts: storage - Remove no longer needed virtual handlings

indexer: Handle virtual folders in the indexer itself

(rather than relying on code elsewhere to enumerate the
backends of the virtual folder)

fts: fts_backend_is_uid_indexed() - Handle virtual folders specifically

fts: fts_backend_is_uid_indexed() - Flatten the code

virtual: struct virtual_mailbox_vfuncs - Add get_real_mail_uid()

virtual: struct virtual_mailbox_vfuncs - Add get_virtual_backend_last_uid()

virtual: virtual_mailbox_vfuncs - Use designated initializers

fts: fts_backend_refresh() - Refresh also underlying backends for virtual mailboxes

fts: fts_build_mail() - Update comment in header file

fts: multi_add_lookup_result() - Add stack frame

doveadm: cmd_index_box_precache() - Return error when mailbox_get_metadata() fails

fts: Remove stray line

auth: Fix "nodelay" field to work again

Broken by 31633d676642b83305b8d46da495d9bb4e2d1ff8

lib-dict: dict-fs - Allocate key from iteration pool

Path gets allocated from stack memory, which causes it to
become invalidated before used by clients.

Broken in 32e8bd5b5a9d5bc04e5ac6c65ac132ba5c386d64

lib-storage - maildir_uidlist_lock_timeout() - Handle readonly storage

lib-storage: index_storage_expunged_sync_begin() - Handle readonly storage

lib-storage: mailbox_list_index_refresh_force() - Handle readonly storage

lib-storage: mailbox_list_index_set_index_error() - Propagate error_code to struct mailbox_list_index

lib-index: mail_transaction_log_file_lock() - Set last_error.error on readonly indexes

lib-index: mail_transaction_log_file_lock() - Consolidate index = file->log->index

lib-index: Replace mail_index_get_error_message() with mail_index_get_last_error()

lib-index: Add MAIL_INDEX_NO_ACCESS to enum mail_index_errors

lib-index: Add mail_index_set_error_code()

lib-index: Convert mail_index_error.nodiskspace into an enum

virtual: Replace EACCES with ENOACCESS

plugins: acl - Replace EACCES with ENOACCESS

lib-storage: Replace EACCES with ENOACCESS

lib-index: Replace EACCES with ENOACCESS

lib: eaccess-error - Handle EROFS too

This simplifies code since we can now call this
if ENOACCESS macro return TRUE.

lib-storage: Handle EROFS in mail_error_from_errno()

lib-storage: Use faccessat2 instead of access

This allows checking with effective credentials.

lib: Fix sha2 functions to not produce wrong results with >500MB input