login-common: client-common-auth - Move SASL response pre-checks to client_auth_response()

This fixes Submission and ManageSieve not calling
sasl_server_auth_delayed_final().

login-common: client-common-auth - Remove io first in client_auth_respond()

submission-login: client - Properly use client event as event parent for SMTP server

This fixes using "submission" event category for debug logging submission login
STMP activity.

lib-smtp: smtp-server-connection - Call connnection_deinit() before conn_free() callback to prevent NULL dereference

The callback may destroy stuff that e.g. the event logging depends on. The
connection_deinit() call will cause event logging, which would cause trouble if
it is called after conn_free().

doveadm: doveadm-auth - Hide resp field from output

lib-smtp: smtp-server-cmd-auth - Clear potentially secret authentication data asap

lib-smtp: smtp-command-parser - Always safely clear potentially secret authentication data

login-common: Reformat sasl-server.c

lib-smtp: Reformat smtp-server-cmd-auth.c

auth/db-ldap: Replace obsolete ldap_search()

Replace deprecated ldap_search() with suggested ldap_search_ext()
function call. Rename error messages which function failed accordingly.

lib-imap-urlauth: imap-urlauth - Retry non-matching URL userid in with userdb lookup for generate and local fetch.

This way, post-login user name changes that are not visible to the user can be accounted for.

lib-imap-urlauth: imap-urlauth - Produce better user permission error message in imap_urlauth_fetch*().

lib-imap-urlauth: imap-urlauth - Produce better user permission error message in imap_urlauth_generate().

lib-auth-client: If auth client is not connected, call callback with AUTH_REQUEST_INTERNAL_FAILURE

lib-auth-client: Expose auth_server_reconnect_timeout()

lib-auth-client: Copy connection mechs to client

This way they are available when connection is not.

lib-auth-client: Mention cancel when failing to send cancel request

lib-auth-client: Make auth_client_deinit(&NULL) no-op

lib-auth-client: Make auth_client_connection_deinit(&NULL) no-op

lib-auth-client: Do not crash if auth server is unexpectedly lost

auth: Make auth_request_handler_unref(&NULL) no-op

fts: indexer - Don't fail if torn down without actually indexing anything.

fts: indexer - Make index_mailbox_precache_virtual() recursive

This is required for virtual-attachments plugin

fts: fts_backend_is_uid_indexed() - Remove stray line

cassandra: Log more details in failed query error messages

cassandra: Log consistency for finished queries

cassandra: Log an error if cass_statement_set_consistency() fails

The current implementation can't actually fail, but do it just to be safe.

virtual: Add and use virtual_sync_deinit() to free the context

This makes sure the memory is always freed.

fts: struct fts_transaction_context - Assert not indexing rather than do it conditionally

fts: struct fts_transaction_context - Remove field next_index_seq

fts: Remove fts_mail_precache_range()

fts: fts_index_get_header() - Open the mailbox to access the index if not opened yet

fts: fts_search_get_first_missing_uid() - Avoid using box->view as now it can be unopened yet

fts: Expose fts_mailbox_get_status() in fts-storage.h

fts: fts_mailbox_search_is_virtual_seq_indexed() - Cache known indexed uids per backend box

fts: fts_mailbox_search_next_update_seq() - Check indexing of virtual mailboxes

indexer: cmd_index_box_precache() - Avoid opening the mailbox when unnecessary

indexer: index_mailbox_precache_real() - Avoid opening the mailbox when unnecessary

lib-storage: struct mailbox_status - Replace last_cached_seq with fts_last_indexed_uid

Doveadm index behavior is changed so that now it is intended to be used only
for adding missing mails to fts, and no longer adds missing mails to dovecot.index.cache.

STATUS_FIRST_RECENT_UID is replaced by STATUS_FTS_LAST_INDEXED_UID
last_cached_seq s replaced by fts_last_indexed_uid

fts: fts_search_get_first_missing_uid() - Set last_indexed_uid_r also when uid is found

Previously last_indexed_uid_r was set only if uid was not found.
Now we set it to the uid provided in input (the functions invoked
do not provide the information).

fts: fts_backend_is_uid_indexed() - Set last_indexed_uid_r also when uid is found

Previously last_indexed_uid_r was set only if uid was not found.
Now we set it to the uid provided in input (the functions invoked
do not provide the information).

fts: storage - Remove no longer needed virtual handlings

indexer: Handle virtual folders in the indexer itself

(rather than relying on code elsewhere to enumerate the
backends of the virtual folder)

fts: fts_backend_is_uid_indexed() - Handle virtual folders specifically

fts: fts_backend_is_uid_indexed() - Flatten the code

virtual: struct virtual_mailbox_vfuncs - Add get_real_mail_uid()

virtual: struct virtual_mailbox_vfuncs - Add get_virtual_backend_last_uid()

virtual: virtual_mailbox_vfuncs - Use designated initializers

fts: fts_backend_refresh() - Refresh also underlying backends for virtual mailboxes

fts: fts_build_mail() - Update comment in header file

fts: multi_add_lookup_result() - Add stack frame

doveadm: cmd_index_box_precache() - Return error when mailbox_get_metadata() fails

fts: Remove stray line

auth: Fix "nodelay" field to work again

Broken by 31633d676642b83305b8d46da495d9bb4e2d1ff8

lib-dict: dict-fs - Allocate key from iteration pool

Path gets allocated from stack memory, which causes it to
become invalidated before used by clients.

Broken in 32e8bd5b5a9d5bc04e5ac6c65ac132ba5c386d64

lib-storage - maildir_uidlist_lock_timeout() - Handle readonly storage

lib-storage: index_storage_expunged_sync_begin() - Handle readonly storage

lib-storage: mailbox_list_index_refresh_force() - Handle readonly storage

lib-storage: mailbox_list_index_set_index_error() - Propagate error_code to struct mailbox_list_index

lib-index: mail_transaction_log_file_lock() - Set last_error.error on readonly indexes

lib-index: mail_transaction_log_file_lock() - Consolidate index = file->log->index

lib-index: Replace mail_index_get_error_message() with mail_index_get_last_error()

lib-index: Add MAIL_INDEX_NO_ACCESS to enum mail_index_errors

lib-index: Add mail_index_set_error_code()

lib-index: Convert mail_index_error.nodiskspace into an enum

virtual: Replace EACCES with ENOACCESS

plugins: acl - Replace EACCES with ENOACCESS

lib-storage: Replace EACCES with ENOACCESS

lib-index: Replace EACCES with ENOACCESS

lib: eaccess-error - Handle EROFS too

This simplifies code since we can now call this
if ENOACCESS macro return TRUE.

lib-storage: Handle EROFS in mail_error_from_errno()

lib-storage: Use faccessat2 instead of access

This allows checking with effective credentials.

lib: Fix sha2 functions to not produce wrong results with >500MB input

NEWS: Update NEWS with changes

NEWS: Add news for 2.3.21

oauth: Accept multiple entries in aud field

utils: dovecot-sysreport: Ensure error output when gdb is needed and not available

lib-oauth2: test-oauth2-json - Increment pos more carefully

lib-oauth2: test-oauth2-json - Check that callback actually got called

fs-api: fs_set_metadata() - Disallow '_' in metadata names

lib-master: Add PATH to import_environment

Lua scripts benefit from having PATH in environment,
especially if they need to execute some os commands.

lib-storage: list - Remove extra rmdir

It's unnecessary and makes deletion fail if the first rmdir
already succeeded.

Broken in 97ffd8e0b0374b9ccbbc788cf796e15d021ad090

lib-oauth2: Fail request if response has error

login-common: login-settings - Perform login_settings_read() in a new datastack frame.

It can use much datastack space and cause undue datastack growth, particularly
in ManageSieve for some reason.

dbox: dbox_mailbox_open() - use ST_?TIME_SEC() macros

lib/compat.h: add ST_?TIME_SEC() macros

doc: Fix broken solr-config-9.xml

Broken in 4602ea0a41abcbcce88aba7720f4a25287aa9943

lib: test-net - Avoid usage of PATH_MAX

PATH_MAX is not guaranteed by to be a compile time constant,
so avoid using it.

quota: Cleanup temporary build files

Support building twice:

    dpkg-source: info: local changes detected, the modified files are:
     source/src/plugins/quota/rquota.h.tmp
     source/src/plugins/quota/rquota_xdr.c.tmp

auth, lib-program-client: Silence prototype conflicts

    program-client.c:705:5: warning: conflicting types for 'program_client_run' due to enum/integer mismatch; have 'int(struct program_client *)' [-Wenum-int-mismatch]
      705 | int program_client_run(struct program_client *pclient)
          |     ^~~~~~~~~~~~~~~~~~
    In file included from program-client-private.h:4,
                     from program-client.c:17:
    program-client.h:93:1: note: previous declaration of 'program_client_run' with type 'enum program_client_exit_status(struct program_client *)'
       93 | program_client_run(struct program_client *pclient);
          | ^~~~~~~~~~~~~~~~~~

    db-lua.c:599:1: warning: conflicting types for 'auth_lua_call_password_verify' due to enum/integer mismatch; have 'enum passdb_result(struct dlua_script *, struct auth_request *, const char *, const char **)' [-Wenum-int-mismatch]
      599 | auth_lua_call_password_verify(struct dlua_script *script,
          | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    In file included from db-lua.c:28:
    db-lua.h:14:5: note: previous declaration of 'auth_lua_call_password_verify' with type 'int(struct dlua_script *, struct auth_request *, const char *, const char **)'
       14 | int auth_lua_call_password_verify(struct dlua_script *script,
          |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~

lib-fts: Remove stray .

auth: Set correct passdb entry in auth_worker_handle_passw

master: Allow child processes to setgroups()

Grant master process capabilities to children, so the children
can drop root privileges. This is enforced more strictly
by some kernels than others.

quota: quota-status - Allow empty recipient in END-OF-MESSAGE state

When a message has multiple recipients, a policy server server will receive an
empty "recipient=" list in the END-OF-MESSAGE state, which needs to be accepted
in quota-status server.

Adapted from patch made by Jesse Norell <jesse@kci.net>

lib-dict-extra: dict-fs - If iteration flag isn't supported, error out instead of panic

lib-dict-extra: dict-fs - Implement DICT_ITERATE_FLAG_EXACT_KEY

lib-dict-extra: dict-fs - Fix endless loop while iterating

Broken by 32e8bd5b5a9d5bc04e5ac6c65ac132ba5c386d64

lib-master: stats_category_registered() - Increase initial string_t size

lib-master,master: Use separate environment variable for config file socket

This allows retaining the CONFIG_FILE environment variable pointing
to file always.

lib-master: Clean environment after master service has initialized