auth: db-ldap - Add %{ldap_multi}

auth: db_ldap_set_attrs() - Handle braces nesting while splitting on commas

submission: submission-client - Prevent NULL memory access upon early connection abort.

When the SMTP server connection is aborted early in client_create(), the
smtp_server_connection_abort() function clears client->conn immediately, causing
a later nested call to client_stats() from disconnect callback to access
client->conn == NULL. Early abort currently only happens when an anonymous login
is rejected.

submission: Drop unused anonymous_allowed fields

auth: user_callback() - Check if the user is anonymous

lib: Fix MODULE_CONTEXT_REQUIRE() to always panic if context is unset

Previously panic happened only if the module_contexts array was too small,
not when the element inside the array was NULL.

This required rewriting the macros partially as inline functions, which also
simplifies how they work.

imap: Don't try to hibernate when COMPRESS is enabled

It doesn't work properly. Broken by 5f27e25c64555dcaae6cb00c479cd05bc2638081

imap: Fix crash when trying to use COMPRESS multiple times

Broken by 5f27e25c64555dcaae6cb00c479cd05bc2638081

Fixes:
Panic: file cmd-compress.c: line 104 (cmd_compress): assertion failed: (client->input->v_offset == prev_in_offset)

lib-oauth2: Do not send empty client_id or client_secret

lib-oauth2: Do not send client_id and client_secret as parameters in POST queries

They need to be configured in the URL as Basic auth instead.

lib-oauth2: Do not send client_id & client_secret as POST parameters when doing introspection

global: Add INPROGRESS capability

indexer: Provide progress updates in messages counts rather than just percentage (client side)

indexer: Provide progress updates in messages counts rather than just percentage (indexer side)

indexer: index_mailbox_precache() - Move progress variables definitions closer to their usage

fts: fts_indexer_notify() - Retrofit notify_progress()

Also change the timeout from INDEXER_NOTIFY_INTERVAL_SECS to
MAIL_STORAGE_NOTIFY_INTERVAL_SECS

indexer: index_mailbox_precache() - Ensure updates are sent even with few messages and very slow processing

With the former behavior, if we have 101 messages and they take 30 seconds,
the client sees the progress stuck at 0% for most the processign time, only
to see it jump to 99% a fraction of a second before the competion.

This change ensures that the client sees a timely update every time the
integer percentage actually changes.

indexer: index_mailbox_precache() - Uncork the socket before starting to send progress updates to the client

Otherwise the client does not receive the updates timely and has
nothing to propagate to the notify_progress() even if progress happened.

fts: fts_indexer_input_args() - Fix client-side timeout

Client side timeout now just triggers if there is period long enough
where the server doesn't send updates. This works just because the
server is not pushing the updates properly.

The client must timeout BOTH if the server is unresponsive AND if
the server sends updates but the overall elapsed time exceedes.

imap: copy/move - Retrofit notify_progress()

The replacing code in mailbox-storage uses MAIL_STORAGE_NOTIFY_INTERVAL_SECS
instead of MAIL_STORAGE_STAYALIVE_SECS

imap: cmd-copy() - Document why we stop iterating at first expunged message

lib-storage: Add mailbox_search_reset_progress_start()

lib-storage: Add mailbox_search_set_progress_hidden()

lib-storage: maildir_sync_notify() - Retrofit notify_progress()

Also change the timeout from MAIL_STORAGE_STAYALIVE_SECS to
MAIL_STORAGE_NOTIFY_INTERVAL_SECS

lib-storage: mailbox_search_notify() - Check also ctx->search_start_time

The original check caused the 1st deadline to miss being notified

imap: Propagate cmd_tag to notify_progress()

global: Add notify_progress() to struct mail_storage_callbacks

lib-storage: Move progress notification from search_more_with_mail() to mailbox_search_next_nonblock()

This allows to cover more cases, notably also the search progress
in FILTER=SIEVE extension

imap: Rename global var mail-storage-callbacks to imap-storage-callbacks

imap: Rename mail-storage-callbacks.c to imap-storage-callbacks.c

imap: SEARCH RELEVANCY - Add stack data frame

lib: event-filter - Support escaping wildcards in values

lib: Add wildcard_match_escaped*()

This allows using \* and \? to match wildcard characters as-is instead of
being wildcards.

lib: event_filter_parse() - Add data stack frame

lib: event filter - strlist comparisons should be case-insensitive

All the other string comparisons are case-insensitive as well.

auth: passdb/userdb-lua - Improve initialization errors

auth: passdb/userdb-lua - Pass arguments to init script

auth: passdb/userdb-lua - Refactor to use t_split_key_value_eq()

auth: db-lua - Allow nil response from Lua

auth: db-lua - Check for nil in auth_request_lua_password_verify()

Avoids crash if script calls the function with nil values.

auth: db-lua - Support passing arguments to auth_passdb/userdb_init()

auth: db-lua - Call auth_passdb/userdb_init() on the lua script

This allows the script to prepare itself for these roles.

auth: db-lua - Move auth_lua_script_init() later

Simplifies next change.

auth: db-lua - Use parameters structure to initialize script

Simplifies next commit.

lib-lua: Do not expect return value from script_init()

This is not really needed. Script can call error() if
they need to fail.

lib-dict: redis_reply_callback() - Don't crash if there is no callback

lib-index: Delete dovecot.index.cache during purging if it becomes too large

This only happens if the file was already too large before the purging
happens. This mainly fixes assert-crashes caused by old huge >1GB cache
files.

Fixes:
Panic: file mail-index-util.c: line 10 (mail_index_uint32_to_offset): assertion failed: (offset < 0x40000000)

dict-sql: Fix dict iteration with uuid type

dict_iterate_next() is run in its own data stack frame, so the returned
values must not be allocated from data stack.

Broken by 9e46d634d493e9539b4da635138e7b3670b625f2

master: service_anvil_send_log_fd() - Avoid using global services variable

This just makes the code clearer and less likely to break in the future.

lib-oauth2: Validate scope when configured

lib-oauth2: Remove typ check

It is not really useful. And mostly just keeps breaking when people
invent new kty values.

lib-oauth2: Ensure aud field has client_id when set.

OpenID Connect 1.0 specification says that "aud" field must contain
OAuth 2.0 client_id of the Relying Party as an audience value.

lib-storage: Add mail_get_message_id_no_validation()

imap: NOTIFY delayed notifications sent soon after handling IMAP commands

If a change happened within 1 second after any IMAP command was finished,
the notification wasn't sent until some other change/command occurred.

auth: mech_gssapi_unwrap() - Release gss_release_buffe(outbuf) before returning

imap-urlauth: Move imap-urlauth-login to its own directory

build-aux/git-abi-version-gen: Fail if no version found

build-aux/git-abi-version-gen: Allow .git to just exist

Fixes compatibility with monolith.

.git can also be a file, pointing to an external location
for the actual git repository. This usually happens when
code is a subrepository.

lib: guid - Add guid_uuid4_generate()

Generates a UUIDv4 UUID

dict-sql: Use array for type names

Ensures that type names match with enum.

dict-sql: Add support for UUID type

lib-sql: driver-cassandra - Support binding UUID

lib-sql: Add UUID datatype

imap: set 'internal' flag for NOTIFY-CALLBACK command.

imap: Add 'internal' flag to struct client_command_context.

imap_command_finished event is not issued when the flag is set.

autogen: Always overwrite old files

build-aux: Update version scripts to support rolling releases

For ABI version, we do the following

2023.1 => 2023.ABIv1
2023.1-1 => 2023.ABIv1
2023.1-1+foo5 => 2023.ABIv1

2.4.0 => 2.4.ABIv0
2.4.0-1 => 2.4.ABIv0
2.4.0-1+foo5 => 2.4.ABIv0

Empty version produces 0.0.ABIv0

lib-storage: Send mail_user_session_finished via mail_user_unref()

The purpose of mail_user_deinit() is to guarantee that the user gets freed
at that point - there's no requirement to call it instead of
mail_user_unref(). Move the mail_user_session_finished event sending to
mail_user_unref() where the rest of the deinitialization code is as well.

This also fixes mail_user_session_finished event being wrongly sent in some
shared mailbox failure code paths. Potentially it fixes also missing
mail_user_session_finished events in some code paths.

lazy-expunge: lazy_expunge_mail_is_last_instance() - Don't fail if a backend mailbox was deleted under a virtual one

virtual - void virtual_box_copy_error() - Wrap src->mailbox_deleted to MAIL_ERROR_EXPUNGED

virtual: virtual_sync_backend_boxes() - Don't fail on deleted backend boxes

virtual: virtual_transaction_commit() - Don't fail when a backend box was removed and no changes are pending for it

virtual: virtual_transaction_commit() - Propagate error details from commits of underlying physical boxes

virtual: virtual_transaction_commit() - Use array_foreach_elem()

lib-storage: index_list_mailbox_open() - Check that mailbox has not been deleted

Without this, removing a mailbox (obox) used in a virtual box
fails to understand that the box has been removed intentionally
and tries to recreate/rebuild it.

virtual: Use container_of()

imap-urlauth: Don't access login_set.*_socket_path after they're freed from data stack

Forgotten in 7f4bcbb9f2d97745a12d301b9ee276200ac58605

fts-solr: fts_backend_solr_update_deinit() Avoid double commit

Soft-commit is already handled in fts_backend_solr_update_set_mailbox(),
except for the expunges.

fts-solr: Commit when changing mailbox

Soft-commit before fts_index_set_last_uid() to prevent new items being
missed in next search.

fts-solr: Extract fts_backend_solr_commit()

lib-storage: Rollback save transaction when transaction commit fails.

lib-login: Don't update process title if verbose_proctitle=no

Broken by 4fcd7f497577af361fc3313fbc07a61c14e17715

doveadm dump index: Add support for virtual2 header

doveadm-save: Add -r received-date parameter

lib-storage: mail_parse_human_timestamp() - Add support for imap date-time

lib-storage: test-mail-storage - Simplify mail_parse_human_timestamp() testing

doveadm save: Add -U <uid> and -g <guid> parameters

These are mainly useful for testing.

lib-storage: Set attachment file size metadata.

lib-fs: Replace missing sis files with spaces, when attachment file size metadata is set.

lib: Move istream-nonuls from lib-mail to lib.

lib-fs: Add fs metadata key for file size.

lib-fs: Disable sis writing.

lib-storage: Remove duplicated include

stats: stats_metrics_add_dynamic() - Validate event exporter

notify: Change notify_unregister() to zero the pointer, and ignore NULL

notify-status: Fix crash if user initialization fails

The deinit code crashed if mail_namespaces_created hook hadn't been called
before user was deinitialized.

dsync: Fix handling mailboxes with % character when BROKENCHAR isn't explicitly set in config

When vname_escape_char (= BROKENCHAR) isn't explicitly set in configuration,
'%' character (or if it was hierarchy separator, '~') was used as the default
internal escape character. However, this was used inconsistently between local
and remote mailbox trees. The remote tree stored the mailbox names unescaped,
while the local mailbox names were escaped. This inconsistency caused dsync
to do unnecessary mailbox renames, which might have ended up failing.

This especially fixes dsync failures when mailbox name ended with the '%'
character.

dsync: Refactor dsync_brain_mailbox_to_parts() into dsync_mailbox_name_to_parts()

lib-dns: dns_lookup_timeout() - Append timeout value in error message

imap-login: Handle each command in its own data stack frame