lib-settings: Lookup override setting keys only once

After the key is found, remember its index so it can be directly used.

config: Use setting_parser_info_get_define_count()

lib-settings: Add setting_parser_info_get_define_count()

lib-settings: If we already found out setting doesn't exist, don't try to parse it

lib-settings: Remove unnecessary data stack frames

settings_get_full() already has the only necessary data stack frame.

lib-settings: Remove unused setting_parser_info.expand_check_func()

check_func() can now be used instead.

lib-storage: Avoid using setting_parser_info.expand_check_func()

It can now be done in check_func().

lib-storage: Move parse_postmaster_address() earlier

lib-settings: settings_get*() - Call check_func()s only after variable expansion

lib-storage: Set unexpanded_[mail_]location using setting_apply()

It's always expected to be called, because config sends also the default
settings.

lib-settings: Call setting_apply() for default settings

Otherwise if config process doesn't explicitly send the default setting,
setting_appy() isn't called. Also it won't happen if -O parameter is used
to disable reading configuration. This in turn causes assert-crashes after
following changes that rely on setting_apply() being called.

For now this is called only for strings with variables, since it's the only
thing needed for now, and there's no easy way to convert non-strings into
string in lib-settings. This could be changed later if necessary.

lib-storage: Don't generate postmaster_address if it's empty

The default postmaster_address is nowadays generated using %variables.
There is no need for the legacy method of generating it in a slightly
different way when its value is empty.

lib-settings: Add setting_parser_info.settings_apply()

lib-settings: Split off settings_mmap_apply_key()

lib-settings: Add SETTINGS_EVENT_FILTER_NAME_REQUIRED

lib-settings: Add struct settings_apply_ctx to pass around parameters

lib-settings: Set setting structs' pool field early on

submission[-login]: Change submission_backend_capabilities empty value handling

Empty value (instead of NULL) now means to propagate the backend
capabilities. To disable all capabilities, use "none".

imap-urlauth: Change imap_urlauth_stream/submit_user default to ""

There's no reason for it to be NULL. It's just complicating everything.

global: Use namespace name in log messages instead of prefix

lib-storage: Change namespace/alias_for to point to namespace name, not prefix

The following changes require the default config to be sent to config
clients, and it doesn't differentiate between NULL and empty string.
Without this change, there would be no way to differentiate between
no alias_for vs. alias_for for prefix="" namespace. Also this makes
more sense anyway now that namespaces are required to have a name.

config: Execute external hooks only when necessary

The hooks are used currently just by managesieve-login to get default Sieve
capabilities by running managesieve process. This is necessary only when
running the "config" process. Also do it when running "doveconf" manually.
Do not do it when running e.g. doveadm which executes doveconf to read
configuration.

lib: Add ARRAY_TYPE(bool)

lib-storage: Replace mail_attribute_dict with mail_attribute filter

Replace e.g.:

mail_attribute_dict = proxy::foo

with:

mail_attribute {
  dict_driver = proxy
  dict_proxy_name = foo
}

lib-mail: Explicitly return -1/1/0 for RFC2231 parameter comparisons

This avoids an out of range cast stemming from casting unsigned values to signed.

lib-mail: Check message boundary length when we have trailing dashes

This avoids a subtraction resulting in values < 0 in an unsigned value.

lib: ostream-file - Unset TCP_NODELAY only when stream is written uncorked

The previous behavior was always to set TCP_NODELAY and unset it immediately
when uncorking the stream. But if stream is only written to while it's
corked, this adds unnecessary setsockopt() calls for every uncork.

The current behavior is to unset TCP_NODELAY only if data is written to
ostream while it's not corked.

fts: Remove explicit handling of filename* parameter

lib-mail: Add tests for attachment detection

lib-mail: Add more RFC2231 parser tests

lib-mail: Fix & unify RFC2231 parsing behavior

Previously, this parser behaved a bit strangely:

- It parsed key* and key as separate pairs because "extended" keys are being kept in a
different container than classical keys.

- It also kept key*0,*1,*2,etc. pairs in that same separate container of extended keys.

- It treated the entire indexed parameter sequence as NOT rfc2231-parameters when key* and
key*0 were being provided. Meaning it treated key* and key*0,*1,*2 pairs as part of the
same sequence with an error in indexing, while they are in fact separate pairs with a key
naming clash.

This new implementation tries to avoid said pitfalls.

lib-mail: Fix comment formatting

global: Fix whitespace

.gitignore: Ignore valgrind coredump files

.clang-tidy: Silence some lints

lib: connection - Make connection_list_deinit(NULL) no-op

configure: Default to main if asset version is empty

lib-auth-client: auth-master - Fix crash if failing to connect to socket

auth_master_unset_io() would be called twice: once by
auth_master_run_cmd_pre() and again by auth_master_run_cmd_post(), which
attempts to add the idle timeout again.

Fixes:
Panic: file auth-master.c: line 440 (auth_master_unset_io): assertion failed: (conn->to == NULL)

lib-mail: message_skip_virtual() - Optimize with memchr()

lib-mail: message_skip_virtual() - Fix handling plain CRs in message body

The plain CRs should be handled like any other character, not returning
last_cr_r=TRUE.

This fixes partial IMAP FETCHes where body contains e.g. "\rfoo" and
doing a partial FETCH BODY[TEXT]<1> to skip over the CR.

Fixes errors like:
Deleting corrupted cache record: Broken virtual size in mailbox .. FETCH BODY[]<1> got too little data: 2 vs 3

dovecot-config: Propagate mail utf-8 presence properly

lib: test-data-stack - Explicitly ignore result from t_malloc_no0() when neeeded

Satisfies static analysers

lib: test-data-stack - Drop bogus assertion

This assertion goes back to 992a1726a41b42fa47204565ff17f7c635fcb421 when
test-data-stack.c was added.

It starts to fail with (upcoming) GCC 15 which has improvements for
optimising out redundant pointer-vs-pointer comparisons, specifically
r15-580-gf3e5f4c58591f5 for gcc bug PR13962.

Anyway, this is a problem for this assertion because t_malloc_no0
is marked with `__attribute__((malloc))` which guarantees that the
returned pointer doesn't alias, hence a == b must be false.

Bug: https://bugs.gentoo.org/939857

lib-imap: Fail parsing on impossible imap-dates/times

For example 32-Jan-2023 was converted into a max-timestamp before instead of
being rejected.

lib-index: Fix handling indexid change in dovecot.index file

Depending on the situation the dovecot.index should be either deleted or
the mailbox reopened.

lib-index: Split off mail_transaction_log_has_changed()

lib-index: Don't delete dovecot.index.log when finding that indexid changes

The indexes were recreated, so the new indexes should be used instead of
deleting them.

lib-storage: Fix duplicate mailbox name detection in list index rebuild

lib-storage: Split off mailbox_name_add_random_suffix()

lib-index: mail_transaction_log_view_mark() - Fix crash when log view is empty

This happened when IMAP NOTIFY was used and syncing was delayed enough for
dovecot.list.index to have become rotated twice and gotten missing
transactions.

imap-hibernate: Add local and remote port as variables to mail_log_prefix

lib-storage: Add local and remote port as variables to mail_log_prefix

lib-ldap: Rename libldap.la to libdldap.la

Using libldap.la caused some strange compiling issues at times.

lib: Move i_faccessat2() to lib.c

imap: Fix ifdef location

lib,doveadm: Add missing includes

lib: Add NOLINT clang-tidy directives for some helpers

lib-smtp: Remove duplicate function declaration

doveadm: Remove duplicate extern

lib-fs,lib-storage: Fix posix_fadvise usage

Return value is non-zero on error, not negative.

auth: Remove duplicate extern

auth: auth-cache - Remove duplicate include

lib: time-util - Fix implicit casts

lib-index: Remove duplicate function declaration

global: Add NOLINT for noisy macros

Remove warnings with clang-tidy

global: Fix whitespace -> tabs

global: Add clangd config file

global: Add clang-tidy config file

global: Add clang-format config file

gitignore: Ignore clangd and emacs directories

global: Add dovecot-style editor config

configure: Replace "if" with AS_IF

configure: Fix config version checks for x.y versioning (without .z)

lib-smtp: smtp-command-parser - Explicitly disallow 8-bit characters for AUTH response

Later Base64 parsing would catch that, but command parser errors become clearer
when this is caught early. Also, this fixes a unit test failure when
experimental SMTPUTF8 support is enabled.

When SMTPUTF8 support is disabled, smtp_char_is_textstr() disallows 8-bit
implicitly, but when SMTPUTF8 is enabled 8-bit octets will be let through.
This caused the invalidity unit test to fail.

lib-smtp: test-smtp-command-parser - Fail invalidity tests properly in case of valid result

lib-smtp: test-smtp-command-parser - Properly test bad parameter characters vs. missing EOL

lib-smtp: test-smtp-address - Vary tests based on SMTPUTF8 support

lib-sql: cassandra - Add data stack frame

lib-fs: Add fs_get_root_fs()

doveadm auth: Fix potential crash when auth is aborted with a signal

dict-ldap: Avoid linking to a dovecot-ldap shared library

The dict-ldap itself is the plugin, which is dynamically loaded.
There's no need for dovecot-ldap shared library to be used. This
changes the lib-ldap linking behavior to same as lib-sql.

lib-dns: dnc_client_lookup*() - Add data stack frames

doveadm: Use a separate memory pool for parsing doveadm command line parameters

This avoids spending a lot of the data stack for the actual command
processing, causing them to grow the data stack.

doc: Replace html documentation with redirect to documentation

NEWS: Add news for 2.3.21.1

lib-http: Add http_client_request_retrieve_headers()

lib-sql: Link test binaries to libdovecot.la

Otherwise it tries to use installed one, if available.

configure: Use $SED and $GREP to make sure we get correct tools

imap: Don't try to hibernate if it's not enabled

imap-hibernate: If not enabled, do not include in settings either

net: net_connect_ip*() - Handle OpenBSD errors similarly to FreeBSD

auth: Replace random() with proper i_rand_minmax()

dsync: Use correct format for time_t in dsync_brain_recv_mailbox_tree_deletes()

configure: Split grep into multiple -e expressions

This is more portable.

lib-ssl-iostream,lib-dcrypt: Raise minimum OpenSSL compatibility level to 1.1.1

But retain compatibility with LibreSSL.

lib: mkdir_parents() - Avoid unnecessary syscalls when uid/gid doesn't change

There's no need to open() + fchown() the directory after mkdir(), if neither
uid nor gid changes.

lib-settings: Fix variable type mismatches

Just use size_t everywhere since it points to mmap()ed memory.

auth: Fix userdb auth cache with username changes

The problem was for example when userdb lookup uses only the username part
of the username@domain lookup. Then:

 * "username" lookup caches the results for "username". Since the username
   didn't change, it doesn't store in the cache the "user" field.
 * "username@domain" lookup looks up "username" from cache. Since there is
   no "user" field, the code didn't think the username had changed.

Fix this by saving the "user" field to auth cache, regardless of whether
it's the same as the current username.

mdbox: Fix crash if resync fails because of an early failure

This mainly happened if dovecot.map.index.log was locked and resync timed
out waiting for it.

lib-lua: test-lua-http-client - Prevent HTTP client context from traversing fork

The children will start fighting over the connection FDs and the test will
panic out:

DNS: Panic: epoll_ctl(mod, 8) failed: No such file or directory
CLIENT: Panic: epoll_ctl(mod, 8) failed: No such file or directory

This happens very infrequently.