lib-settings: Remove unnecessary settings_override.path_element_count

It has not been used since 09e551901eeb21bd8fc7b07eb67d80fd43fbb71e

lib-settings: Build override settings filters using "all settings" hash table in binary config

If there is no binary config (= unit tests), require that all the settings
infos have been explicitly registered.

This simplifies the override handling code and allows further optimizations.

lib-settings: Move settings override "*" handling out of the loop

This simplifies the code a bit.

lib-master, global: Split MASTER_SERVICE_FLAG_NO_CONFIG_SETTINGS into separate flags

Use MASTER_SERVICE_FLAG_CONFIG_BUILTIN for unit tests and
MASTER_SERVICE_FLAG_CONFIG_DEFAULTS for getting defaults via doveconf.

global: Explicitly register some settings

These will be needed by the following changes

config: Add CONFIG_MODULES environment to override the default module directory

config: doveconf -dF - Add dovecot_storage_version

config, lib-settings: Write all setting keys into hash table in binary config

config: Reimplement config_parsed_key_lookup() with all_keys hash table

config: Add config_parsed_get_all_keys()

config: Remove unused dump_context.filter_idx

config: Move all structs and enums to beginning of file

config, lib-settings: Access filter index/offset arrays directly via mmap

Add 64bit alignment to the start offset to make this safe.

lib-master: test-master-service-settings - Fix earlier tests

lib-settings, config: Use native CPU endianess in binary config file

The binary config file is never shared between different servers, so for
performance it's better to just use native endianess.

lib-settings: Add and use SETTINGS_APPEND_KEY_SUFFIX macro

lib-storage: Don't use \Recent flags if IMAP4rev2 is enabled

IMAP4rev2 sessions still update the "highest \Recent message UID", but it
doesn't return any messages as having \Recent flag.

imap: imap-status: Handle RECENT as invalid status item for IMAP4rev2

imap: Disable RECENT replies when IMAP4REV2 is enabled

imap: Do not use deprecated IMAP4rev1 search arguments if IMAP4rev2 is enabled

lib-storage: Deprecate IMAP4rev1 mail_search_register_args for IMAP4rev2

Also introduce mail_search_register_get_imap4rev2() and
mail_search_register_get_imap4rev1().

lib-storage: Add enum mail_search_register_arg_flags to mail_search_register_arg

 lib-storage: index_storage_mailbox_enable() - Add MAILBOX_FEATURE_IMAP4REV2

imap: Fix registering IMAP4rev2 as imap feature

global: Drop support for old iconv()

iconv() is part of POSIX.1-2001.

lib-lua: Add input & output stream wrappers

lib-mail: Use explicit boolean expressions to fix compile errors

lib-mail: Use test_assert_strcmp_idx instead of custom debug code

fts: Explicit initializer names

lib-mail: Tests for attachment detection

lib-mail: Refactor and improve attachment detection

This also adds support for detecting Content-Type->name when Content-Disposition->filename
is not available. This only works in the case of Content-Disposition: attachment.

lib-mail: Fix clang-tidy lints

global: clang-tidy: disable recursion warnings

imap: Implement UTF8=ACCEPT for APPEND command

imap: Split off cmd_append_handle_parse_error()

imap: Refactor append handling

Simplifies next commit.

lib-imap: Add some tests for literal parsing

imapc: Propagate response codes

lib-storage: mail_storage_callbacks - Add notify_bad()

lib-imap: Add defines for all the Response Codes currently in IANA

auth: remove proxy_always extra field

settings: Use marker when Pro version is not specified

settings: Improvements to settings-history conversion script

- Some cleanup and refactoring
- Improve version handling
- Improve error messages and reporting

settings: Fix build issue with unsorted settings-history file

anvil: Change anvil socket's default group to default_internal_group

imap/test-imap-client-hibernate: Append new unhibernation statistics to expected fields

Forgotten in 3d415cf2dd393e1b4ad6e2be1a06bb221406509f

imap/test-imap-client-hibernate: Propagate failures in imap_hibernate_server()

The subprocess needs to propagate the error to the diligent parent process.

config: Use python3 instead of python

config: Change the generated settings-history-core from .h to .c

This changes the output file to a header file instead of a C file, this helps meson deal
better with dependencies on custom_targets.

It is technically an #included header file so it makes sense.

The ideal solution would be to keep it as a C file, and add forward declarations of the
arrays defined in it instead of verbatim #include'ing it. However, array forward decls are
not possible without a specified size which cannot be provided in advance and declaring
them as pointers is perhaps not the best idea.

config: Replace settings-history Perl script with Python rewrite

global: Add pyproject.toml for Python scripts

global: gitignore: Ignore python rope cache dir

config: Fail if quoted "\escaping" is used for unexpected characters

config: Unescape a "quoted" setting key

This mainly fixes e.g.:

mailbox_special_use {
  "\Drafts" = yes
}

config: Fix various issues in doveconf when outputing @groups

config: Change @group includes to be merged into parsed config immediately

This change expands the group settings into the settings tree using a new
low-priority CONFIG_PARSER_CHANGE_GROUP change_counter. Settings with this
counter are included in all checks, but they are not exported as part of the
configuration (to allow overriding the entire groups in cli/userdb).

This fixes using for example:

@metric_defaults = backend
metric auth_failures {
  fields = foo
}

Which otherwise would fail with "metric is required to have metric_filter
setting" error, because it didn't realize the auth_metrics already existed.

config: Preserve filter_required_setting_seen when merging filter trees

config: config_module_parsers_merge() - Add new_change_counter parameter

This simplifies the following commits.

doveadm kick: Add support for kicking multiple usernames

doveadm: Add who_filter.username_wildcards helper boolean

Simplifies the next commit.

doveadm kick: Fix crash when trying to give multiple username parameters

doveadm kick: Fix event/memory leak when failing to connect to anvil

lib-storage: mailbox_list_index_refresh_force() - Add missing error handling for failed mail_index_refresh()

lib-storage: mailbox_list_index_refresh() - Fix error handling when called many times rapidly

The error could have been cleared out between the calls, so set the repeated
calls as internal failure.

imap: Fix potential assert-crash if pipelining IDLE+DONE+more commands

At least followed by COPY command it assert-crashes.
Fixes:
Panic: file cmd-copy.c: line 120 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output) || client->output->stream_errno != 0)

global: Log errors if anvil query fails

lib-master: Fix anvil_client_query() return value comment

It never returns NULL.

lib-master: Set proper error string to anvil_callback_t

lib-master: Add API changes to allow anvil_callback_t to return error string

lib-settings: test-settings - Refactor initialization of params3

Satisfies older compilers

lib-auth: Fix linking due to duplicate symbols

lmtp: Fix Pro edition to actually listen on port 24

Was forgotten in a9c8da0daf874e2502f60d91a808ead94fe97d35

lib-var-expand: Test hierarchical SETTINGS_EVENT_VAR_EXPAND_PARAMS

lib-settings: Pad initial var expand context with empty tables and providers when needed

Fixes:
Panic: file settings.c: line 1560 (settings_var_expand_init_add): assertion failed: (I_MAX(num_tables, num_provs) == num_ctx)

auth: db-oauth2 - Don't mix table and providers_arr

It's not needed.

quota: fs_quota_mountpoint_get() - Fix crash due to initialized event

quota: imapc_quota_refresh_update() - Fix crash due to initialized event

config: doveconf - Fix asking for settings which have named filter as prefix

For example "doveconf imapc_master_user" wouldn't output the setting,
although "doveconf imapc/master_user" would.

config: Fix file descriptor leak if "set = <file" handling fails due to fstat()

Broken by 0301f03cbe9123302a439756f54a713373b86c69

config: Improve "Unknown section name" error with more details

lib-imap-client: Add IMAP4rev2 capability detection support

imap: Add imap4rev2 capability

It can only be enabled if build with --enable-experimental-imap4rev2

config: Support config version 2.4.1

lib-settings: Skip applying groups early if there are no group includes

lib: test-file-cache - Ignore RLIMIT_AS enforcement failure

If the OS does not respect RLIMIT_AS here, lets skip all the rest of
the tests.

This happens at least with qemu/aarch64.

lib-master: Try to use binary config cache if DOVECOT_CONFIG_CACHE environment is set

config, lib-settings: Add support for binary config file cache

This is mainly intended for optimizing our CI performance. It shouldn't
be used in production.

lib-settings, global: settings_parse_read_file() - Return file's struct stat

auth: Fix using passdb_fields with passdb_ldap_bind_userdn=yes

config: Improve "Unknown setting" error with more details and suggestions

List the autoprefixed setting names that were attempted. Also try to give
suggestions for corrected setting names with named list filters.

config: Remove dead code trying to add section name prefix for unknown settings

All settings are now global. There is no settings hierarchy.

lmtp: Clarify lmtp_user_concurrency_limit value of unlimited

Disallow setting this setting to 0. Make the relevant checks against
"unlimited" instead.

lmtp: Change the default lmtp_user_concurrency_limit to 10

global: Make process_shutdown_filter specific to imap/pop3/submission

imap: For Pro edition, change imap-master socket's owner to default_internal_user

pop3: Use inbox mailbox_list's existing mail_storage_settings

lib-storage: Add mailbox_list_get_mail_set()

lib-storage: Remove unused mail_user._mail_set

This was implicitly doing mail_user_get_home() when expanding user settings,
which was expected by the shared storage code. Changed this call now to be
explicit.

lib-storage: Remove unused mail_user_set_get_storage_set()

doveadm auth: Replace mail_user_set_get_storage_set() with direct settings lookup