global: Add pyproject.toml for Python scripts

global: gitignore: Ignore python rope cache dir

config: Fail if quoted "\escaping" is used for unexpected characters

config: Unescape a "quoted" setting key

This mainly fixes e.g.:

mailbox_special_use {
  "\Drafts" = yes
}

config: Fix various issues in doveconf when outputing @groups

config: Change @group includes to be merged into parsed config immediately

This change expands the group settings into the settings tree using a new
low-priority CONFIG_PARSER_CHANGE_GROUP change_counter. Settings with this
counter are included in all checks, but they are not exported as part of the
configuration (to allow overriding the entire groups in cli/userdb).

This fixes using for example:

@metric_defaults = backend
metric auth_failures {
  fields = foo
}

Which otherwise would fail with "metric is required to have metric_filter
setting" error, because it didn't realize the auth_metrics already existed.

config: Preserve filter_required_setting_seen when merging filter trees

config: config_module_parsers_merge() - Add new_change_counter parameter

This simplifies the following commits.

doveadm kick: Add support for kicking multiple usernames

doveadm: Add who_filter.username_wildcards helper boolean

Simplifies the next commit.

doveadm kick: Fix crash when trying to give multiple username parameters

doveadm kick: Fix event/memory leak when failing to connect to anvil

lib-storage: mailbox_list_index_refresh_force() - Add missing error handling for failed mail_index_refresh()

lib-storage: mailbox_list_index_refresh() - Fix error handling when called many times rapidly

The error could have been cleared out between the calls, so set the repeated
calls as internal failure.

imap: Fix potential assert-crash if pipelining IDLE+DONE+more commands

At least followed by COPY command it assert-crashes.
Fixes:
Panic: file cmd-copy.c: line 120 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output) || client->output->stream_errno != 0)

global: Log errors if anvil query fails

lib-master: Fix anvil_client_query() return value comment

It never returns NULL.

lib-master: Set proper error string to anvil_callback_t

lib-master: Add API changes to allow anvil_callback_t to return error string

lib-settings: test-settings - Refactor initialization of params3

Satisfies older compilers

lib-auth: Fix linking due to duplicate symbols

lmtp: Fix Pro edition to actually listen on port 24

Was forgotten in a9c8da0daf874e2502f60d91a808ead94fe97d35

lib-var-expand: Test hierarchical SETTINGS_EVENT_VAR_EXPAND_PARAMS

lib-settings: Pad initial var expand context with empty tables and providers when needed

Fixes:
Panic: file settings.c: line 1560 (settings_var_expand_init_add): assertion failed: (I_MAX(num_tables, num_provs) == num_ctx)

auth: db-oauth2 - Don't mix table and providers_arr

It's not needed.

quota: fs_quota_mountpoint_get() - Fix crash due to initialized event

quota: imapc_quota_refresh_update() - Fix crash due to initialized event

config: doveconf - Fix asking for settings which have named filter as prefix

For example "doveconf imapc_master_user" wouldn't output the setting,
although "doveconf imapc/master_user" would.

config: Fix file descriptor leak if "set = <file" handling fails due to fstat()

Broken by 0301f03cbe9123302a439756f54a713373b86c69

config: Improve "Unknown section name" error with more details

lib-imap-client: Add IMAP4rev2 capability detection support

imap: Add imap4rev2 capability

It can only be enabled if build with --enable-experimental-imap4rev2

config: Support config version 2.4.1

lib-settings: Skip applying groups early if there are no group includes

lib: test-file-cache - Ignore RLIMIT_AS enforcement failure

If the OS does not respect RLIMIT_AS here, lets skip all the rest of
the tests.

This happens at least with qemu/aarch64.

lib-master: Try to use binary config cache if DOVECOT_CONFIG_CACHE environment is set

config, lib-settings: Add support for binary config file cache

This is mainly intended for optimizing our CI performance. It shouldn't
be used in production.

lib-settings, global: settings_parse_read_file() - Return file's struct stat

auth: Fix using passdb_fields with passdb_ldap_bind_userdn=yes

config: Improve "Unknown setting" error with more details and suggestions

List the autoprefixed setting names that were attempted. Also try to give
suggestions for corrected setting names with named list filters.

config: Remove dead code trying to add section name prefix for unknown settings

All settings are now global. There is no settings hierarchy.

lmtp: Clarify lmtp_user_concurrency_limit value of unlimited

Disallow setting this setting to 0. Make the relevant checks against
"unlimited" instead.

lmtp: Change the default lmtp_user_concurrency_limit to 10

global: Make process_shutdown_filter specific to imap/pop3/submission

imap: For Pro edition, change imap-master socket's owner to default_internal_user

pop3: Use inbox mailbox_list's existing mail_storage_settings

lib-storage: Add mailbox_list_get_mail_set()

lib-storage: Remove unused mail_user._mail_set

This was implicitly doing mail_user_get_home() when expanding user settings,
which was expected by the shared storage code. Changed this call now to be
explicit.

lib-storage: Remove unused mail_user_set_get_storage_set()

doveadm auth: Replace mail_user_set_get_storage_set() with direct settings lookup

lib-storage: Default namespace init: Lookup mail_driver with a settings lookup

This allows removal of mail_user_set_get_storage_set()

lib-storage: mail_duplicate_db_init() - Lookup settings via inbox mailbox_list

It's already used for looking up volatile directory, so use it for the rest
as well.

imap: Move mailbox_list_index setting to be looked up via imap_settings

lib-storage: Move namespace setting to mail_user_settings

lib-storage: mail_user_lock_file_create() - Use mail_set from mailbox_list

It was partially being used, while other settings were from user's mail_set.

lib-storage: Try to get special_use flags using cached mailbox settings

lib-storage: mailbox_list_iter_next() - Fix memory allocation for special_use flags

It's not safe to store the string into data stack.

lib-storage: Try to use cached mailbox settings

lib-storage: Move mailbox_get_name_without_prefix()

lib-storage: Use parsed_mailboxes instead of getting mailbox settings again

lib-storage: Save all mailbox settings in namespace settings

This avoids having to look them up again.

lmtp: Add and use lmtp_pre_mail_settings

It only has mail_max_lock_timeout setting. This is much efficient to lookup
than the full large mail_storage_settings.

lib-storage: Add and use mailbox_list_layout_settings

It only has mailbox_list_layout setting. This is much efficient to lookup
than the full large mail_storage_settings.

lib-storage: Add and use mail_driver_settings

It only has mail_driver setting. This is much efficient to lookup than
the full large mail_storage_settings.

lib-storage: Remove mail_user.have_special_use_mailboxes

This avoids having to go through all mailbox settings in all namespaces when
initializing user.

imap: Unconditionally advertise SPECIAL-USE capability

Clients should be able to handle a LIST reply doesn't return any special-use
flags, even if the capability is returned.

The removal is mainly to avoid rather costly checks with the new
configuration code.

config: Add @mailbox_defaults = english

config: Rename stats-metrics-defaults.h to default-settings-import.h

imap-hibernate: Send logout statistics when unhibernating

lib-imap, imap: Load and restore logout statistics when creating a client

lib-imap, imap: Move imap_logout_format statistics into separate struct

imap: cmd_store() - Fix indentation

config: Change shared config fd to be read-only

lib-settings: Fix compiling in build directory

Broken by 404d78b0754f5983015a1b0b189e3f1acec84a37

auth: Remove old var expand syntax from test-lua

lib-auth: Move password scheme code back to lib-auth

Keep all code that require some dependency in libauth-crypt.

Removes sodium and crypt support from password schemes unless
explicitly enabled.

auth, doveadm: Use password_schemes_register_all() to get all schemes
again

lib-auth: Add password_schemes_register_all()

lib-auth: Move crypt_verify() password-scheme-crypt.c internal function

lib-auth: Add password_schemes_weak_allowed()

Needed by next commit

config: Add config_parsed_get_setting_change_counter()

doveconf: Fix boollist output when using -h parameter

Forgotten in 61e3708fb56a10e3020d6a4f155ad32167833488

config: Move hook_config_parser_end() later and add event and config_parsed parameters

lib-sql: driver_cassandra_log_result - Differentiate warn_timeout message

config: doveconf - Output replacement boolean lists in a single line

config: Add CONFIG_KEY_ESCAPE_CHARS macro

global: Add plugin_dependency for settings coming from plugins

lib-settings, config: Add setting_parser_info.plugin_dependency

If set, the referred plugin must actually exist on filesystem before its
settings are used. This allows spltting core plugins to separate packages
so that the settings are hidden unless the packages are installed.

lib-auth: Don't link libauth.la to libauth-crypt.la

This causes duplicate linking, because libauth.la is already in
libdovecot.so.

Broken by 24d967dfe76818821050f2da531ae1404238cbdf

lib-http: Fix increasing memory usage in shared HTTP client context

Broken by 191da0e9f93362fbf1ba8af2461c7df984eb375b

m4/dovecot.m4: Fix accidentally renamed LIBDOVECOT_FTS_INCLUDE

Broken by 19316ac1ff80cb454f2d35614137292d9aa79e1e

lib-http: http-server-connnection - Make http_server_connection_close() NULL no-op

lib-http: http-client - Free settings with client pool

lib-http: http-server - Restructure http_server_shut_down() to use while statement

Original for statement was objectionable to static analyzer. New structure is
equivalent to similar code elsewhere in Dovecot.

lib-http: http-client-request - Fix NULL pointer dereference in http_client_request_continue_payload()

Problem found by Coverity.

lib-http: test-http-payload - Switch ioloop implicitly using callback

lib-http: http-client-request - Allow calling http_client_request_error() on aborted request

lib-http: http-client-request - Fix pipeline corruption occurring after 100 Continue response

Only unlock connection output when no more requests are pending. Before, the
next request header could be sent while outgoing payload for current request was
still pending.

lib-http: http-client-connection - Move response pre-checks to http-client-request.c

lib-http: http-client-connection - Move handling of 100 response to http-client-request