imap: Implement UTF8=ACCEPT for APPEND command

imap: Split off cmd_append_handle_parse_error()

imap: Refactor append handling

Simplifies next commit.

lib-imap: Add some tests for literal parsing

imapc: Propagate response codes

lib-storage: mail_storage_callbacks - Add notify_bad()

lib-imap: Add defines for all the Response Codes currently in IANA

auth: remove proxy_always extra field

settings: Use marker when Pro version is not specified

settings: Improvements to settings-history conversion script

- Some cleanup and refactoring
- Improve version handling
- Improve error messages and reporting

settings: Fix build issue with unsorted settings-history file

anvil: Change anvil socket's default group to default_internal_group

imap/test-imap-client-hibernate: Append new unhibernation statistics to expected fields

Forgotten in 3d415cf2dd393e1b4ad6e2be1a06bb221406509f

imap/test-imap-client-hibernate: Propagate failures in imap_hibernate_server()

The subprocess needs to propagate the error to the diligent parent process.

config: Use python3 instead of python

config: Change the generated settings-history-core from .h to .c

This changes the output file to a header file instead of a C file, this helps meson deal
better with dependencies on custom_targets.

It is technically an #included header file so it makes sense.

The ideal solution would be to keep it as a C file, and add forward declarations of the
arrays defined in it instead of verbatim #include'ing it. However, array forward decls are
not possible without a specified size which cannot be provided in advance and declaring
them as pointers is perhaps not the best idea.

config: Replace settings-history Perl script with Python rewrite

global: Add pyproject.toml for Python scripts

global: gitignore: Ignore python rope cache dir

config: Fail if quoted "\escaping" is used for unexpected characters

config: Unescape a "quoted" setting key

This mainly fixes e.g.:

mailbox_special_use {
  "\Drafts" = yes
}

config: Fix various issues in doveconf when outputing @groups

config: Change @group includes to be merged into parsed config immediately

This change expands the group settings into the settings tree using a new
low-priority CONFIG_PARSER_CHANGE_GROUP change_counter. Settings with this
counter are included in all checks, but they are not exported as part of the
configuration (to allow overriding the entire groups in cli/userdb).

This fixes using for example:

@metric_defaults = backend
metric auth_failures {
  fields = foo
}

Which otherwise would fail with "metric is required to have metric_filter
setting" error, because it didn't realize the auth_metrics already existed.

config: Preserve filter_required_setting_seen when merging filter trees

config: config_module_parsers_merge() - Add new_change_counter parameter

This simplifies the following commits.

doveadm kick: Add support for kicking multiple usernames

doveadm: Add who_filter.username_wildcards helper boolean

Simplifies the next commit.

doveadm kick: Fix crash when trying to give multiple username parameters

doveadm kick: Fix event/memory leak when failing to connect to anvil

lib-storage: mailbox_list_index_refresh_force() - Add missing error handling for failed mail_index_refresh()

lib-storage: mailbox_list_index_refresh() - Fix error handling when called many times rapidly

The error could have been cleared out between the calls, so set the repeated
calls as internal failure.

imap: Fix potential assert-crash if pipelining IDLE+DONE+more commands

At least followed by COPY command it assert-crashes.
Fixes:
Panic: file cmd-copy.c: line 120 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output) || client->output->stream_errno != 0)

global: Log errors if anvil query fails

lib-master: Fix anvil_client_query() return value comment

It never returns NULL.

lib-master: Set proper error string to anvil_callback_t

lib-master: Add API changes to allow anvil_callback_t to return error string

lib-settings: test-settings - Refactor initialization of params3

Satisfies older compilers

lib-auth: Fix linking due to duplicate symbols

lmtp: Fix Pro edition to actually listen on port 24

Was forgotten in a9c8da0daf874e2502f60d91a808ead94fe97d35

lib-var-expand: Test hierarchical SETTINGS_EVENT_VAR_EXPAND_PARAMS

lib-settings: Pad initial var expand context with empty tables and providers when needed

Fixes:
Panic: file settings.c: line 1560 (settings_var_expand_init_add): assertion failed: (I_MAX(num_tables, num_provs) == num_ctx)

auth: db-oauth2 - Don't mix table and providers_arr

It's not needed.

quota: fs_quota_mountpoint_get() - Fix crash due to initialized event

quota: imapc_quota_refresh_update() - Fix crash due to initialized event

config: doveconf - Fix asking for settings which have named filter as prefix

For example "doveconf imapc_master_user" wouldn't output the setting,
although "doveconf imapc/master_user" would.

config: Fix file descriptor leak if "set = <file" handling fails due to fstat()

Broken by 0301f03cbe9123302a439756f54a713373b86c69

config: Improve "Unknown section name" error with more details

lib-imap-client: Add IMAP4rev2 capability detection support

imap: Add imap4rev2 capability

It can only be enabled if build with --enable-experimental-imap4rev2

config: Support config version 2.4.1

lib-settings: Skip applying groups early if there are no group includes

lib: test-file-cache - Ignore RLIMIT_AS enforcement failure

If the OS does not respect RLIMIT_AS here, lets skip all the rest of
the tests.

This happens at least with qemu/aarch64.

lib-master: Try to use binary config cache if DOVECOT_CONFIG_CACHE environment is set

config, lib-settings: Add support for binary config file cache

This is mainly intended for optimizing our CI performance. It shouldn't
be used in production.

lib-settings, global: settings_parse_read_file() - Return file's struct stat

auth: Fix using passdb_fields with passdb_ldap_bind_userdn=yes

config: Improve "Unknown setting" error with more details and suggestions

List the autoprefixed setting names that were attempted. Also try to give
suggestions for corrected setting names with named list filters.

config: Remove dead code trying to add section name prefix for unknown settings

All settings are now global. There is no settings hierarchy.

lmtp: Clarify lmtp_user_concurrency_limit value of unlimited

Disallow setting this setting to 0. Make the relevant checks against
"unlimited" instead.

lmtp: Change the default lmtp_user_concurrency_limit to 10

global: Make process_shutdown_filter specific to imap/pop3/submission

imap: For Pro edition, change imap-master socket's owner to default_internal_user

pop3: Use inbox mailbox_list's existing mail_storage_settings

lib-storage: Add mailbox_list_get_mail_set()

lib-storage: Remove unused mail_user._mail_set

This was implicitly doing mail_user_get_home() when expanding user settings,
which was expected by the shared storage code. Changed this call now to be
explicit.

lib-storage: Remove unused mail_user_set_get_storage_set()

doveadm auth: Replace mail_user_set_get_storage_set() with direct settings lookup

lib-storage: Default namespace init: Lookup mail_driver with a settings lookup

This allows removal of mail_user_set_get_storage_set()

lib-storage: mail_duplicate_db_init() - Lookup settings via inbox mailbox_list

It's already used for looking up volatile directory, so use it for the rest
as well.

imap: Move mailbox_list_index setting to be looked up via imap_settings

lib-storage: Move namespace setting to mail_user_settings

lib-storage: mail_user_lock_file_create() - Use mail_set from mailbox_list

It was partially being used, while other settings were from user's mail_set.

lib-storage: Try to get special_use flags using cached mailbox settings

lib-storage: mailbox_list_iter_next() - Fix memory allocation for special_use flags

It's not safe to store the string into data stack.

lib-storage: Try to use cached mailbox settings

lib-storage: Move mailbox_get_name_without_prefix()

lib-storage: Use parsed_mailboxes instead of getting mailbox settings again

lib-storage: Save all mailbox settings in namespace settings

This avoids having to look them up again.

lmtp: Add and use lmtp_pre_mail_settings

It only has mail_max_lock_timeout setting. This is much efficient to lookup
than the full large mail_storage_settings.

lib-storage: Add and use mailbox_list_layout_settings

It only has mailbox_list_layout setting. This is much efficient to lookup
than the full large mail_storage_settings.

lib-storage: Add and use mail_driver_settings

It only has mail_driver setting. This is much efficient to lookup than
the full large mail_storage_settings.

lib-storage: Remove mail_user.have_special_use_mailboxes

This avoids having to go through all mailbox settings in all namespaces when
initializing user.

imap: Unconditionally advertise SPECIAL-USE capability

Clients should be able to handle a LIST reply doesn't return any special-use
flags, even if the capability is returned.

The removal is mainly to avoid rather costly checks with the new
configuration code.

config: Add @mailbox_defaults = english

config: Rename stats-metrics-defaults.h to default-settings-import.h

imap-hibernate: Send logout statistics when unhibernating

lib-imap, imap: Load and restore logout statistics when creating a client

lib-imap, imap: Move imap_logout_format statistics into separate struct

imap: cmd_store() - Fix indentation

config: Change shared config fd to be read-only

lib-settings: Fix compiling in build directory

Broken by 404d78b0754f5983015a1b0b189e3f1acec84a37

auth: Remove old var expand syntax from test-lua

lib-auth: Move password scheme code back to lib-auth

Keep all code that require some dependency in libauth-crypt.

Removes sodium and crypt support from password schemes unless
explicitly enabled.

auth, doveadm: Use password_schemes_register_all() to get all schemes
again

lib-auth: Add password_schemes_register_all()

lib-auth: Move crypt_verify() password-scheme-crypt.c internal function

lib-auth: Add password_schemes_weak_allowed()

Needed by next commit

config: Add config_parsed_get_setting_change_counter()

doveconf: Fix boollist output when using -h parameter

Forgotten in 61e3708fb56a10e3020d6a4f155ad32167833488

config: Move hook_config_parser_end() later and add event and config_parsed parameters