lib-settings: Fix handling overrides with named [list] filters

For example -o mail_location shouldn't override namespace inbox
{ mail_location }. It would need an explicit
-o namespace/inbox/mail_location.

lib-settings: Split off settings_instance_override_init()

lib-settings: Change settings_override.type to enum

lib-settings: Add comments to struct settings_override

config: Disable global setting order check for named [list] filters

If the configuration has e.g.:

mail_location = mdbox:...
namespace virtual {
  mail_location = virtual:...
}
...
mail_location = sdbox:...

There's no need to log a warning about the second mail_location not
overriding the virtual namespace's mail_location. And the second
mail_location could be there because it's easier to write tests in
that way in CI.

lib-storage: raw-storage - Replace userdb_fields with code_override_fields

This way any -o parameters can't override raw user's settings.

lib-storage: Add mail_storage_service_input.code_override_fields

doveadm mail fs: Use the mail_user event for getting fs settings

This fixes using e.g. %{user} variables in the fs settings.

lib-settings: Use SETTINGS_EVENT_VAR_EXPAND_* also in parent events

lib: Add var_expand_with_arrays()

lib: var-expand - Fix error handling for %{hash;salt;...} variable expansion

Unknown variables were ignored instead of the error being propagated.

lib-settings: Don't ignore unknown %variables in settings expansion

The settings lookup should fail if there are any unknown variables.

lazy-expunge: Replace lazy_expunge_exclude setting with per-mailbox lazy_expunge_mailbox

The lazy_expunge_* settings can now be mailbox-specific. To disable
lazy_expunge for a specific mailboxes, use e.g.:

lazy_expunge_mailbox = DUMPSTER
mailbox Drafts {
  lazy_expunge_mailbox =
}
mailbox "External Accounts/*" {
  lazy_expunge_mailbox =
}

lazy-expunge: Rename lazy_expunge setting to lazy_expunge_mailbox

lazy-expunge: Convert plugin settings to regular settings

lazy_expunge_exclude wasn't converted yet, since it's a bit more complex and
also it's going to be removed by a following commit.

lazy-expunge: Remove support for using lazy_expunge namespaces

Most people are using a single mailbox for lazy_expunge destination. Using
an entire namespace was always a bit troublesome. Also trying to support it
would make the following configuration changes more complex.

lib-language: language_list_init() - Simplify configuration

This removes the string-table based settings for language_list_init()
and introduces struct language_settings.

lib-language: Rename m4 macros

lib-language: Rename enum language_result to language_detect_result

lib-language: Rename functions and macros

This replaces all fts mentions with lang to complete the lib-fts to
lib-lang renaming.

lib-language: Rename all files and corresponding includes from fts- to lang-

lib-language: Replace libfts with liblanguage for linking

lib-fts: Rename to lib-language

This is just replacing the path not internal library name yet.

auth: Change oauth2 to disable retries with http_client_request_max_attempts=1

http_client_auto_retry is a hidden setting that shouldn't normally be
used. http_client_request_max_attempts=1 in this case behaves the same in
a more normal way.

lib-http: Rename http_client_ssl_tunnel to http_client_proxy_ssl_tunnel

lib-http: Don't allow http_client_request_max_attempts=0 setting

lib-http: Change http_client_request_max_attempts default to 1

The previous default 0 means the same as 1, but 1 is clearer.

lib-http: Clarify auto_redirect, auto_retry and request_max_redirects setting comments

plugins/push-notification: push_notification_driver_ox_init_global() - Move HTTP client initialization into init-callback

This commit makes the HTTP client initialization and propagation of
potential errors into the init-callback of the push notification
drivers, instead of deferring it to the message handling.

plugins/push-notification: push_notification_driver_ox_init_global() - Allow nested http-client settings

plugins/push-notification: push_notification_driver_ox_deinit - Remove incorrect ATTR_UNUSED

plugins/push-notification: push_notification_driver_dlog_process_msg - Remove incorrect ATTR_UNUSED

plugins/push-notification: Rewrite push notification driver config initialization

Replace the old config lookup mechanism - a per-driver parsing of a
settings-string and a subsequent creation of a config hash-map - with a
new settings-based mechanism. This way each driver can now access its
native settings directly. For this to work the driver identification and
initialization needs to be adapted, as well.

plugins/push-notification: push-notification-settings - Add new settings API infrastructure

plugins/push-notification: push-notification-driver-ox - Use http_client_init_auto() to initialize http client

plugins/push-notification: push_notification_driver_lua_init() - Simplify resolving the script's path

plugins/push-notification: push-notification-driver-lua - Rename push_notification_lua_script_file to push_notification_lua_script_path

notify-status: Convert notify_status_mailboxN setting to a per mailbox setting

Rather than using:

  plugin {
    notify_status_mailbox = inbox
    notify_status_mailbox2 = TestBox
  }

This can now be configured by mailbox filters:

  mailbox inbox {
    notify_status_mailbox = yes
  }

  mailbox TestBox {
    notify_status_mailbox = yes
  }

notify-status: Convert plugin settings to normal settings

lib-http, global: Add request_ to http_client_max_redirects and http_client_*max_attempts

This makes it consistent with http_client_request_*timeout settings.

lib-dict: Don't crash if init_legacy() isn't supported by dict driver

lib-dict-extra: test-dict-fs - Convert to use dict_init_auto()

doveconf: Read configuration in its own data stack frame

config: Don't allow config file to contain key=value for lists or filters

For example although it's allowed to use "-o namespace=name1" to add a
new named array filter in command line, in config file this would just
cause confusion, so require namespace name1 { .. } instead.

lib-settings: Sort overridden settings by the key path's element count

This is especially important to get fs_parent/fs_parent/.. hierarchy to
work correctly. An alternative could have been to require specifying the
overridden settings in the correct order, but that would require a stable
merging algorithm to be used instead of qsort().

lib-settings: Use only the same setting root's settings

lib-settings: Support %{variables} also with strlist settings

fts: Fix potential memory leaks when init() fails

dict-fs: Implement new init() API

lib-settings: Add settings_root_find() and settings_instance_find()

util: test-fs - Change to fs_init_auto() API

lib-storage: Change mailboxes_fs to be initialized with fs_init_auto()

lib-fs: Change unit tests to use fs_init_auto()

lib-settings: Add settings_simple_*() API

This is mainly intended to easily provide settings for unit tests.

lib-settings: Make settings_instance_free(&NULL) no-op

doveadm: Add "mail dict" commands

These are similar to "doveadm dict" commands, but they're run in the mail
user context. This way all user-specific settings are applied and process
uid/gid is also set properly.

doveadm dict: Split functions in preparation for "doveadm mail dict" commands

doveadm dict iter: Move iter-specific parameter handling to cmd_dict_iter()

doveadm dict: Remove unused code

doveadm dict: Change dict-uri parameter to filter-name

This makes it work similarly to "doveadm fs".

doveadm: Add "mail fs" commands

These are similar to "doveadm fs" commands, but they're run in the mail user
context. This way all user-specific settings are applied and process
uid/gid is also set properly.

lib-storage: Add MAIL_STORAGE_SERVICE_FLAG_MINIMAL_USER_INIT

This is needed/used only by the obox format currently.

lib-storage: Add mail_storage_service_get_flags()

doveadm fs: Split functions in preparation for "doveadm mail fs" commands

doveadm fs: Change fs-driver & fs-args parameters to filter-name

The filter-name refers to the filter section in config file that contains
the fs_driver and other necessary settings. It's also possible to specify
all necessary settings using -o parameter, e.g.:

doveadm \
  -o fs_parent/fs_driver=posix \
  -o fs_driver=randomfail \
  -o fs_randomfail_ops/read=50 \
  fs get "" /path/to/file

Note that currently the order of fs_driver settings is important here,
because the first match is used. This may change in the future.

lib-http: Make http_client_request_error() public

doveadm compress: Use compression_handler.create_ostream_auto() API

fs-compress: Implement new fs.init() and compression_handler.create_ostream_auto() APIs

The compression method parameter is replaced by fs_compress_write_method
setting. An empty setting means writing with plaintext.

The old "maybe-" prefix is replaced by fs_compress_read_plain_fallback
setting.

Since there is no longer a single generic compression level parameter,
using level 0 to disable compression is replaced by using an empty
fs_compress_write_method value.

mail-compress: Use create_ostream_auto() API

mail_compress_save plugin setting is replaced by mail_compress_write_method.
mail_compress_save_level plugin setting is replaced by compression method
specific settings.

imap: COMPRESS - Use create_ostream_auto() API

The compression level can now be configured using the compression settings.

lib-compression: ostream-zstd - Add support for create_ostream_auto() API

lib-compression: ostream-lz4 - Add support for create_ostream_auto() API

lib-compression: ostream-bzlib - Add support for create_ostream_auto() API

lib-compression: ostream-zlib - Add support for create_ostream_auto() API

lib-compression: Prepare support for reading settings for ostreams via event

lib-storage: Replace mail_attachment_fs with mail_attachment filter

Replace e.g.:

mail_attachment_fs = posix:no-fsync

with:

mail_attachment {
  fs_driver = posix
  fs_posix_fsync = no
}

There is no longer a default mail_attachment { fs_driver }. It needs to be
set explicitly.

This also changes the mailbox_list_init_fs() API to use fs_init_filter().
Currently its only caller in core is this mail_attachment_fs.

If mail_attachment_dir is set, it now gives an error if
mail_attachment { ... } filter is not set. Previously an empty
mail_attachment_fs would have been ignored, although it likely wasn't used
much since its default was not empty.

Copying mails needed to remove full mail_attachment_fs comparison checks
between source and destination storage, because it's not practical anymore
to compare whether two FSes are the same. It's unlikely anyone would use
two incompatible FSes with the same mail_attachment_dir setting.

lib-storage: mailbox_list_init_fs() - Don't allow NULL parent event

There are no callers that use NULL.

fs-test: Implement new init() API

fs-metawrap: Implement new init() API

fs-randomfail: Implement new init() API

fs-sis-queue: Implement new init() API

fs-sis: Implement new init() API

fs-posix: Implement new init() API

fs-posix: Remove mode=auto setting

This setting has never actually done anything. Its behavior of taking
created files' permissions from parent directory is actually controlled by
the parent directory's SETGID bit.

fs-dict: Implement new init() API

lib-fs: Don't crash if fs_vfuncs.legacy_init() isn't implemented

lib-fs: Add fs_init_parent()

This simplifies initializing parent fs for wrapper filesystems.

lib-fs: Add fs_init_auto()

lib-fs, global: Rename fs_init() to fs_legacy_init()

lib-fs: Move calling fs_vfuncs.init() out of fs_alloc()

lib-fs: Move auto-loading of fs_class into fs_alloc()

lib-fs: Move fs_alloc() later

lib-fs: Fill all struct fs fields before calling init()

This simplifies the following changes.

lib-fs: Remove event_parent parameter from fs_vfuncs.init()

fs->event should be used instead.

lib-storage: Rename mail_user_init_fs_settings() to mail_user_init_fs_parameters()

lib-fs, global: Rename fs_settings to fs_parameters

These are internal parameters. A later commit will add back fs_settings
where the settings are coming from config file.

lib-fs: remove struct fs.set

Only set.enable_timing was used, and it can be in its own field.

lib-fs, global: Move fs_settings.event_parent to dict_init() parameter

lib-dict-extra: dict-fs - Forward dict's event_parent to fs

lib-fs, global: Remove fs_settings.debug

The debugging can be enabled via parent event.