config: doveconf - If filter_name exists, show filter_name_key under filter_name { key }

This isn't done for default settings, because it's too much effort to
implement. Also this isn't visible for the usual "doveconf -n" or
"doveconf -N" outputs. Normally people aren't looking at just "doveconf" or
"doveconf -d" output, so it likely doesn't matter.

config: Support automatic filter name setting prefixing for named non-list filters also

They were working only for named list filters. This also changes
filter_name { filter_name_key } settings (when "filter_name" string is the
same in both) to apply to the global filter_name_key setting instead of
adding it inside the named filter.

config: Refactor config_add_new_parser() API

config: Add comments to structs

config: Remove config_parser_context.key_path and config_section_stack.pathlen

Now that all settings are global, the only time when key_path is non-empty
is with strlist { .. } and boollist { .. } settings, and they can't have
nested hierarchies. There's no need for tracking a nested path in sections.

config: Remove config_section_stack.filter

It's available via filter_parser->filter.

This also fixes some issues with filters' parent hierarchy. At least a
parent named filter was ignored if it had a child named filter.

config: Remove config_section_stack.module_parsers

It's available via filter_parser->module_parsers.

config: Remove unused config_filter_parser.file_and_line

config: Set module parsers inside config_dump_human_init()

Deduplicates the code a bit.

doveadm: Fix error message if doveadm_mail_cmd_vfuncs.prerun() fails

lib-storage, global: Remove namespace_location setting

Replaced by namespace { mail_location } setting.

lib-storage: mail_namespaces_init_finish() - Add user helper variable

lib-storage: Change shared namespace location to use %{owner_*} variables

 * %%u -> %{owner_user}
 * %%n -> %{owner_username}
 * %%d -> %{owner_domain}
 * %%h -> %{owner_home}

Namespace prefix for now keeps using %%u, %%n and %%d.

lib-storage: Simplify dynamic shared namespace check

It doesn't make any sense to have a namespace location contains
user-specific path if the namespace prefix doesn't have the user template.

lib-storage: mail_storage_create() - Remove unused driver parameter

lib-storage: Remove unused mail_storage_create_full()

lib-storage: Remove mailbox_driver setting

This will be added back later as mailbox { mail_driver }.

lib-storage: raw storage - Avoid using mail_storage_create() driver parameter

It will be removed in a later commit.

lib-storage: Add and use MAIL_STORAGE_FLAG_SHARED_DYNAMIC for detecting dynamic namespace root

lib-storage: shared storage - Fix error message for failed storage creation

Dynamically created shared namespaces have no name, so use prefix instead.

Broken by a2e8bcd7657e00db5334073479d8fb674b114415

lib-storage: Split off mail_namespaces_init_default_location()

Now mail_namespaces_init_location() is required to have non-NULL location
parameter.

lib-storage: Slightly refactor mail location lookup code

doveadm: Sync the inbox=yes namespace by default instead of empty location namespaces

This is hopefully good enough of a replacement. Later changes remove
the namespace_location setting, and later on even mail_location is split
into many settings. Those changes make the original behavior difficult to
preserve.

lib-storage: Change mailbox_list.mail_set to use also storage name-specific settings

lib-storage: Change mail_storage.event's parent to mail_user

The same storage can be shared between different mailbox_lists, so it
wasn't really correct before.

lib-storage: Change mailbox_list.mail_set to use namespace-specific settings

lib-storage: Remove mail_namespace.mail_set

It was just a pointer to mail_user.mail_set instead of namespace-specific
settings.

global: Avoid using mail_namespace.mail_set

lib-storage: Move MAIL_STORAGE_FLAG_KEEP_HEADER_MD5 flag handling later

The flag isn't needed earlier, and this will simplify the next commit.

lib-settings: Support accessing overrides for unknown named filters if SETTINGS_EVENT_FILTER_NAME is set

This is mainly intended for "doveadm fs" and similar commands' filter-name
parameter to work properly with overrides. For example:

doveadm -o obox/fs_driver=posix fs get obox testfile

The "doveadm fs" command execution never sees the obox settings, so it
doesn't know that obox/ prefix means that it's a filter name. However,
by "doveadm fs" does set SETTINGS_EVENT_FILTER_NAME=obox to the lookup
event, which now allows it to realize that it is.

lib-settings: Fix accessing override setting whose filter was just updated

set->key was stored before settings_override_filter_match() updated it,
causing the setting lookup to fail later on.

lib-settings: Fix handling overrides with named [list] filters

For example -o mail_location shouldn't override namespace inbox
{ mail_location }. It would need an explicit
-o namespace/inbox/mail_location.

lib-settings: Split off settings_instance_override_init()

lib-settings: Change settings_override.type to enum

lib-settings: Add comments to struct settings_override

config: Disable global setting order check for named [list] filters

If the configuration has e.g.:

mail_location = mdbox:...
namespace virtual {
  mail_location = virtual:...
}
...
mail_location = sdbox:...

There's no need to log a warning about the second mail_location not
overriding the virtual namespace's mail_location. And the second
mail_location could be there because it's easier to write tests in
that way in CI.

lib-storage: raw-storage - Replace userdb_fields with code_override_fields

This way any -o parameters can't override raw user's settings.

lib-storage: Add mail_storage_service_input.code_override_fields

doveadm mail fs: Use the mail_user event for getting fs settings

This fixes using e.g. %{user} variables in the fs settings.

lib-settings: Use SETTINGS_EVENT_VAR_EXPAND_* also in parent events

lib: Add var_expand_with_arrays()

lib: var-expand - Fix error handling for %{hash;salt;...} variable expansion

Unknown variables were ignored instead of the error being propagated.

lib-settings: Don't ignore unknown %variables in settings expansion

The settings lookup should fail if there are any unknown variables.

lazy-expunge: Replace lazy_expunge_exclude setting with per-mailbox lazy_expunge_mailbox

The lazy_expunge_* settings can now be mailbox-specific. To disable
lazy_expunge for a specific mailboxes, use e.g.:

lazy_expunge_mailbox = DUMPSTER
mailbox Drafts {
  lazy_expunge_mailbox =
}
mailbox "External Accounts/*" {
  lazy_expunge_mailbox =
}

lazy-expunge: Rename lazy_expunge setting to lazy_expunge_mailbox

lazy-expunge: Convert plugin settings to regular settings

lazy_expunge_exclude wasn't converted yet, since it's a bit more complex and
also it's going to be removed by a following commit.

lazy-expunge: Remove support for using lazy_expunge namespaces

Most people are using a single mailbox for lazy_expunge destination. Using
an entire namespace was always a bit troublesome. Also trying to support it
would make the following configuration changes more complex.

lib-language: language_list_init() - Simplify configuration

This removes the string-table based settings for language_list_init()
and introduces struct language_settings.

lib-language: Rename m4 macros

lib-language: Rename enum language_result to language_detect_result

lib-language: Rename functions and macros

This replaces all fts mentions with lang to complete the lib-fts to
lib-lang renaming.

lib-language: Rename all files and corresponding includes from fts- to lang-

lib-language: Replace libfts with liblanguage for linking

lib-fts: Rename to lib-language

This is just replacing the path not internal library name yet.

auth: Change oauth2 to disable retries with http_client_request_max_attempts=1

http_client_auto_retry is a hidden setting that shouldn't normally be
used. http_client_request_max_attempts=1 in this case behaves the same in
a more normal way.

lib-http: Rename http_client_ssl_tunnel to http_client_proxy_ssl_tunnel

lib-http: Don't allow http_client_request_max_attempts=0 setting

lib-http: Change http_client_request_max_attempts default to 1

The previous default 0 means the same as 1, but 1 is clearer.

lib-http: Clarify auto_redirect, auto_retry and request_max_redirects setting comments

plugins/push-notification: push_notification_driver_ox_init_global() - Move HTTP client initialization into init-callback

This commit makes the HTTP client initialization and propagation of
potential errors into the init-callback of the push notification
drivers, instead of deferring it to the message handling.

plugins/push-notification: push_notification_driver_ox_init_global() - Allow nested http-client settings

plugins/push-notification: push_notification_driver_ox_deinit - Remove incorrect ATTR_UNUSED

plugins/push-notification: push_notification_driver_dlog_process_msg - Remove incorrect ATTR_UNUSED

plugins/push-notification: Rewrite push notification driver config initialization

Replace the old config lookup mechanism - a per-driver parsing of a
settings-string and a subsequent creation of a config hash-map - with a
new settings-based mechanism. This way each driver can now access its
native settings directly. For this to work the driver identification and
initialization needs to be adapted, as well.

plugins/push-notification: push-notification-settings - Add new settings API infrastructure

plugins/push-notification: push-notification-driver-ox - Use http_client_init_auto() to initialize http client

plugins/push-notification: push_notification_driver_lua_init() - Simplify resolving the script's path

plugins/push-notification: push-notification-driver-lua - Rename push_notification_lua_script_file to push_notification_lua_script_path

notify-status: Convert notify_status_mailboxN setting to a per mailbox setting

Rather than using:

  plugin {
    notify_status_mailbox = inbox
    notify_status_mailbox2 = TestBox
  }

This can now be configured by mailbox filters:

  mailbox inbox {
    notify_status_mailbox = yes
  }

  mailbox TestBox {
    notify_status_mailbox = yes
  }

notify-status: Convert plugin settings to normal settings

lib-http, global: Add request_ to http_client_max_redirects and http_client_*max_attempts

This makes it consistent with http_client_request_*timeout settings.

lib-dict: Don't crash if init_legacy() isn't supported by dict driver

lib-dict-extra: test-dict-fs - Convert to use dict_init_auto()

doveconf: Read configuration in its own data stack frame

config: Don't allow config file to contain key=value for lists or filters

For example although it's allowed to use "-o namespace=name1" to add a
new named array filter in command line, in config file this would just
cause confusion, so require namespace name1 { .. } instead.

lib-settings: Sort overridden settings by the key path's element count

This is especially important to get fs_parent/fs_parent/.. hierarchy to
work correctly. An alternative could have been to require specifying the
overridden settings in the correct order, but that would require a stable
merging algorithm to be used instead of qsort().

lib-settings: Use only the same setting root's settings

lib-settings: Support %{variables} also with strlist settings

fts: Fix potential memory leaks when init() fails

dict-fs: Implement new init() API

lib-settings: Add settings_root_find() and settings_instance_find()

util: test-fs - Change to fs_init_auto() API

lib-storage: Change mailboxes_fs to be initialized with fs_init_auto()

lib-fs: Change unit tests to use fs_init_auto()

lib-settings: Add settings_simple_*() API

This is mainly intended to easily provide settings for unit tests.

lib-settings: Make settings_instance_free(&NULL) no-op

doveadm: Add "mail dict" commands

These are similar to "doveadm dict" commands, but they're run in the mail
user context. This way all user-specific settings are applied and process
uid/gid is also set properly.

doveadm dict: Split functions in preparation for "doveadm mail dict" commands

doveadm dict iter: Move iter-specific parameter handling to cmd_dict_iter()

doveadm dict: Remove unused code

doveadm dict: Change dict-uri parameter to filter-name

This makes it work similarly to "doveadm fs".

doveadm: Add "mail fs" commands

These are similar to "doveadm fs" commands, but they're run in the mail user
context. This way all user-specific settings are applied and process
uid/gid is also set properly.

lib-storage: Add MAIL_STORAGE_SERVICE_FLAG_MINIMAL_USER_INIT

This is needed/used only by the obox format currently.

lib-storage: Add mail_storage_service_get_flags()

doveadm fs: Split functions in preparation for "doveadm mail fs" commands

doveadm fs: Change fs-driver & fs-args parameters to filter-name

The filter-name refers to the filter section in config file that contains
the fs_driver and other necessary settings. It's also possible to specify
all necessary settings using -o parameter, e.g.:

doveadm \
  -o fs_parent/fs_driver=posix \
  -o fs_driver=randomfail \
  -o fs_randomfail_ops/read=50 \
  fs get "" /path/to/file

Note that currently the order of fs_driver settings is important here,
because the first match is used. This may change in the future.

lib-http: Make http_client_request_error() public

doveadm compress: Use compression_handler.create_ostream_auto() API

fs-compress: Implement new fs.init() and compression_handler.create_ostream_auto() APIs

The compression method parameter is replaced by fs_compress_write_method
setting. An empty setting means writing with plaintext.

The old "maybe-" prefix is replaced by fs_compress_read_plain_fallback
setting.

Since there is no longer a single generic compression level parameter,
using level 0 to disable compression is replaced by using an empty
fs_compress_write_method value.

mail-compress: Use create_ostream_auto() API

mail_compress_save plugin setting is replaced by mail_compress_write_method.
mail_compress_save_level plugin setting is replaced by compression method
specific settings.