lib-storage: Avoid unnecessary home lookup when path begins with ~user

Lookup home only when path begins with ~/, since it's the only one being
expanded to home.

lib-storage: Remove support for ~user/ expansion in paths

This was very confusing, because ~/ expanded to the home based on userdb or
configuration, while ~user/ expanded to a system user's home via getpwnam().
There shouldn't be any need to support ~user/, so reduce code complexity
by removing support for it.

lib-master: [info_|debug_]log_path - Remove support for ~/ and ~user/

It's not very clear what ~/ would have even expanded to, and in general
this feature seems unnecessary. Remove it to reduce code complexity.

lib-storage: Add named filters for all mailbox formats

This makes it possible to add settings inside e.g. sdbox { .. }
It will be needed by the next commits to add mailbox format-specific
default mailbox list settings.

lib-settings: Add SETTING_APPLY_FLAG_NO_EXPAND

lib-settings, global: Change setting_parser_info.setting_apply() API

Change override boolean to flags enum.

lib-settings, global: Allow setting_parser_info.setting_apply() to change the value

lib-settings, config: Support '/' in strlist and boollist keys

Use settings_section_[un]escape() for escaping.

lib-storage: If mail_user_created hook fails, don't continue calling the hooks

global: Use */filter for setting overrides

This makes sure the overridden settings are used regardless of namespace
settings.

lib-settings: Add */key=value override filter that applies to all named list filters

Normally key=value overrides only the global settings, not settings inside
named list filters. Using */key makes it override everything.

lib-storage: mail_*cache_fields - Allow using %variables

lib-settings, config: Use set_value_unknown for checking settings with %variables

config process runs [ext_]check_func()s, but it can't expand %variables.
So when config sees that there are %variables in a string, it assigns the
value to "set_value_unknown" pointer. The check_func()s can then skip
checking the validity of settings that point to set_value_unknown.

config: Fix parsing nested named (non-list) filters in default settings

lib: var_expand*() - If string ends with '%', return error

lib-settings: Update comments for settings_*get*()

lib-storage: shared - Copy shared namespace name to dynamically created shared namespace

This allows matching config for namespace specific settings
for shared namespaces too.

lmtp: Allow setting of login greeting in SNI callback

lmtp: Implement new conn_tls_sni_callback() callback

lib-smtp: Wait for TLS handshake to finish before responding to client

lib-smtp: Reload ssl settings on SNI callback

lib-smtp: Trigger SNI callback on TLS handshake

Allow individual implementations to handle SNI callback in response to a
TLS handshake.

lib-smtp: test-smtp-payload - Inject ssl settings into the SMTP server settings

This is necessary for the new SMTP SNI mechanism to succeed its settings
lookup.

lib-smtp: test-smtp-payload - Clarify smtp server settings attribute

This will become important in a following commit, that adds another
settings attribute to the test_server data.

lib-http: Specify post-handshake error-check

plugins: quota-clone - Convert plugin settings to regular settings

doveconf: Cleanup - avoid unnecessary variables

config: doveconf - If filter_name exists, show filter_name_key under filter_name { key }

This isn't done for default settings, because it's too much effort to
implement. Also this isn't visible for the usual "doveconf -n" or
"doveconf -N" outputs. Normally people aren't looking at just "doveconf" or
"doveconf -d" output, so it likely doesn't matter.

config: Support automatic filter name setting prefixing for named non-list filters also

They were working only for named list filters. This also changes
filter_name { filter_name_key } settings (when "filter_name" string is the
same in both) to apply to the global filter_name_key setting instead of
adding it inside the named filter.

config: Refactor config_add_new_parser() API

config: Add comments to structs

config: Remove config_parser_context.key_path and config_section_stack.pathlen

Now that all settings are global, the only time when key_path is non-empty
is with strlist { .. } and boollist { .. } settings, and they can't have
nested hierarchies. There's no need for tracking a nested path in sections.

config: Remove config_section_stack.filter

It's available via filter_parser->filter.

This also fixes some issues with filters' parent hierarchy. At least a
parent named filter was ignored if it had a child named filter.

config: Remove config_section_stack.module_parsers

It's available via filter_parser->module_parsers.

config: Remove unused config_filter_parser.file_and_line

config: Set module parsers inside config_dump_human_init()

Deduplicates the code a bit.

doveadm: Fix error message if doveadm_mail_cmd_vfuncs.prerun() fails

lib-storage, global: Remove namespace_location setting

Replaced by namespace { mail_location } setting.

lib-storage: mail_namespaces_init_finish() - Add user helper variable

lib-storage: Change shared namespace location to use %{owner_*} variables

 * %%u -> %{owner_user}
 * %%n -> %{owner_username}
 * %%d -> %{owner_domain}
 * %%h -> %{owner_home}

Namespace prefix for now keeps using %%u, %%n and %%d.

lib-storage: Simplify dynamic shared namespace check

It doesn't make any sense to have a namespace location contains
user-specific path if the namespace prefix doesn't have the user template.

lib-storage: mail_storage_create() - Remove unused driver parameter

lib-storage: Remove unused mail_storage_create_full()

lib-storage: Remove mailbox_driver setting

This will be added back later as mailbox { mail_driver }.

lib-storage: raw storage - Avoid using mail_storage_create() driver parameter

It will be removed in a later commit.

lib-storage: Add and use MAIL_STORAGE_FLAG_SHARED_DYNAMIC for detecting dynamic namespace root

lib-storage: shared storage - Fix error message for failed storage creation

Dynamically created shared namespaces have no name, so use prefix instead.

Broken by a2e8bcd7657e00db5334073479d8fb674b114415

lib-storage: Split off mail_namespaces_init_default_location()

Now mail_namespaces_init_location() is required to have non-NULL location
parameter.

lib-storage: Slightly refactor mail location lookup code

doveadm: Sync the inbox=yes namespace by default instead of empty location namespaces

This is hopefully good enough of a replacement. Later changes remove
the namespace_location setting, and later on even mail_location is split
into many settings. Those changes make the original behavior difficult to
preserve.

lib-storage: Change mailbox_list.mail_set to use also storage name-specific settings

lib-storage: Change mail_storage.event's parent to mail_user

The same storage can be shared between different mailbox_lists, so it
wasn't really correct before.

lib-storage: Change mailbox_list.mail_set to use namespace-specific settings

lib-storage: Remove mail_namespace.mail_set

It was just a pointer to mail_user.mail_set instead of namespace-specific
settings.

global: Avoid using mail_namespace.mail_set

lib-storage: Move MAIL_STORAGE_FLAG_KEEP_HEADER_MD5 flag handling later

The flag isn't needed earlier, and this will simplify the next commit.

lib-settings: Support accessing overrides for unknown named filters if SETTINGS_EVENT_FILTER_NAME is set

This is mainly intended for "doveadm fs" and similar commands' filter-name
parameter to work properly with overrides. For example:

doveadm -o obox/fs_driver=posix fs get obox testfile

The "doveadm fs" command execution never sees the obox settings, so it
doesn't know that obox/ prefix means that it's a filter name. However,
by "doveadm fs" does set SETTINGS_EVENT_FILTER_NAME=obox to the lookup
event, which now allows it to realize that it is.

lib-settings: Fix accessing override setting whose filter was just updated

set->key was stored before settings_override_filter_match() updated it,
causing the setting lookup to fail later on.

lib-settings: Fix handling overrides with named [list] filters

For example -o mail_location shouldn't override namespace inbox
{ mail_location }. It would need an explicit
-o namespace/inbox/mail_location.

lib-settings: Split off settings_instance_override_init()

lib-settings: Change settings_override.type to enum

lib-settings: Add comments to struct settings_override

config: Disable global setting order check for named [list] filters

If the configuration has e.g.:

mail_location = mdbox:...
namespace virtual {
  mail_location = virtual:...
}
...
mail_location = sdbox:...

There's no need to log a warning about the second mail_location not
overriding the virtual namespace's mail_location. And the second
mail_location could be there because it's easier to write tests in
that way in CI.

lib-storage: raw-storage - Replace userdb_fields with code_override_fields

This way any -o parameters can't override raw user's settings.

lib-storage: Add mail_storage_service_input.code_override_fields

doveadm mail fs: Use the mail_user event for getting fs settings

This fixes using e.g. %{user} variables in the fs settings.

lib-settings: Use SETTINGS_EVENT_VAR_EXPAND_* also in parent events

lib: Add var_expand_with_arrays()

lib: var-expand - Fix error handling for %{hash;salt;...} variable expansion

Unknown variables were ignored instead of the error being propagated.

lib-settings: Don't ignore unknown %variables in settings expansion

The settings lookup should fail if there are any unknown variables.

lazy-expunge: Replace lazy_expunge_exclude setting with per-mailbox lazy_expunge_mailbox

The lazy_expunge_* settings can now be mailbox-specific. To disable
lazy_expunge for a specific mailboxes, use e.g.:

lazy_expunge_mailbox = DUMPSTER
mailbox Drafts {
  lazy_expunge_mailbox =
}
mailbox "External Accounts/*" {
  lazy_expunge_mailbox =
}

lazy-expunge: Rename lazy_expunge setting to lazy_expunge_mailbox

lazy-expunge: Convert plugin settings to regular settings

lazy_expunge_exclude wasn't converted yet, since it's a bit more complex and
also it's going to be removed by a following commit.

lazy-expunge: Remove support for using lazy_expunge namespaces

Most people are using a single mailbox for lazy_expunge destination. Using
an entire namespace was always a bit troublesome. Also trying to support it
would make the following configuration changes more complex.

lib-language: language_list_init() - Simplify configuration

This removes the string-table based settings for language_list_init()
and introduces struct language_settings.

lib-language: Rename m4 macros

lib-language: Rename enum language_result to language_detect_result

lib-language: Rename functions and macros

This replaces all fts mentions with lang to complete the lib-fts to
lib-lang renaming.

lib-language: Rename all files and corresponding includes from fts- to lang-

lib-language: Replace libfts with liblanguage for linking

lib-fts: Rename to lib-language

This is just replacing the path not internal library name yet.

auth: Change oauth2 to disable retries with http_client_request_max_attempts=1

http_client_auto_retry is a hidden setting that shouldn't normally be
used. http_client_request_max_attempts=1 in this case behaves the same in
a more normal way.

lib-http: Rename http_client_ssl_tunnel to http_client_proxy_ssl_tunnel

lib-http: Don't allow http_client_request_max_attempts=0 setting

lib-http: Change http_client_request_max_attempts default to 1

The previous default 0 means the same as 1, but 1 is clearer.

lib-http: Clarify auto_redirect, auto_retry and request_max_redirects setting comments

plugins/push-notification: push_notification_driver_ox_init_global() - Move HTTP client initialization into init-callback

This commit makes the HTTP client initialization and propagation of
potential errors into the init-callback of the push notification
drivers, instead of deferring it to the message handling.

plugins/push-notification: push_notification_driver_ox_init_global() - Allow nested http-client settings

plugins/push-notification: push_notification_driver_ox_deinit - Remove incorrect ATTR_UNUSED

plugins/push-notification: push_notification_driver_dlog_process_msg - Remove incorrect ATTR_UNUSED

plugins/push-notification: Rewrite push notification driver config initialization

Replace the old config lookup mechanism - a per-driver parsing of a
settings-string and a subsequent creation of a config hash-map - with a
new settings-based mechanism. This way each driver can now access its
native settings directly. For this to work the driver identification and
initialization needs to be adapted, as well.

plugins/push-notification: push-notification-settings - Add new settings API infrastructure

plugins/push-notification: push-notification-driver-ox - Use http_client_init_auto() to initialize http client

plugins/push-notification: push_notification_driver_lua_init() - Simplify resolving the script's path

plugins/push-notification: push-notification-driver-lua - Rename push_notification_lua_script_file to push_notification_lua_script_path

notify-status: Convert notify_status_mailboxN setting to a per mailbox setting

Rather than using:

  plugin {
    notify_status_mailbox = inbox
    notify_status_mailbox2 = TestBox
  }

This can now be configured by mailbox filters:

  mailbox inbox {
    notify_status_mailbox = yes
  }

  mailbox TestBox {
    notify_status_mailbox = yes
  }

notify-status: Convert plugin settings to normal settings

lib-http, global: Add request_ to http_client_max_redirects and http_client_*max_attempts

This makes it consistent with http_client_request_*timeout settings.

lib-dict: Don't crash if init_legacy() isn't supported by dict driver

lib-dict-extra: test-dict-fs - Convert to use dict_init_auto()