config: doveconf - When asking for specific settings, show also defaults

doveconf: Expand include @groups when asking for specific settings

For example if you have:

group @example foo {
  namespace_separator = /
}

namespace inbox {
  @example = foo
}

Asking for "doveconf namespace/inbox/separator" will now output "/".

config: Fail if trying to use unknown @group label or name

config: Add config_filters_equal_no_recursion()

config: Replace config_module_parsers_get_setting() with config_parsed_get_setting()

The new function looks up both explicitly changed settings and default
settings.

master, config: Add default_* service settings

Added default_process_limit, default_client_limit,
default_idle_kill_interval and default_vsz_limit settings. The global
service_* settings default to using these.

These settings are added into a new global "default settings" filter.
Other default settings are kept mixed with explicit settings, because
for them it doesn't matter that they are mixed, and it simplifies
settings value lookups.

config: Initialize STRLIST and BOOLLIST arrays with defaults

This will be needed by the following changes. Otherwise doveconf output
shows only the elements in config file, not the built-in defaults.

config: Remove config_parsed_get_module_parsers() wrapper

config: Remove config_export_get_*() wrapper functions

Use config_module_parsers_get_setting() directly.

config: Remove separate ordering for default service settings

This changes e.g. a global "service_process_limit = N" to override it for
all services, unless they have an explicit service { process_limit = M }
in the config file.

This change simplifies the following changes and removes the special
handling of global service settings.

config: config_get_value() - Fix crash if looking up setting that only has default value

config: Fix doveconf output when using $SET: and $ENV:

If they were used for non-string values, they were attempted to be
validated, which caused e.g. "Not a valid number" errors.

config: Allow auto-creating new filters based on settings key paths

This is especially needed for old-set-parser where e.g. auth_worker_max_count
converts to service/auth-worker/process_limit. This worked so far because
service/auth was created as a non-default settings filter, so it was simply
updated. However, with the next change service/auth becomes a "service
default" filter, which can't be directly updated. Instead a whole new
non-default service/auth filter must be created.

This change shouldn't break anything, although it will now allow
auto-creating named list filters in configuration file, e.g.
"namespace/inbox/separator=/" will directly work.

run-test-valgrind.supp - Amend test_lib_fatal_ostream_file suppression

Make stack pattern more robust to compiler diversity.

auth: Add test for auth request export import

mail-lua: Add lua_call filter to var_expand

When mail-lua is loaded, it registers new var_expand filter
lua_call(fn, parameter, parameter)

This will call function in mail lua script with
fn(mail_user, parameter, parameter, .., state)

fn must (return 0, value) on success, and (-1, errmsg) on error

auth: passwd-file - Add all fields to passwd_file provider

global: Right-size some pools

Avoids excess malloc traffic

lib: Drop old var_expand

var-expand-crypt: Convert to new var_expand

quota-status: Use new var_expand

notify-status: Use new var_expand

stats: Use new var_expand

Dropping %{domain} in favor of %{value | domain}

config: Use new var_expand

master: Use new var_expand

lda: Use new var_expand

doveadm: Use new var_expand

submission: Use new var_expand

pop3: Use new var_expand

imap-hibernate: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}

imap-hibernate: Use new var_expand

imap-urlauth: Change logout format to match new var expand syntax

imap: Use new var_expand

auth: Change auth_request_var_expand() return value

It now returns -1 on error and 0 on success

auth: Return error from auth worker on failure

auth: Drop username and domain %variable variants

These can be generated with %{user|username} and %{user|domain}

auth: Use new var_expand

auth: ldap - Always lowercase attribute names

LDAP attributes are DirectoryStrings, which are case insensitive.

auth: ldap - Replace ldap_dn with ldap:dn

While it's theoretically possible that someone can introduce an
attribute called DN, it is not practically possible.

auth: Remove old var_expand %variables

login-common: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}.

login-common: Use new var_expand

login-common: Remove old var_expand %variables

dict-ldap: Use new var_expand

driver_cassandra: Use new var_expand

lib-storage: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}.

lib-storage: Use new var_expand

lib-storage,imap-hibernate: Drop lip, rip, lport and rport %variables

They are removed in favor of local_ip, remote_ip, local_port and
remote_port.

lib-settings: Use new var_expand

NOTE: Dovecot will be broken until all users of
SETTINGS_EVENT_VAR_EXPAND_* are fixed.

lib-master: Use new var_expand

global: Remove var-expand.h from some places

global: Include lib-var-expand where needed

Add lib-var-expand

lib: event-filter - Use system pool for memory

lib: mempool - Allow calling realloc without knowing block size

Supported by some pools only

dbox: Fail reading mails if it has external attachment and mail_ext_attachment_dir is empty

Previously it was just silently dropping the attachments.

imap(-login): Change imap_capability to boollist.

lib-imap: Introduce imap_write_capability() function.

lib-settings: Introduce settings_boollist_is_stopped() function.

The function is to be used to identify if boollist setting is set
explicitly or updating existing (default) settings.

config: Fix formatting of boollist keys containing '=' by doveconf.

login-common: Add service field to client event.

service field is needed for applying default settings.

lib-settings: Call settings_parse_array_stop for seen settings.

Not calling settings_parse_array_stop() for seen settings cause
excessive elements in list, when settings are read for second time.

lib-settings: Allow override setting keys ending with '+' for non SET_STR and SET_FILTER_ARRAY types.

For SET_STR and SET_FILTER_ARRAY types + at the end of the key is
treated as appending to the value.
Particularly, this change allows boollist entries to end with '+'.

imap(-login): Remove +CAPABILITY functionality from imap_capability setting.

This will be unnecessary after the following commit changes
imap_capability to BOOLLIST.

imap-login: Whitespace cleanup.

lib-storage: Change mbox_[read|write]_locks to BOOLLIST..

lib-storage: shared - Minor shared_ns_prefix_validate() optimization

lib-storage: shared - Split off shared_ns_prefix_validate()

lib-storage, acl: Replace %%variables in shared namespace prefix with $variables

%%u -> $user, %%n -> $username, %%d -> $domain

This the variables couldn't actually be used in any complex ways,
these $variable templates make more sense. They're also more consistent
with how dict-sql handles similar templating.

dict-cdb: Implement new init() API

global: Rename service_idle_kill to service_idle_kill_interval

Also rename related functions and macros.

This clarifies a bit what the setting does: It's the interval between
killing idle processes, not the amount of time when an idling process
is killed.

auth: Rename passdb_mechanisms_filter=none to lookup

auth: Rename passdb_mechanisms to passdb_mechanisms_filter

Rename also related variables.

mail-crypt: Detect chacha20-poly1305 correctly

lib-settings: Add default name fields for named list filter overrides

For example if -o namespace+=foo, it's no longer necessary to explicitly
add also -o namespace/foo/name=foo.

lib-settings: Fix order of override settings

lib-settings: settings - Add support for sorting filter array fields

lib-settings: test-settings-parser - Always use designated initializers for setting defs

trash: Convert plugin settings to regular settings

lib-storage: Splitt off mailbox_settings_get_vname()

pop3-migration: Convert plugin settings to regular settings

charset-alias: Convert plugin settings to regular settings

apparmor: Convert plugin settings to regular settings

virtual: Convert plugin settings to regular settings

mail-log: Convert plugin settings to regular settings

last-login: Convert plugin settings to regular settings

global: Use array_lsearch_ptr[_idx]() where possible

quota: Split off quota_root_settings

quota: quota-status - Convert plugin settings to global settings

quota: doveadm quota get - Hide quota roots with quota_ignore=yes

quota: Remove early MAIL_STORAGE_CLASS_FLAG_NOQUOTA check

This is still checked later on. This early check caused problems, since
it could have triggered storage creation while namespaces were still
being added.

quota: Fix linking quota-status

The duplicate objects with quota plugin may have caused crashes.

quota: Use shared code for setting quota-backend: event log prefix

quota: Remove quota_args setting

All backends have replaced the args with global settings.

quota-imapc: Move quota_args to global quota_imapc_* settings

The default is to use GETQUOTAROOT INBOX for finding the used quota root.
If quota_imapc_root_name is non-empty, it is used instead.

Since some configurations may need to use an empty quota_imapc_root_name,
this is used when quota_imapc_mailbox_name is also set to empty.

quota-fs: Move quota_args to global quota_fs_* settings

quota: Move quota_args=noenforcing to quota_enforce=no

quota: Move quota_args=ignoreunlimited to quota_ignore_unlimited

quota: Move quota_args=hidden to quota_hidden setting

quota: Replace quota_warning_command and quota_over_status_script with execute { .. }