auth: db-passwd-file - Normalize path with db_passwd_fix_path()

Otherwise there is a chance that we leak one ../

auth: db-passwd-file - Add db_passwd_fix_path()

auth: db-passwd-file - Include event in var_expand_params

auth: userdb-passwd-file - Use container_of() macro

lib-storage: Add metacache_service_user_module

This is a bit of a kludge to keep it in core, but it is wanted independently
by both obox and fts_dovecot plugins.

lib-storage: Add mailbox_list_lost_mailbox_prefix hidden setting

This replaces mail_storage.lost_mailbox_prefix.

lib-storage: Add mail_storage_service_user.module_contexts

This allows plugins to add plugin-specific fields to
mail_storage_service_user.

lib-storage: Make struct mail_storage_service_user public

Mainly to allow plugin-specific module_contexts in the next commit.

config: Add @metric_defaults = proxy/backend

config: Don't run settings check functions inside @groups

The groups can be included from different places, so alone they don't have a
usable context for the checks.

config: Allow specifying service settings inside @groups

doveconf: Added -I parameter to dump config imported from plugins

config: Support importing configuration from settings plugins

Add to the settings plugin:

const char *<plugin name>_config_import = "..."

This is mainly intended to be used for adding default @groups.

lib-storage: Check that mail_server_admin is valid URI

lib: test-uri - Fix sip tests

In RFC 3261 the tag is clearly outside the URI.

lib: uri - Allow host after scheme with 'iax' scheme

lib: uri - Allow parameters directly with semicolon

Fixes AAA validation.

lib: test-uri - Add test for [IPv6] with http scheme

lib: test-uri - Print error when RFC URI parsing fails

config: Fail with error if trying to use settings inside groups which don't work

config: doveconf - When asking for specific settings, show also defaults

doveconf: Expand include @groups when asking for specific settings

For example if you have:

group @example foo {
  namespace_separator = /
}

namespace inbox {
  @example = foo
}

Asking for "doveconf namespace/inbox/separator" will now output "/".

config: Fail if trying to use unknown @group label or name

config: Add config_filters_equal_no_recursion()

config: Replace config_module_parsers_get_setting() with config_parsed_get_setting()

The new function looks up both explicitly changed settings and default
settings.

master, config: Add default_* service settings

Added default_process_limit, default_client_limit,
default_idle_kill_interval and default_vsz_limit settings. The global
service_* settings default to using these.

These settings are added into a new global "default settings" filter.
Other default settings are kept mixed with explicit settings, because
for them it doesn't matter that they are mixed, and it simplifies
settings value lookups.

config: Initialize STRLIST and BOOLLIST arrays with defaults

This will be needed by the following changes. Otherwise doveconf output
shows only the elements in config file, not the built-in defaults.

config: Remove config_parsed_get_module_parsers() wrapper

config: Remove config_export_get_*() wrapper functions

Use config_module_parsers_get_setting() directly.

config: Remove separate ordering for default service settings

This changes e.g. a global "service_process_limit = N" to override it for
all services, unless they have an explicit service { process_limit = M }
in the config file.

This change simplifies the following changes and removes the special
handling of global service settings.

config: config_get_value() - Fix crash if looking up setting that only has default value

config: Fix doveconf output when using $SET: and $ENV:

If they were used for non-string values, they were attempted to be
validated, which caused e.g. "Not a valid number" errors.

config: Allow auto-creating new filters based on settings key paths

This is especially needed for old-set-parser where e.g. auth_worker_max_count
converts to service/auth-worker/process_limit. This worked so far because
service/auth was created as a non-default settings filter, so it was simply
updated. However, with the next change service/auth becomes a "service
default" filter, which can't be directly updated. Instead a whole new
non-default service/auth filter must be created.

This change shouldn't break anything, although it will now allow
auto-creating named list filters in configuration file, e.g.
"namespace/inbox/separator=/" will directly work.

run-test-valgrind.supp - Amend test_lib_fatal_ostream_file suppression

Make stack pattern more robust to compiler diversity.

auth: Add test for auth request export import

mail-lua: Add lua_call filter to var_expand

When mail-lua is loaded, it registers new var_expand filter
lua_call(fn, parameter, parameter)

This will call function in mail lua script with
fn(mail_user, parameter, parameter, .., state)

fn must (return 0, value) on success, and (-1, errmsg) on error

auth: passwd-file - Add all fields to passwd_file provider

global: Right-size some pools

Avoids excess malloc traffic

lib: Drop old var_expand

var-expand-crypt: Convert to new var_expand

quota-status: Use new var_expand

notify-status: Use new var_expand

stats: Use new var_expand

Dropping %{domain} in favor of %{value | domain}

config: Use new var_expand

master: Use new var_expand

lda: Use new var_expand

doveadm: Use new var_expand

submission: Use new var_expand

pop3: Use new var_expand

imap-hibernate: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}

imap-hibernate: Use new var_expand

imap-urlauth: Change logout format to match new var expand syntax

imap: Use new var_expand

auth: Change auth_request_var_expand() return value

It now returns -1 on error and 0 on success

auth: Return error from auth worker on failure

auth: Drop username and domain %variable variants

These can be generated with %{user|username} and %{user|domain}

auth: Use new var_expand

auth: ldap - Always lowercase attribute names

LDAP attributes are DirectoryStrings, which are case insensitive.

auth: ldap - Replace ldap_dn with ldap:dn

While it's theoretically possible that someone can introduce an
attribute called DN, it is not practically possible.

auth: Remove old var_expand %variables

login-common: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}.

login-common: Use new var_expand

login-common: Remove old var_expand %variables

dict-ldap: Use new var_expand

driver_cassandra: Use new var_expand

lib-storage: Drop username and domain %variable variants

These can be produced with %{user | username} and %{user | domain}.

lib-storage: Use new var_expand

lib-storage,imap-hibernate: Drop lip, rip, lport and rport %variables

They are removed in favor of local_ip, remote_ip, local_port and
remote_port.

lib-settings: Use new var_expand

NOTE: Dovecot will be broken until all users of
SETTINGS_EVENT_VAR_EXPAND_* are fixed.

lib-master: Use new var_expand

global: Remove var-expand.h from some places

global: Include lib-var-expand where needed

Add lib-var-expand

lib: event-filter - Use system pool for memory

lib: mempool - Allow calling realloc without knowing block size

Supported by some pools only

dbox: Fail reading mails if it has external attachment and mail_ext_attachment_dir is empty

Previously it was just silently dropping the attachments.

imap(-login): Change imap_capability to boollist.

lib-imap: Introduce imap_write_capability() function.

lib-settings: Introduce settings_boollist_is_stopped() function.

The function is to be used to identify if boollist setting is set
explicitly or updating existing (default) settings.

config: Fix formatting of boollist keys containing '=' by doveconf.

login-common: Add service field to client event.

service field is needed for applying default settings.

lib-settings: Call settings_parse_array_stop for seen settings.

Not calling settings_parse_array_stop() for seen settings cause
excessive elements in list, when settings are read for second time.

lib-settings: Allow override setting keys ending with '+' for non SET_STR and SET_FILTER_ARRAY types.

For SET_STR and SET_FILTER_ARRAY types + at the end of the key is
treated as appending to the value.
Particularly, this change allows boollist entries to end with '+'.

imap(-login): Remove +CAPABILITY functionality from imap_capability setting.

This will be unnecessary after the following commit changes
imap_capability to BOOLLIST.

imap-login: Whitespace cleanup.

lib-storage: Change mbox_[read|write]_locks to BOOLLIST..

lib-storage: shared - Minor shared_ns_prefix_validate() optimization

lib-storage: shared - Split off shared_ns_prefix_validate()

lib-storage, acl: Replace %%variables in shared namespace prefix with $variables

%%u -> $user, %%n -> $username, %%d -> $domain

This the variables couldn't actually be used in any complex ways,
these $variable templates make more sense. They're also more consistent
with how dict-sql handles similar templating.

dict-cdb: Implement new init() API

global: Rename service_idle_kill to service_idle_kill_interval

Also rename related functions and macros.

This clarifies a bit what the setting does: It's the interval between
killing idle processes, not the amount of time when an idling process
is killed.

auth: Rename passdb_mechanisms_filter=none to lookup

auth: Rename passdb_mechanisms to passdb_mechanisms_filter

Rename also related variables.

mail-crypt: Detect chacha20-poly1305 correctly

lib-settings: Add default name fields for named list filter overrides

For example if -o namespace+=foo, it's no longer necessary to explicitly
add also -o namespace/foo/name=foo.

lib-settings: Fix order of override settings

lib-settings: settings - Add support for sorting filter array fields

lib-settings: test-settings-parser - Always use designated initializers for setting defs

trash: Convert plugin settings to regular settings

lib-storage: Splitt off mailbox_settings_get_vname()