lib-settings: Use new var_expand

NOTE: Dovecot will be broken until all users of
SETTINGS_EVENT_VAR_EXPAND_* are fixed.

lib-master: Use new var_expand

global: Remove var-expand.h from some places

global: Include lib-var-expand where needed

Add lib-var-expand

lib: event-filter - Use system pool for memory

lib: mempool - Allow calling realloc without knowing block size

Supported by some pools only

dbox: Fail reading mails if it has external attachment and mail_ext_attachment_dir is empty

Previously it was just silently dropping the attachments.

imap(-login): Change imap_capability to boollist.

lib-imap: Introduce imap_write_capability() function.

lib-settings: Introduce settings_boollist_is_stopped() function.

The function is to be used to identify if boollist setting is set
explicitly or updating existing (default) settings.

config: Fix formatting of boollist keys containing '=' by doveconf.

login-common: Add service field to client event.

service field is needed for applying default settings.

lib-settings: Call settings_parse_array_stop for seen settings.

Not calling settings_parse_array_stop() for seen settings cause
excessive elements in list, when settings are read for second time.

lib-settings: Allow override setting keys ending with '+' for non SET_STR and SET_FILTER_ARRAY types.

For SET_STR and SET_FILTER_ARRAY types + at the end of the key is
treated as appending to the value.
Particularly, this change allows boollist entries to end with '+'.

imap(-login): Remove +CAPABILITY functionality from imap_capability setting.

This will be unnecessary after the following commit changes
imap_capability to BOOLLIST.

imap-login: Whitespace cleanup.

lib-storage: Change mbox_[read|write]_locks to BOOLLIST..

lib-storage: shared - Minor shared_ns_prefix_validate() optimization

lib-storage: shared - Split off shared_ns_prefix_validate()

lib-storage, acl: Replace %%variables in shared namespace prefix with $variables

%%u -> $user, %%n -> $username, %%d -> $domain

This the variables couldn't actually be used in any complex ways,
these $variable templates make more sense. They're also more consistent
with how dict-sql handles similar templating.

dict-cdb: Implement new init() API

global: Rename service_idle_kill to service_idle_kill_interval

Also rename related functions and macros.

This clarifies a bit what the setting does: It's the interval between
killing idle processes, not the amount of time when an idling process
is killed.

auth: Rename passdb_mechanisms_filter=none to lookup

auth: Rename passdb_mechanisms to passdb_mechanisms_filter

Rename also related variables.

mail-crypt: Detect chacha20-poly1305 correctly

lib-settings: Add default name fields for named list filter overrides

For example if -o namespace+=foo, it's no longer necessary to explicitly
add also -o namespace/foo/name=foo.

lib-settings: Fix order of override settings

lib-settings: settings - Add support for sorting filter array fields

lib-settings: test-settings-parser - Always use designated initializers for setting defs

trash: Convert plugin settings to regular settings

lib-storage: Splitt off mailbox_settings_get_vname()

pop3-migration: Convert plugin settings to regular settings

charset-alias: Convert plugin settings to regular settings

apparmor: Convert plugin settings to regular settings

virtual: Convert plugin settings to regular settings

mail-log: Convert plugin settings to regular settings

last-login: Convert plugin settings to regular settings

global: Use array_lsearch_ptr[_idx]() where possible

quota: Split off quota_root_settings

quota: quota-status - Convert plugin settings to global settings

quota: doveadm quota get - Hide quota roots with quota_ignore=yes

quota: Remove early MAIL_STORAGE_CLASS_FLAG_NOQUOTA check

This is still checked later on. This early check caused problems, since
it could have triggered storage creation while namespaces were still
being added.

quota: Fix linking quota-status

The duplicate objects with quota plugin may have caused crashes.

quota: Use shared code for setting quota-backend: event log prefix

quota: Remove quota_args setting

All backends have replaced the args with global settings.

quota-imapc: Move quota_args to global quota_imapc_* settings

The default is to use GETQUOTAROOT INBOX for finding the used quota root.
If quota_imapc_root_name is non-empty, it is used instead.

Since some configurations may need to use an empty quota_imapc_root_name,
this is used when quota_imapc_mailbox_name is also set to empty.

quota-fs: Move quota_args to global quota_fs_* settings

quota: Move quota_args=noenforcing to quota_enforce=no

quota: Move quota_args=ignoreunlimited to quota_ignore_unlimited

quota: Move quota_args=hidden to quota_hidden setting

quota: Replace quota_warning_command and quota_over_status_script with execute { .. }

quota: Use quota_root.backend.event instead of quota_root.quota.event

quota: Add quota_<backend> named filters

quota: Initial conversion to use global settings

quota: Minor code refactoring

Simplifies the following commits.

quota: Simplify quota_root_is_visible()

quota: Change quota_backend_vfuncs.namespace_added() to take root parameter

The quota-fs mountpoint handling was also simplified.

quota: Move namespaces list to quota_root

It makes more sense in there.

quota: Rename quota_over_status_value to quota_over_status_mask

quota: Rename quota_over_flag* to quota_over_status*

This includes the settings and function names.

quota: Rename quota_over_flag to quota_over_flag_current

quota, imap_quota: quota_get_resource() - Changed mailbox_name parameter to struct mailbox

quota: Fix deduplication of alias_for namespaces

The pointer checks didn't actually work, because they weren't set at this
point yet.

quota: Fix memory leak if quota backend init() fails

quota: Require quota backends to have init()

All the backends already have one.

quota: Rename quota_root_settings to quota_root_legacy_settings

quota: Delay calculating percentage-based quota limits

This simplifies the following changes.

quota: Remove quota_root_settings.have_reverse_warnings

Look it up on-demand instead.

quota: Drop support for percentage based quota_grace

Also change the default from 10% to 10 MB. It's likely not necessary to
support both, and having a fixed size makes usually more sense than a
percentage that can be rather huge. If we wanted to support both, the
settings redesign would require two separate grace settings, which seems
a bit excessive.

quota: Remove support for Maildir++-specific quota rules

Using quota_rule = *:backend=10C,20S worked previously with Maildir++
quota to read a limit of 10 messages and 20 bytes of quota. If necessary,
this parsing can be replaced by using userdb lua script.

quota: Remove unused quota_backend_vfuncs.init_limits()

quota: Remove support for getting quota limits from quota backends

Previously using quota_rule = ?:... with Maildir++ quota would read the
limit from maildirsize file, if it existed. This feature wasn't really
even documented, so it's unlikely to be used, and it unnecessarily
complicates the code.

quota: Remove quota_root_settings.set

Only the memory pool was used from it. Pass it via parameters instead.

quota: quota_rule_parse_limits() - Return error allocated from data stack

There is no need to use the quota's memory pool for it.

quota: Convert initial set of quota plugin settings to global settings

quota: Initialize quota plugin even without any quota settings

After the following changes, it's not known whether there are quota
settings, since they could be e.g. mailbox-specific.

quota: Rename struct quota_settings to quota_legacy_settings

quota: Move quota_settings.vsizes to struct quota

quota, trash: Move quota_settings.test_alloc() to struct quota

quota: Remove quota_settings.event

It was only used for convenience of having some event in an easily
accessible place. However, it makes the following changes more difficult.

quota: Remove quota_settings.initialized

This was only used for checking whether a debug log message should have been
sent. But if that code was reached, quota must have been initialized.

quota: Remove quota_settings.debug

This was already effectively no-op.

quota: Rename quota_max_mail_size setting to quota_mail_size

This is more consistent with other settings, e.g. quota_mailbox_count
instead of quota_max_mailbox_count.

lib-storage: Initialize alias_for setting for autocreated shared namespaces

Setting strings are never NULL anymore, so this wasn't expected.

lib-imap-client: Add comment to imapc_client_get_capabilities()

imapc: Fix error message if attribute iteration fails

The error message was set to storage in iteration init, but it wasn't
looked up until at iteration deinit. Normally this wouldn't have been
a problem, except the generic attribute iteration code didn't know
about this failure at init time yet, so it added extra attributes
which were returned. Handling these extra attributes could have caused
other errors, which replaced the original error.

lib-dict-backend: test-dict-sql - Fix to work when using built-in sql drivers

The test worked when configuring --with-sql=plugin, but not --with-sql.

Fixes: Fatal: sql_driver_register(mysql): Already registered

welcome: Use program_client_create_auto() and convert settings

New configuration example:

welcome {
  execute hello {
  }
  wait = yes
}

lib-program-client: Add program_client_parameters.append_args

lib-program-client: Add args to "Created" debug log message

lib-program-client: Change log prefix from "program" to "execute"

lib-program-client: Rename "local" driver to "fork"

lib-program-client: Add program_client_create_auto()

lib-program-client, global: Move program_client_parameters.event to function parameters

The event is required.

lib-program-client, global: Move noreply parameter to program_client_parameters

lib-program-client, global: Remove program_client_parameters.restrict_set, home, allow_root

No callers were actually trying to change them, and generally it wouldn't
even be possible. The processes using lib-program-client aren't running
as root. If different uid/gid/etc is wanted, tcp/unix drivers can be used.

lib-smtp: Remove smtp_submit_session.allow_root

If sendmail is executed, it will be as whatever the current process is
running as. Outside unit tests this isn't expected to be root, but if it
is, there's nothing to be gained by preventing it.

lib-program-client: Remove drop_stderr parameter

This isn't used by any callers, and it doesn't seem very useful.

lib-program-client, global: Remove program_client_parameters.debug

Just inherit it from the parent event.