lib-storage: Remove unused mail_storage_get_dynamic_parsers()

lib-storage, global: mail_storage_service_read_settings() - Remove unused pool parameter

lib-storage: Replace mail_user_set_get_driver_settings() with settings_parser_get_root_set()

lib-storage: Replace mail_namespace_get_driver_settings() with settings_parser_get_root_set()

lib-storage: Call settings_check() for all settings roots (3/3)

This commit finishes the breaking changes.

lib-storage, global: Change mail_user_init() to expand all settings automatically (2/3)

The callers must no longer expand the settings again.

lib-storage: Change storage-specific settings to regular settings roots (1/3)

This removes the need to have support for "dynamic settings".

This unfortunately also breaks Dovecot for the next two commits. The commits
are large enough that it doesn't make sense to squash them, and trying to
get them to work in the intermediate commits seems to be too much effort.

lib-storage: Set mail_user.unexpanded_set via unexpanded_set_parser

There is no need for mail_user_alloc*() to have a settings parameter.

lib-storage: Remove unnecessary prefixless_ns_unexpanded_set

lib-storage: Remove mail_namespace.unexpanded_set

dsync: Sync also namespaces where empty location setting came from userdb or -o parameter

lib-storage, dsync: Use a copy of unexpanded location settings

The unexpanded settings structs are used in only a few places. Replace
this usage by explicitly copying the few variables that are actually
needed. This allows getting rid of the full unexpanded settings structs,
which simplifies the settings handling code.

lib-storage: Add mail_storage_service_get_set_roots()

lib-storage: mail_user_set_get_driver_settings() - Add set_parser parameter

This is in preperation for the next commit that uses it.

lib-storage: mail_user_set_get_driver_settings() - Lookup settings via info struct

lib-settings: Add settings_find_dynamic_by_info()

global: Get settings via settings parser where possible

This will be required in the later commits.

lda, lmtp: raw_storage_create_from_set() - Use the same source for user settings and settings parser

lib-storage: Add mail_user.[unexpanded_]set_parser

The original parser stays unexpanded, while a duplicate parser will be
used for expanding settings. Also, since the whole parser is duplicated,
there's no need to anymore duplicate the settings structs themselves.

lib-settings: Remove unused settings_parser_get_list()

lib-master: Replace settings_parser_get_list() with settings_parser_get_root_set()

lib-master: Remove unused master_service_settings_parser_get_others()

lib-storage, global: Add root parameter to mail_storage_service_user_get_set()

login-common: Use settings_parser_get_root_set()

lib-master: Remove unused master_service_settings_get_others()

doveadm: Use master_service_settings_get_root_set*()

lib-master: Replace master_service_ssl_server_settings_get() with master_service_settings_get_root_set()

lib-master, global: Replace master_service_ssl_settings_get() with master_service_settings_get_root_set()

lib-master, lib-storage: Replace master_service_ssl_settings_get_from_parser() with settings_parser_get_root_set()

global: Use master_service_settings_get_root_set_dup()

lib-master: Add master_service_settings_get_root_set_dup()

lmtp: Duplicate the whole settings parser rather than individual settings structs

This will be needed later on.

lmtp: Remove client.user_set

lib-settings: Add settings_parser_get_root_set_dup()

global: Replace most master_service_settings_get_others() calls with master_service_settings_get_root_set()

lib-master: Add master_service_settings_get_root_set()

global: Replace most master_service_settings_parser_get_others() calls with settings_parser_get_root_set()

lib-storage: Remove unused mail_storage_service_get_settings()

lib-settings: Add settings_parser_get_root_set()

To make this work, for now we need to have a pointer to the original
struct setting_parser_info before dynamic parsers reallocate it. After
removing dynamic parsers this orig_info can be removed as well.

lib-settings: Remove unused settings_vars_have_key()

lib-storage: mail_user_init() - Assert that function is called only once

lib-storage: Change %home variable into function

This way home directory can be looked up on-demand rather than having to
go through all settings to find out if it's needed.

lib-storage: Fix calling mail_user_get_mail_home() during user initialization

When it's not already known that settings have been expanded, access
mail_home via unexpanded settings. This guarantees that the setting
hasn't been expanded yet. There's no guarantee whether user->set has
been expanded or not during mail_user_init().

lib: var-expand - Support single character variable functions

If the function name is "f", it's possible to use both %f and %{f} to
access the function.

lib-dns: Test that background cache refresh works when lookup starts failing

lib-dns: Assign client to context

Fixes signal 11 crash when background cache refresh fails, forgotten in
47f44374201e83ade6204bb237b163fbd066134a

doveadm: Remove oldstats leftovers

lib-smtp: Free client_transport on destroy

Plug a memory leak introduced by
a995ca1185afe80dd6819a856ca079ca4aae5126

lib-fts: fts_filter_stemmer_snowball_filter() - Handle cases where the stemmer returns no tokens

Fixes an issue raised originally against flatcurve in GitHub Issue #37,
where in some combination of languages and filters, the indexing crashes.
The ultimate cause was the improper assumption that snowball ALWAYS returns
a token, which happens to not be true.

fts-flatcurve: fts_flatcurve_xapian_index_body() - Explicit sign conversion between char and unsigned char

login-common: Fix for infinite recursion on invalid var expansion in login_log_format_elements and/or login_log_format

Broken by 0a3997e1c64f48529338a9f93d7c39381dfe4f72

fts-flatcurve: Fix queries with non character-based searches

Xapian::QueryParser tries to tokenize phrases with non-letters (at least
in certain situations), so this was leading to strange behavior when
searching for e-mail addresses.

Solution: manually create queries using low-level Xapian::Query commands
to precisely define the query. Has the added benefit of making the code
more compact and easier to read.

Fixes GitHub Issue #35

fts-flatcurve: Simplify handling of phrase queries

Dovecot FTS drivers can't properly support phrase searching (as of
v2.3.19), so simply ignore these queries in flatcurve. Both IMAP
searches and doveadm searches will pass both the phrase and the
component terms as part of the query, so no need to split the phrases
in the plugin.

fts: fts_expunge_log_read_end() - Always unlink corrupted log files

Broken by 87b5c1fc03945708726c175d540fd307f7f78480

fts: fts_expunge_log_flatten() - Fix event and memory leak

auth: Add support for ARGON2 scheme

dsync: Add assert to make scan-build happy again

Broken by 0f67c79e48fa783b658606a99cf18db8daf7884e

global: Use mail_user_var_expand() where possible

This makes it possible to use %variable functions (e.g. %{userdb:*}) for
these settings.

lib-storage: Add mail_user_var_expand()

global: Drop berkley db support leftovers

Berkeley DB support was already removed in d5acb577,
but these changes had been left behind at that time.

lib: Add unit tests for new interval-parsing in event-filter-parser

lib: Try to interpret filter values as intervals when parsing integer event values

This allows event filter values to be given as "1days" or "1week". This
is only done after parsing sizes and thus sizes takes precedences. Thus
for ambiguous units like "M" sizes are used before intervals (e.g. "1M"
= "1024 * 1024" and not "1M" = "60 * 60 * 1000 * 1000").

login-common: Report proxy-idle value as microseconds

To be consistent with other event attributes this value should be
reported as microseconds instead of seconds.

login-common: Refactor proxy_last_io to use the full timeval struct

Instead of getting the last proxy io by second-value alone this commit
uses the microseconds as well. The existing API is not altered.

lib: Add unit tests for new size-parsing in event-filter-parser

lib: Try to interpret filter values as sizes when parsing integer event values

This allows event filter values to be given as "16M" or "1G".

lib: Outfactor numeric event comparison

This function is later reused for size comparisons.

global: Replace settings_get_time*() with str_parse_get_interval*() in project

global: Replace settings_get_bool() with str_parse_get_bool() in project

global: Replace settings_get_size() with str_parse_get_size() in project

lib, lib-settings: Move string-parse functions for bool/size/interval into lib

Including the tests. Call the new functions from the existing
settings-functions. These will be removed in a later commit.

lib-storage: mail_search_args_simplify_drop_redundant_args() - Apply Absorptive law versus all terms, not just the 1st

doc: Use html and man pages from doc.dovecot.org

lmtp: Fix restoring global log prefix after session is finished

Broken by 069dfd657fd91a0e2a3a9307a0cf499d795f27f2

This change also slightly changes the lmtp log prefixes in some places.
It removes "conn $ip:$port [$idx]: rcpt $user:" from some of the log
messages (but that wasn't in all of the log messages anyway), but it now
always includes mail_log_prefix in these log messages, which previously
wasn't always set at that point yet.

lmtp: Add support for haproxy SSL flag

login-common: Check that ssl=required is not used with auth_allow_cleartext=yes

login-common: Clarify client error when login attempted without TLS

login-common: ssl=required now requires TLS also for non-TLS/localhost haproxy connections

login-common: ssl=required now requires TLS also for trusted connections

lib-storage: Rename mail_user_connection_data.ssl_secured to end_client_tls_secured

lib-login: Rename LOGIN_REQUEST_FLAG_CONN_SSL_SECURED to ..._FLAG_END_CLIENT_SECURED_TLS

lmtp: Forward end_client_tls_secured state through proxies

*-login: Forward end_client_tls_secured state through proxies

lib-smtp: Add XCLIENT CLIENT-TRANSPORT field

lib-login: Remove LOGIN_REQUEST_FLAG_CONN_SECURED

lib-storage: Remove unused mail_user_connection_data.secured

lib-storage: Remove mail_storage_service_input.conn_secured

This isn't actually used by anything, and it's rather ambiguous how it's
supposed to work through proxies.

login-common: Handle haproxy's TLS terminated connections same as if Dovecot did TLS termination

If haproxy is running on localhost, this is clearly the case. If haproxy
is not running on localhost, it's a bit more ambiguous. It is possible to
configure haproxy to do TLS termination and then use another TLS connection
towards Dovecot, but this is likely a not so common configuration. More
likely the intention is that if haproxy has done TLS termination, it should
be handle the same as if Dovecot had done it.

This commit doesn't actually change any behavior. It just makes the tls
variables work in a more consistent way.

login-common: Connections from haproxy are always considered secured

Similarly to non-haproxy connections from login_trusted_networks are
considered secured, connections from haproxy_trusted_networks should also be
considered secured.

lb-auth, auth: Change transport=trusted to transport=secured in event fields

Using "trusted" word here is wrong/confusing. Login process uses both
"trusted" and "secured" words in connections to mean different things.

login-common: Fix logging %{secured} and %{ssl_security} for haproxy TLS connections

It should have been logged as TLS (proxied), but this had never worked.
Instead, it was logged simply as "secured".

*-login: Don't advertise/allow STARTTLS if haproxy already terminated TLS

auth: Rename "secured" variable/enum to "conn_secured"

lib-auth: Rename AUTH_REQUEST_FLAG_TRANSPORT_SECURITY_TLS to AUTH_REQUEST_FLAG_CONN_SECURED_TLS

lib-auth: Rename AUTH_REQUEST_FLAG_SECURED to AUTH_REQUEST_FLAG_CONN_SECURED

login-common: Rename client.trusted to connection_trusted

login-common: Rename client.starttls to connection_used_starttls

login-common: Rename client.proxied_ssl to haproxy_terminated_tls

login-common: Rename client.tls to connection_tls_secured

login-common: Rename client.ssl_secured to end_client_tls_secured

Also note in the comment that this behavior is currently broken on a
proxying setup.