global: Replace most master_service_settings_get_others() calls with master_service_settings_get_root_set()

lib-master: Add master_service_settings_get_root_set()

global: Replace most master_service_settings_parser_get_others() calls with settings_parser_get_root_set()

lib-storage: Remove unused mail_storage_service_get_settings()

lib-settings: Add settings_parser_get_root_set()

To make this work, for now we need to have a pointer to the original
struct setting_parser_info before dynamic parsers reallocate it. After
removing dynamic parsers this orig_info can be removed as well.

lib-settings: Remove unused settings_vars_have_key()

lib-storage: mail_user_init() - Assert that function is called only once

lib-storage: Change %home variable into function

This way home directory can be looked up on-demand rather than having to
go through all settings to find out if it's needed.

lib-storage: Fix calling mail_user_get_mail_home() during user initialization

When it's not already known that settings have been expanded, access
mail_home via unexpanded settings. This guarantees that the setting
hasn't been expanded yet. There's no guarantee whether user->set has
been expanded or not during mail_user_init().

lib: var-expand - Support single character variable functions

If the function name is "f", it's possible to use both %f and %{f} to
access the function.

lib-dns: Test that background cache refresh works when lookup starts failing

lib-dns: Assign client to context

Fixes signal 11 crash when background cache refresh fails, forgotten in
47f44374201e83ade6204bb237b163fbd066134a

doveadm: Remove oldstats leftovers

lib-smtp: Free client_transport on destroy

Plug a memory leak introduced by
a995ca1185afe80dd6819a856ca079ca4aae5126

lib-fts: fts_filter_stemmer_snowball_filter() - Handle cases where the stemmer returns no tokens

Fixes an issue raised originally against flatcurve in GitHub Issue #37,
where in some combination of languages and filters, the indexing crashes.
The ultimate cause was the improper assumption that snowball ALWAYS returns
a token, which happens to not be true.

fts-flatcurve: fts_flatcurve_xapian_index_body() - Explicit sign conversion between char and unsigned char

login-common: Fix for infinite recursion on invalid var expansion in login_log_format_elements and/or login_log_format

Broken by 0a3997e1c64f48529338a9f93d7c39381dfe4f72

fts-flatcurve: Fix queries with non character-based searches

Xapian::QueryParser tries to tokenize phrases with non-letters (at least
in certain situations), so this was leading to strange behavior when
searching for e-mail addresses.

Solution: manually create queries using low-level Xapian::Query commands
to precisely define the query. Has the added benefit of making the code
more compact and easier to read.

Fixes GitHub Issue #35

fts-flatcurve: Simplify handling of phrase queries

Dovecot FTS drivers can't properly support phrase searching (as of
v2.3.19), so simply ignore these queries in flatcurve. Both IMAP
searches and doveadm searches will pass both the phrase and the
component terms as part of the query, so no need to split the phrases
in the plugin.

fts: fts_expunge_log_read_end() - Always unlink corrupted log files

Broken by 87b5c1fc03945708726c175d540fd307f7f78480

fts: fts_expunge_log_flatten() - Fix event and memory leak

auth: Add support for ARGON2 scheme

dsync: Add assert to make scan-build happy again

Broken by 0f67c79e48fa783b658606a99cf18db8daf7884e

global: Use mail_user_var_expand() where possible

This makes it possible to use %variable functions (e.g. %{userdb:*}) for
these settings.

lib-storage: Add mail_user_var_expand()

global: Drop berkley db support leftovers

Berkeley DB support was already removed in d5acb577,
but these changes had been left behind at that time.

lib: Add unit tests for new interval-parsing in event-filter-parser

lib: Try to interpret filter values as intervals when parsing integer event values

This allows event filter values to be given as "1days" or "1week". This
is only done after parsing sizes and thus sizes takes precedences. Thus
for ambiguous units like "M" sizes are used before intervals (e.g. "1M"
= "1024 * 1024" and not "1M" = "60 * 60 * 1000 * 1000").

login-common: Report proxy-idle value as microseconds

To be consistent with other event attributes this value should be
reported as microseconds instead of seconds.

login-common: Refactor proxy_last_io to use the full timeval struct

Instead of getting the last proxy io by second-value alone this commit
uses the microseconds as well. The existing API is not altered.

lib: Add unit tests for new size-parsing in event-filter-parser

lib: Try to interpret filter values as sizes when parsing integer event values

This allows event filter values to be given as "16M" or "1G".

lib: Outfactor numeric event comparison

This function is later reused for size comparisons.

global: Replace settings_get_time*() with str_parse_get_interval*() in project

global: Replace settings_get_bool() with str_parse_get_bool() in project

global: Replace settings_get_size() with str_parse_get_size() in project

lib, lib-settings: Move string-parse functions for bool/size/interval into lib

Including the tests. Call the new functions from the existing
settings-functions. These will be removed in a later commit.

lib-storage: mail_search_args_simplify_drop_redundant_args() - Apply Absorptive law versus all terms, not just the 1st

doc: Use html and man pages from doc.dovecot.org

lmtp: Fix restoring global log prefix after session is finished

Broken by 069dfd657fd91a0e2a3a9307a0cf499d795f27f2

This change also slightly changes the lmtp log prefixes in some places.
It removes "conn $ip:$port [$idx]: rcpt $user:" from some of the log
messages (but that wasn't in all of the log messages anyway), but it now
always includes mail_log_prefix in these log messages, which previously
wasn't always set at that point yet.

lmtp: Add support for haproxy SSL flag

login-common: Check that ssl=required is not used with auth_allow_cleartext=yes

login-common: Clarify client error when login attempted without TLS

login-common: ssl=required now requires TLS also for non-TLS/localhost haproxy connections

login-common: ssl=required now requires TLS also for trusted connections

lib-storage: Rename mail_user_connection_data.ssl_secured to end_client_tls_secured

lib-login: Rename LOGIN_REQUEST_FLAG_CONN_SSL_SECURED to ..._FLAG_END_CLIENT_SECURED_TLS

lmtp: Forward end_client_tls_secured state through proxies

*-login: Forward end_client_tls_secured state through proxies

lib-smtp: Add XCLIENT CLIENT-TRANSPORT field

lib-login: Remove LOGIN_REQUEST_FLAG_CONN_SECURED

lib-storage: Remove unused mail_user_connection_data.secured

lib-storage: Remove mail_storage_service_input.conn_secured

This isn't actually used by anything, and it's rather ambiguous how it's
supposed to work through proxies.

login-common: Handle haproxy's TLS terminated connections same as if Dovecot did TLS termination

If haproxy is running on localhost, this is clearly the case. If haproxy
is not running on localhost, it's a bit more ambiguous. It is possible to
configure haproxy to do TLS termination and then use another TLS connection
towards Dovecot, but this is likely a not so common configuration. More
likely the intention is that if haproxy has done TLS termination, it should
be handle the same as if Dovecot had done it.

This commit doesn't actually change any behavior. It just makes the tls
variables work in a more consistent way.

login-common: Connections from haproxy are always considered secured

Similarly to non-haproxy connections from login_trusted_networks are
considered secured, connections from haproxy_trusted_networks should also be
considered secured.

lb-auth, auth: Change transport=trusted to transport=secured in event fields

Using "trusted" word here is wrong/confusing. Login process uses both
"trusted" and "secured" words in connections to mean different things.

login-common: Fix logging %{secured} and %{ssl_security} for haproxy TLS connections

It should have been logged as TLS (proxied), but this had never worked.
Instead, it was logged simply as "secured".

*-login: Don't advertise/allow STARTTLS if haproxy already terminated TLS

auth: Rename "secured" variable/enum to "conn_secured"

lib-auth: Rename AUTH_REQUEST_FLAG_TRANSPORT_SECURITY_TLS to AUTH_REQUEST_FLAG_CONN_SECURED_TLS

lib-auth: Rename AUTH_REQUEST_FLAG_SECURED to AUTH_REQUEST_FLAG_CONN_SECURED

login-common: Rename client.trusted to connection_trusted

login-common: Rename client.starttls to connection_used_starttls

login-common: Rename client.proxied_ssl to haproxy_terminated_tls

login-common: Rename client.tls to connection_tls_secured

login-common: Rename client.ssl_secured to end_client_tls_secured

Also note in the comment that this behavior is currently broken on a
proxying setup.

lib-master: Rename "proxy" connections to "haproxy"

We already have a Dovecot proxy, and naming haproxy connections simply as
"proxy" just causes confusion. If we end up supporting other types of
proxy protocols later on, we can try to figure out a better name.

login-common: Rename client.secured to connection_secured

lib: event-filter - Ensure 0 can be matched correctly in filters

Allow matching fields with > 0, priorly this would have always been
treated as string equality / wildcard match, instead we now want
to match it as number. Forgotten in 61cb32860f5237c5d928a7fed8a89f783c2f9b30

This fixes a signal 11 crash with equality comparison with a
non-wildcard value. Broken in aefe4941c14c6001a9d09fbc3122aca1417d00a8

lib: event-filter - Fix matching duration field

If duration field is used in event filter, it cannot be matched
here as no such field exists. We need to actually synthesize the
field here for matching.

lib-http: http-url - Make sure url->have_ssl is properly initialized in http_url_request_target_parse().

This fixes the problem that the HTTP server does not yield proper HTTPS urls for
incoming requests.

lib-oauth2: jwt - Allow missing 'typ' field

lib-oauth2: test-oauth2-jwt - Ensure we ignore 'none' algorithm

lib-storage: Tolerate but warn about unknown special_use labels

lib-ssl-iostream: Do not unref DH parameters too soon

SSL_CTX_set0_tmp_dh_pkey moves references to SSL_CTX which
frees the DH parameters itself.

Broken by 124c491aa688eec146c21718f0d98aec9ae03294

dsync: Skip autocreated mailboxes that haven't been created yet

imapc: Fix listing INBOX when INBOX is already the namespace prefix

This especially caused problems when using dsync with imapc, resulting in
"Remote lost mailbox GUID" errors.

lib-index/test-mail-index-transaction-update.c: Cleanup timezone instances

In 1a7b1f66fe the non-standard extern timezone was partially removed,
but some instances were left. Since the test is supposed to run with
TZ=UTC, and timezone would have been zero anyway, remove them all.

lib-dcrypt: Remove pointless else-if

lib-dcrypt: Initialize EVP_PKEY when loading JWK key

Satisfies static analysers

TODO: Remove mention on GnuTLS

m4: ssl.m4 - Drop unused checks

lib-crypto: Slightly reformat test-crypto.c

lib-dcrypt: Add OpenSSLv3 support

lib-dcrypt: test-crypto - Allow newline at end of PEM output

lib-dcrypt: test-crypto - Add missing x9.62 roundtrip test

lib-dcrypt: Rename dcrypt-openssl.c to dcrypt-openssl1.c

lib-dcrypt: Add asserts to key ID and Usage accessors

lib-dcrypt: Make error_r required

global: Call dcrypt always with error_r

lib-dcrytp: istream-decrypt - Report DER decoding issues

Fixes possibility of DER object decode error being reported
as truncation.

lib-dcrypt: Improve OpenSSL error handling

Will now try to get the error more thoroughly and handles out of memory
correctly.

lib-ssl-iostream: Fix compability with OpenSSL 3.0

lib-ssl-iostream: Do not attempt to load empty DH parameters

OpenSSL3 complains about empty DH parameters.

lib-ssl-iostream: Use EVP_PKEY to wrap DH parameters

Simplifies OpenSSL 3.0 compability

lib-ssl-iostream: Remove support for pre-1.0.2 OpenSSL

m4: Update ssl.m4

lib-ssl-iostream: Add test DH parameters

replicator: Fix crash when removing user from queue and debug logging is enabled

Broken by 4b5337667cea6dea3d684540ee79f26292f9b42d

replicator: Fix crash when importing user not listed by userdb iteration

Broken by 31545b4f38ea85615f0111a33d630a03d92d22ab