auth: ldap - Fix potential crash at deinit

Continuation of 5ff9a8686a29c423e1fcf90f2d36af521cef6f7d. It didn't fix
a situation where there were passdb requests still pending, because
passdb deinit only unreferenced db-ldap and then freed passdb settings.
Only after userdb deinit unreferenced db-ldap again did it try to abort
the ldap requests, but now the passdb settings were already NULL.

login-common: If proxying fails due to remote having invalid SSL cert, don't reconnect

Consistently use LOGIN_PROXY_FAILURE_TYPE_INTERNAL_CONFIG type regardless of
whether the failure happens in ssl_iostream_handshake() or later.

lib-ssl-iostream, global: Rename ssl_iostream_has_[valid_]client_cert() to ssl_iostream_has_[valid_]cert()

These functions can be used (and are used) for both client and server
connections, so it's confusing having the "client" in the function name.

lib-ssl-iostream: Replace ssl_iostream.has_[valid_]client_cert() with new ssl_iostream.get_cert_validity()

lib-ssl-iostream: Remove ssl_iostream_has_handshake_failed()

Its meaning is a bit too ambiguous. It's better for callers to use
ssl_iostream_get_state().

lib-http, lib-smtp: Retry requests on unexpected SSL handshake failures

Retrying should be disabled only when certificate is invalid, not for other
handshake errors.

lib-ssl-iostream: Implement ssl_iostream_is_handshaked() with ssl_iostream_get_state()

lib-ssl-iostream: Add ssl_iostream_get_state()

lib-ssl-iostream: Fix indent

lib-ssl-iostream, global: Change ssl_iostream_handshake_callback_t to return enum

The enum gives more details what failed.

lib-ssl-iostream, global: ssl_iostream_check_cert_validity() - Change return value to enum

The enum gives more details what failed.

auth: Deinitialize userdb before freeing up settings

Some userdbs need the settings during deinitialization.

This was done for passdbs in 054ee6ae3b9a0ec7f669724037cca9059251b138.

login-common: Initialize rawlog after TLS handshake

login-common: Reload client settings before proxying

This allows expanding settings that need username.

login-common: Extract client_reload_settings()

lib-dict-extra: dict-client - Retry transactions on errors if possible

If transaction has "atomic inc" operation, it cannot be retried.

lib-dict-extra: dict-client - Delay sending transactions to dict-server until commit

lib-dict-extra: dict-client - Retry commands when disconnected from server

Commands were previously retried when sending the command failed, but not
afterwards.

lib-dict-extra: dict-client - Add LF to stored query strings

This simplifies the following changes.

lib-dict-extra: dict-client - Add client_dict_cmd_get_log_query() wrapper

lib: unicode-transform - Fix integer comparisons in Hangul functions

lib: iostream-rawlog - Do not log errors for permissions

If permissions are not sufficient, fail silently.

config: Fix chaining $SET variables to a setting with $variables

config: Allow config_write_keyvariable() to fail at expansion time without panic

Needed by the next commit.

config: Prepare for config_get_value() to return different errors

config: Remove special service_* -> $SET:default_* handling

This now works by setting them with regular setting_keyvalues.

config: Assume config parser end hook wants to change default settings

This is what Pigeonhole wants at least. This was already happening a bit
accidentally. Make thie explicit, because the next commit removes the
accidental method.

config: Delay expanding $SET variables until the whole config is parsed

This most importantly fixes using $SET in built-in group settings which
prevents changing the setting in the config file before it is already
expanded.

config: Prepare for storing unexpanded $SET variables into setting values

config: Add and use set_str_expanded() to simplify the following changes

config: Prepare for expanding $SET variables later

config: Fix $SET expansion handling between default/non-default settings

This becomes more important after following changes, which otherwise would
cause e.g. built-in $SET:default_idle_kill_interval to not use
default_idle_kill_interval from dovecot.conf.

config: config_write_keyvariable() - Add filter_parser parameter

config: Refactor config_get_value()

config: Move config_filters_find_child()

config: Move config_get_value()

config: config_get_value() - Add filter_parser parameter

config: Split config_module_parser.array to list and filter_array

The list is used for SET_STRLIST and SET_BOOLLIST, while filter_array is
used for SET_FILTER_ARRAY.

config: Rename config_apply_line() to config_apply_key_value()

lib-settings, global: Add prefix parameter to settings_parse_read_file()

doveconf: Fix crash when asking for specific settings but config is unusable

auth: auth-cache - Drop auth_cache_parse_key()

It's only used by tests and can now just call
auth_cache_parse_key_and_fields().

auth: auth-cache - Require cache key to contain at least one variable

auth: auth-cache - Treat cache key parsing errors as fatals

Avoids accidentically turning off caching

auth: auth-cache - Change auth_cache_parse_key_exclude() to return error

Simplifies following commit

auth: auth-cache - Deduplicate auth_cache_parse_key() to use auth_cache_parse_key_and_fields()

Simplifies following commit

auth: auth-cache - Refactor auth_cache_parse_key_and_fields()

Call auth_cache_parse_key_exclude() at the function end,
simplifies next commit.

auth: Use AUTH_CACHE_KEY_USER instead of per-database constants

Fixes cache key issue where users would end up overwriting
each other in cache due to cache key being essentially static
string because we no longer support %u.

Forgotten in 2e298e7ee98b6df61cf85117f000290d60a473b8

lib-language: Substitute libicu lowercase mapping implementation with our own

lib: unicode-transform - Implement case mapping

lib: unicode-data - Add case folding mappings

lib: unicode-data - Add special case mappings for upper and lower case

lib-language: Drop old word break and word boundary lookup implementation

lib-language: lang-tokenizer-generic - Use the new Unicode character database

lib: unicode-data - Add relevant word break and boundary bits

lib: unicode-transform - Add Unicode conformance test for NF* normalizations as unit test

lib: unicode-transform - Implement streaming Unicode Normalization

All standard forms are supported: NFD, NFKD, NFC, NFKC.

lib: unicode-transform - Add generic Unicode string transformation API

lib: unicode-data - Add fields needed for Unicode normalization

lib: unicode-transform - Make Hangul base and count definitions global

lib: unicode-transform - Implement RFC5051 API in UTF32 and use it

lib: unicode-transform - Rename chr variables/parameters to cp

These are code points and not characters per se.

lib: unicode-transform - Rename uni_ucs4_decompose_hangul() to unicode_hangul_decompose()

lib: unicode-transform - Avoid unichar_t in unicode modules

lib: unichar - Move uni_ucs4_decompose_one_utf8() to unicode-transform.c

lib: unichar - Move Hangul syllable handling to unicode-transform.c

lib: Drop the old Unicode Character Database implementation

lib: unichar - Implement uni_utf8_to_decomposed_titlecase() using the new Unicode character database

lib: unichar - Implement uni_ucs4_to_titlecase() using the new Unicode character database

lib: unichar - Split off uni_ucs4_decompose_hangul()

lib: unichar - Update hangul syllable decomposition to the latest standard

lib: test-unichar - Move collation test to separate function

lib: unicode-data - Add data for first and full code point decomposition

lib: Start new Unicode Character Database implementation

It uses a pre-compiled trie structure and will in later commits feature full
support for the data necessary for Unicode normalization. Stuff needed for
lib-language can be migrated here as well.

lib: Move Unicode Character Database (UCD) files to ./ucd

lib-test: Add test_assert_memcmp*()

lib-test: test-common - Drop spurious spaces in function prototype

lib-storage: mail_storage_settings_ext_check() - Add warning for deprecated mailbox_directory_name_legacy setting

lib-storage: mail-storage-settings - Disable mailbox_directory_name_legacy by default

config: Setting changes may have updated the included group's settings

If group include was done before other settings, any further updates
changed the group's settings. For example:

group @test foo {
  default_internal_user = A
}
service imap {
  @test = foo
  default_internal_user = B
}
service pop3 {
  @test = foo
}

This caused service pop3 to also have default_internal_user=B.

master: Check that no other fd than DOVECOT_CONFIG_FD leaks

This fd is needed for configuration reading.

lib-master: Ensure cache fd is closed on exec

Prevents it from leaking by accident.

lib-storage: fs - Initialize roots in iteration always

Fixes segmentation fault when running force-resync with missing folder.

lib-storage: Remove diversions to mailbox_list_subscriptions_iter_*()

lib-storage: drivers - Remove *_list_iter_next() driver specific code

lib-storage: mailbox_list_iter_next_call() - Handle subscriptions
directly here

lib-storage: Make mailbox_tree_deinit() and mailbox_tree_iterate_deinit() no-ops on NULLs

fts: fts_parser_script_try_init() - Initialize filename

Found by clang scan-build static analysis.

lib-imap: test_imap_write_capabilities() - Add missing NULL to terminate the array

fts: Work harder to find attachment filename

login-common: Handle different dsasl_client_results failures better

*-login: Deduplicate shared SASL step handling code to login_proxy_sasl_step()

*-login: Add LOGIN_PROXY_FAILURE_TYPE_AUTH_NOT_REPLIED

*-commin: Rename LOGIN_PROXY_FAILURE_TYPE_AUTH to LOGIN_PROXY_FAILURE_TYPE_AUTH_REPLIED

lib-sasl: Add more results to enum dsasl_client_result

lib-sasl, global: Change dsasl_client_input/output() to return enum

imap-urlauth: Remove dead assignment

lib-var-expand-crypt: Fix linking issues

This fixes at least OSX linking issues.

doveadm: Fix boolean-parameter:false handling in doveadm HTTP API

doveadm_cmd_param_flag() returned TRUE if the parameter was set, regardless
of whether its value was set to true or false.

lib-http: Fix memory leak when accessing HTTP server via UNIX socket