config: Allow config_write_keyvariable() to fail at expansion time without panic

Needed by the next commit.

config: Prepare for config_get_value() to return different errors

config: Remove special service_* -> $SET:default_* handling

This now works by setting them with regular setting_keyvalues.

config: Assume config parser end hook wants to change default settings

This is what Pigeonhole wants at least. This was already happening a bit
accidentally. Make thie explicit, because the next commit removes the
accidental method.

config: Delay expanding $SET variables until the whole config is parsed

This most importantly fixes using $SET in built-in group settings which
prevents changing the setting in the config file before it is already
expanded.

config: Prepare for storing unexpanded $SET variables into setting values

config: Add and use set_str_expanded() to simplify the following changes

config: Prepare for expanding $SET variables later

config: Fix $SET expansion handling between default/non-default settings

This becomes more important after following changes, which otherwise would
cause e.g. built-in $SET:default_idle_kill_interval to not use
default_idle_kill_interval from dovecot.conf.

config: config_write_keyvariable() - Add filter_parser parameter

config: Refactor config_get_value()

config: Move config_filters_find_child()

config: Move config_get_value()

config: config_get_value() - Add filter_parser parameter

config: Split config_module_parser.array to list and filter_array

The list is used for SET_STRLIST and SET_BOOLLIST, while filter_array is
used for SET_FILTER_ARRAY.

config: Rename config_apply_line() to config_apply_key_value()

lib-settings, global: Add prefix parameter to settings_parse_read_file()

doveconf: Fix crash when asking for specific settings but config is unusable

auth: auth-cache - Drop auth_cache_parse_key()

It's only used by tests and can now just call
auth_cache_parse_key_and_fields().

auth: auth-cache - Require cache key to contain at least one variable

auth: auth-cache - Treat cache key parsing errors as fatals

Avoids accidentically turning off caching

auth: auth-cache - Change auth_cache_parse_key_exclude() to return error

Simplifies following commit

auth: auth-cache - Deduplicate auth_cache_parse_key() to use auth_cache_parse_key_and_fields()

Simplifies following commit

auth: auth-cache - Refactor auth_cache_parse_key_and_fields()

Call auth_cache_parse_key_exclude() at the function end,
simplifies next commit.

auth: Use AUTH_CACHE_KEY_USER instead of per-database constants

Fixes cache key issue where users would end up overwriting
each other in cache due to cache key being essentially static
string because we no longer support %u.

Forgotten in 2e298e7ee98b6df61cf85117f000290d60a473b8

lib-language: Substitute libicu lowercase mapping implementation with our own

lib: unicode-transform - Implement case mapping

lib: unicode-data - Add case folding mappings

lib: unicode-data - Add special case mappings for upper and lower case

lib-language: Drop old word break and word boundary lookup implementation

lib-language: lang-tokenizer-generic - Use the new Unicode character database

lib: unicode-data - Add relevant word break and boundary bits

lib: unicode-transform - Add Unicode conformance test for NF* normalizations as unit test

lib: unicode-transform - Implement streaming Unicode Normalization

All standard forms are supported: NFD, NFKD, NFC, NFKC.

lib: unicode-transform - Add generic Unicode string transformation API

lib: unicode-data - Add fields needed for Unicode normalization

lib: unicode-transform - Make Hangul base and count definitions global

lib: unicode-transform - Implement RFC5051 API in UTF32 and use it

lib: unicode-transform - Rename chr variables/parameters to cp

These are code points and not characters per se.

lib: unicode-transform - Rename uni_ucs4_decompose_hangul() to unicode_hangul_decompose()

lib: unicode-transform - Avoid unichar_t in unicode modules

lib: unichar - Move uni_ucs4_decompose_one_utf8() to unicode-transform.c

lib: unichar - Move Hangul syllable handling to unicode-transform.c

lib: Drop the old Unicode Character Database implementation

lib: unichar - Implement uni_utf8_to_decomposed_titlecase() using the new Unicode character database

lib: unichar - Implement uni_ucs4_to_titlecase() using the new Unicode character database

lib: unichar - Split off uni_ucs4_decompose_hangul()

lib: unichar - Update hangul syllable decomposition to the latest standard

lib: test-unichar - Move collation test to separate function

lib: unicode-data - Add data for first and full code point decomposition

lib: Start new Unicode Character Database implementation

It uses a pre-compiled trie structure and will in later commits feature full
support for the data necessary for Unicode normalization. Stuff needed for
lib-language can be migrated here as well.

lib: Move Unicode Character Database (UCD) files to ./ucd

lib-test: Add test_assert_memcmp*()

lib-test: test-common - Drop spurious spaces in function prototype

lib-storage: mail_storage_settings_ext_check() - Add warning for deprecated mailbox_directory_name_legacy setting

lib-storage: mail-storage-settings - Disable mailbox_directory_name_legacy by default

config: Setting changes may have updated the included group's settings

If group include was done before other settings, any further updates
changed the group's settings. For example:

group @test foo {
  default_internal_user = A
}
service imap {
  @test = foo
  default_internal_user = B
}
service pop3 {
  @test = foo
}

This caused service pop3 to also have default_internal_user=B.

master: Check that no other fd than DOVECOT_CONFIG_FD leaks

This fd is needed for configuration reading.

lib-master: Ensure cache fd is closed on exec

Prevents it from leaking by accident.

lib-storage: fs - Initialize roots in iteration always

Fixes segmentation fault when running force-resync with missing folder.

lib-storage: Remove diversions to mailbox_list_subscriptions_iter_*()

lib-storage: drivers - Remove *_list_iter_next() driver specific code

lib-storage: mailbox_list_iter_next_call() - Handle subscriptions
directly here

lib-storage: Make mailbox_tree_deinit() and mailbox_tree_iterate_deinit() no-ops on NULLs

fts: fts_parser_script_try_init() - Initialize filename

Found by clang scan-build static analysis.

lib-imap: test_imap_write_capabilities() - Add missing NULL to terminate the array

fts: Work harder to find attachment filename

login-common: Handle different dsasl_client_results failures better

*-login: Deduplicate shared SASL step handling code to login_proxy_sasl_step()

*-login: Add LOGIN_PROXY_FAILURE_TYPE_AUTH_NOT_REPLIED

*-commin: Rename LOGIN_PROXY_FAILURE_TYPE_AUTH to LOGIN_PROXY_FAILURE_TYPE_AUTH_REPLIED

lib-sasl: Add more results to enum dsasl_client_result

lib-sasl, global: Change dsasl_client_input/output() to return enum

imap-urlauth: Remove dead assignment

lib-var-expand-crypt: Fix linking issues

This fixes at least OSX linking issues.

doveadm: Fix boolean-parameter:false handling in doveadm HTTP API

doveadm_cmd_param_flag() returned TRUE if the parameter was set, regardless
of whether its value was set to true or false.

lib-http: Fix memory leak when accessing HTTP server via UNIX socket

login-common: Change login_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

lib-storage, doveadm: Change auth_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

global: Replace mail service binaries' -a parameter with auth_master_socket_path setting

lib-lua: Add dlua_var_expand() allow var_expand() from lua

lib-dict-extra: dict-client - Fix crash if server sends invalid iteration reply

lib-dict-extra: Install dict-client.h

lib-dict: Remove unused enum dict_data_type

dict: Remove unnecessary parsing of value_type parameter in handshake

It's not actually used for anything

lib: Fix crash when config is reloaded and logging to syslog

openlog() was called with a string pointing to settings. When settings were
reloaded, the pointer became invalid, causing syslog() to crash.

imapc: imapc_list_subscriptions_refresh() - Use LIST (SUBSCRIBED) when available rather than LSUB

imapc: imapc_untagged_list() - Handle the \Subscribed flag

These are especially needed in the following change that uses LIST (SUBSCRIBED)

imapc: imapc_untagged_lsub() - Extract tree variable

imapc: imapc_list_update_tree() - Always get a node

These are especially needed in the following change that uses LIST (SUBSCRIBED),
as \Subscribed, but non-existent, mailboxes must still be returned.

lib-imap-client: Add imapc_cmd_has_imap4rev2()

imap: Add imap_compress_on_proxy hidden setting

Keep it disabled by default for now. Once we're sure COMPRESS on proxy
works properly we'll enable it again.

lib-compression: Fix potential hangs writing to non-blocking ostreams

This especially fixes hangs with IMAP COMPRESS handling in proxies.

lib, lib-ssl-iostream: Split off o_stream_init_buffering_flush()

lib: Fix potential hangs when filter istream read doesn't read from its parent

More specifically, this fixes at least a hang where:
 * SSL istream reads some data into buffer
 * SSL iostream places input into internal BIO buffer, which doesn't yet
   get copied to the SSL istream's buffer
 * zlib_istream gets more data from parent SSL istream. Since there is already
   some data buffered, it doesn't call the parent read(). At the end it checks
   that parent SSL istream has 0 bytes in its buffer, so it doesn't se the
   IO pending.

The problem is that SSL istream would buffer if its read() had been called.
Since there is no more IO pending, it causes a hang.

Alternative rejected ideas I thought of:
 * Add some new i_stream_has_maybe_more_data() method that all istreams
   need to implement and filter istreams need to call and use it to set IO
   pending.
 * Change SSL iostream to immediately place input into SSL istream.
   However, this makes the following i_stream_read() behavior confusing,
   since it won't return the newly added data, and might even return -2
   as buffer full, which the caller might not handle properly. Or if
   i_stream_read() did return the newly added data, it would be wrong for
   i_stream_get_data*() to return the newly added data before, effectively
   making the whole change pointless.

login-common: Write client rawlogs in plaintext

imap, imap-login: Fix libcompress dependency tracking

login-common: Change proxy_no_multiplex to bit field

lib-ssl-iostream: Remove unused OPENSSL_IOSTREAM_SYNC_TYPE_FIRST_READ

lib-ssl-iostream: Remove dead code

o_stream_ssl_buffer() was always called with bytes_sent=0 parameter.