auth: auth-cache - Change auth_cache_parse_key_exclude() to return error

Simplifies following commit

auth: auth-cache - Deduplicate auth_cache_parse_key() to use auth_cache_parse_key_and_fields()

Simplifies following commit

auth: auth-cache - Refactor auth_cache_parse_key_and_fields()

Call auth_cache_parse_key_exclude() at the function end,
simplifies next commit.

auth: Use AUTH_CACHE_KEY_USER instead of per-database constants

Fixes cache key issue where users would end up overwriting
each other in cache due to cache key being essentially static
string because we no longer support %u.

Forgotten in 2e298e7ee98b6df61cf85117f000290d60a473b8

lib-language: Substitute libicu lowercase mapping implementation with our own

lib: unicode-transform - Implement case mapping

lib: unicode-data - Add case folding mappings

lib: unicode-data - Add special case mappings for upper and lower case

lib-language: Drop old word break and word boundary lookup implementation

lib-language: lang-tokenizer-generic - Use the new Unicode character database

lib: unicode-data - Add relevant word break and boundary bits

lib: unicode-transform - Add Unicode conformance test for NF* normalizations as unit test

lib: unicode-transform - Implement streaming Unicode Normalization

All standard forms are supported: NFD, NFKD, NFC, NFKC.

lib: unicode-transform - Add generic Unicode string transformation API

lib: unicode-data - Add fields needed for Unicode normalization

lib: unicode-transform - Make Hangul base and count definitions global

lib: unicode-transform - Implement RFC5051 API in UTF32 and use it

lib: unicode-transform - Rename chr variables/parameters to cp

These are code points and not characters per se.

lib: unicode-transform - Rename uni_ucs4_decompose_hangul() to unicode_hangul_decompose()

lib: unicode-transform - Avoid unichar_t in unicode modules

lib: unichar - Move uni_ucs4_decompose_one_utf8() to unicode-transform.c

lib: unichar - Move Hangul syllable handling to unicode-transform.c

lib: Drop the old Unicode Character Database implementation

lib: unichar - Implement uni_utf8_to_decomposed_titlecase() using the new Unicode character database

lib: unichar - Implement uni_ucs4_to_titlecase() using the new Unicode character database

lib: unichar - Split off uni_ucs4_decompose_hangul()

lib: unichar - Update hangul syllable decomposition to the latest standard

lib: test-unichar - Move collation test to separate function

lib: unicode-data - Add data for first and full code point decomposition

lib: Start new Unicode Character Database implementation

It uses a pre-compiled trie structure and will in later commits feature full
support for the data necessary for Unicode normalization. Stuff needed for
lib-language can be migrated here as well.

lib: Move Unicode Character Database (UCD) files to ./ucd

lib-test: Add test_assert_memcmp*()

lib-test: test-common - Drop spurious spaces in function prototype

lib-storage: mail_storage_settings_ext_check() - Add warning for deprecated mailbox_directory_name_legacy setting

lib-storage: mail-storage-settings - Disable mailbox_directory_name_legacy by default

config: Setting changes may have updated the included group's settings

If group include was done before other settings, any further updates
changed the group's settings. For example:

group @test foo {
  default_internal_user = A
}
service imap {
  @test = foo
  default_internal_user = B
}
service pop3 {
  @test = foo
}

This caused service pop3 to also have default_internal_user=B.

master: Check that no other fd than DOVECOT_CONFIG_FD leaks

This fd is needed for configuration reading.

lib-master: Ensure cache fd is closed on exec

Prevents it from leaking by accident.

lib-storage: fs - Initialize roots in iteration always

Fixes segmentation fault when running force-resync with missing folder.

lib-storage: Remove diversions to mailbox_list_subscriptions_iter_*()

lib-storage: drivers - Remove *_list_iter_next() driver specific code

lib-storage: mailbox_list_iter_next_call() - Handle subscriptions
directly here

lib-storage: Make mailbox_tree_deinit() and mailbox_tree_iterate_deinit() no-ops on NULLs

fts: fts_parser_script_try_init() - Initialize filename

Found by clang scan-build static analysis.

lib-imap: test_imap_write_capabilities() - Add missing NULL to terminate the array

fts: Work harder to find attachment filename

login-common: Handle different dsasl_client_results failures better

*-login: Deduplicate shared SASL step handling code to login_proxy_sasl_step()

*-login: Add LOGIN_PROXY_FAILURE_TYPE_AUTH_NOT_REPLIED

*-commin: Rename LOGIN_PROXY_FAILURE_TYPE_AUTH to LOGIN_PROXY_FAILURE_TYPE_AUTH_REPLIED

lib-sasl: Add more results to enum dsasl_client_result

lib-sasl, global: Change dsasl_client_input/output() to return enum

imap-urlauth: Remove dead assignment

lib-var-expand-crypt: Fix linking issues

This fixes at least OSX linking issues.

doveadm: Fix boolean-parameter:false handling in doveadm HTTP API

doveadm_cmd_param_flag() returned TRUE if the parameter was set, regardless
of whether its value was set to true or false.

lib-http: Fix memory leak when accessing HTTP server via UNIX socket

login-common: Change login_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

lib-storage, doveadm: Change auth_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

global: Replace mail service binaries' -a parameter with auth_master_socket_path setting

lib-lua: Add dlua_var_expand() allow var_expand() from lua

lib-dict-extra: dict-client - Fix crash if server sends invalid iteration reply

lib-dict-extra: Install dict-client.h

lib-dict: Remove unused enum dict_data_type

dict: Remove unnecessary parsing of value_type parameter in handshake

It's not actually used for anything

lib: Fix crash when config is reloaded and logging to syslog

openlog() was called with a string pointing to settings. When settings were
reloaded, the pointer became invalid, causing syslog() to crash.

imapc: imapc_list_subscriptions_refresh() - Use LIST (SUBSCRIBED) when available rather than LSUB

imapc: imapc_untagged_list() - Handle the \Subscribed flag

These are especially needed in the following change that uses LIST (SUBSCRIBED)

imapc: imapc_untagged_lsub() - Extract tree variable

imapc: imapc_list_update_tree() - Always get a node

These are especially needed in the following change that uses LIST (SUBSCRIBED),
as \Subscribed, but non-existent, mailboxes must still be returned.

lib-imap-client: Add imapc_cmd_has_imap4rev2()

imap: Add imap_compress_on_proxy hidden setting

Keep it disabled by default for now. Once we're sure COMPRESS on proxy
works properly we'll enable it again.

lib-compression: Fix potential hangs writing to non-blocking ostreams

This especially fixes hangs with IMAP COMPRESS handling in proxies.

lib, lib-ssl-iostream: Split off o_stream_init_buffering_flush()

lib: Fix potential hangs when filter istream read doesn't read from its parent

More specifically, this fixes at least a hang where:
 * SSL istream reads some data into buffer
 * SSL iostream places input into internal BIO buffer, which doesn't yet
   get copied to the SSL istream's buffer
 * zlib_istream gets more data from parent SSL istream. Since there is already
   some data buffered, it doesn't call the parent read(). At the end it checks
   that parent SSL istream has 0 bytes in its buffer, so it doesn't se the
   IO pending.

The problem is that SSL istream would buffer if its read() had been called.
Since there is no more IO pending, it causes a hang.

Alternative rejected ideas I thought of:
 * Add some new i_stream_has_maybe_more_data() method that all istreams
   need to implement and filter istreams need to call and use it to set IO
   pending.
 * Change SSL iostream to immediately place input into SSL istream.
   However, this makes the following i_stream_read() behavior confusing,
   since it won't return the newly added data, and might even return -2
   as buffer full, which the caller might not handle properly. Or if
   i_stream_read() did return the newly added data, it would be wrong for
   i_stream_get_data*() to return the newly added data before, effectively
   making the whole change pointless.

login-common: Write client rawlogs in plaintext

imap, imap-login: Fix libcompress dependency tracking

login-common: Change proxy_no_multiplex to bit field

lib-ssl-iostream: Remove unused OPENSSL_IOSTREAM_SYNC_TYPE_FIRST_READ

lib-ssl-iostream: Remove dead code

o_stream_ssl_buffer() was always called with bytes_sent=0 parameter.

lib-settings: Fix crash when using %variables in SET_FILE type settings

For example this prevented using:

crypt_global_public_key_file = %{userdb:public_file}

imap: Avoid logging an error if unhibernation fails due to mailbox being deleted

imap: Introduce enum imap_state_result for return state in imap import functions

lib-json: drop invalid ATTR_PURE

Several functions in json-types.h mutate one of their arguments (usually *size_r)
and hence aren't eligible for __attribute__((pure)) which promises that
the function has no side-effects.

This manifests as a test failure in test-json-istream.c when building
Dovecot with -ftrivial-auto-var-init=zero (or =pattern).

lib-smtp: test-smtp-client-errors - Add test for LMTP connection loss with two recipients

lib-smtp: smtp-client-command - Generate multiple callbacks when required in smtp_client_command_fail*()

This requirement applies to the LTMP DATA command when more than a single
recipient is approved.

This caused a crash in the LMTP service occurring when the proxy client
connection was lost during the DATA command while more than a single RCPT
command was expected earlier. This situation caused an early free/dangling
pointer for the DATA command struct, subsequently causing a crash at
deinitialization of the proxy.

lib-smtp: smtp-client-command - Always use smtp_client_command_drop_callback() to clear callback

For consistency.

lib-smtp: test-smtp-client-errors - Add LMTP support to test server

lib-smtp: smtp-client-command - Make smtp_client_command_drop_callback(NULL) a no-op

lib-smtp: smtp-client-transaction - Rely on smtp_client_command_abort(NULL) being a no-op

lib-smtp: smtp-client-transaction - Prevent logging a spurious abort event for an approved recipient

lib-smtp: smtp-client-command - Assert aborted command pointer is (still) valid

lib-smtp: Fix minor formatting issues in test-smtp-client-errors.c

auth: mech-gssapi - Fix handling of server sending empty initial response

This situation was erroneously interpreted as sending an out-of-band challenge
for the recently added channel binding feature, which causes GSSAPI
authentication to fail when the client does not send the intial response as part
of the AUTHENTICATION command.

luacheckrc: Add luacheck rules

auth: Fix crash when OAUTH token validation failed with oauth2_use_worker_with_mech=yes

auth_request had already been freed, and also mech_event is NULL in worker.

Broken by 76cc978202c4a53fb83eca84b647ed6e19af6308

login-common: Fix potential crash when login proxy is destroyed

iostream-proxy may have closed the proxy with istream first, which closed
the fd, followed by closing the ostream, which attempted to remove IO for
the already closed fd.

Use iostream_fd refcounting to make sure the fd isn't closed too early.

Fixes:
Panic: epoll_ctl(del, 22) failed: Bad file descriptor

lib: Add functions to reliably autoclose fd for i/ostream-file

These can be used to create iostreams where fd is autoclosed after
both istream and ostream are closed in either order.

config: settings_export() - Fix for null dereference

Found by Coverity, 40224 Explicit null dereferenced

config: config_dump_human_filter_path() - Fix for static checker false positive

Found by Coverity, 40024 Dereference after null check

config: config_parse_finish_service_defaults() - Fix for null dereference

Found by Coverity, 40031 Dereference null return value