imap-zlib: Support per-algorithm compression level

zlib: Check that compression level is within supported range

imap-zlib: Check that compression level is within supported range

fs-compress: Check that compression range is within supported range

lib-compression: Implement min/default/max getters

lib-compression: Add compression level range to handlers

lib-compression: Use designated initializers for compression handlers

m4: want_zstd.m4 - Detect is ZSTD_minCLevel is present

lib-compression: Be explicit about xz magic number including a \0

lib-smtp: test-smtp-server-errors - Add actual HELO tests to "bad HELO" test.

Before, it only tested the EHLO command.

lib-smtp: test-smtp-server-errors - Add correct command test to "bad HELO" test.

lib-smtp: test-smtp-server-errors - Properly check server reply in "bad HELO" test.

lib-smtp: test-smtp-server-errors - Rename "bad EHLO" test to "bad HELO".

lib-smtp: smtp-server-cmd-helo - Fix panic occurring for default HELO reply.

This only fails for the HELO command; the EHLO command is unaffected. The
default reply routine is not actually used at the moment, but it is used by the
fuzzer.

Panic was:

Panic: file smtp-server-cmd-helo.c: line 160 (smtp_server_cmd_ehlo_reply_create): assertion failed: (cmd->cmd->reg->func == smtp_server_cmd_ehlo)

lib-smtp: Reformat smtp-server-cmd-helo.c.

lib-smtp: smtp-server-cmd-data - Fix crash occurring when BDAT is the last in a too long sequence of bad commands.

When smtp_server_reply() detects that too many replies were sent regarding
syntax errors, it will terminate the connection. Most commands will just stop
processing and exit when a reply is submitted, so no crash occurs for those.
However, BDAT will try to skip the data block, so that it will not be
interpreted as a large set of input commands, which subsequentely crashes
because the command parser is already gone after terminating the connection.

push-notification: Fix logging initialization error

imapc: imapc_list_get_fs() - Set index_pvt_dir for mailbox_list_settings

To allow using private indexes with imapc storage the index_pvt_dir must
be set when listing the mailbox. Previously this did not happen because
the index_pvt_dir was simply NULL, now the value is copied from the
imapc_mailbox_list.

lib-index: Avoid accessing already freed "reason" when purging

Broken by 4b60d609c05d334d29a72c6dbbe301a66f518089

lib-ssl-iostream: Avoid calling X509_check_ip_asc if malformed input was used

Try to match certificate using "X509_check_ip_asc" only when
"X509_check_host" didn't report an internal error or malformed input.

lib-lua: Document the DLUA_WRAP_C_DATA macro

oauth2-jwt: Use int64_t instead time_t for portability

lib-ssl-iostream: Use OpenSSL's X509_check_host and X509_check_ip_asc if available

Make use of "X509_check_host()" and "X509_check_ip_asc()" if OpenSSL version
used has support for these functions. Revert back to previous custom
implementation in case either is not available.

Hosts are checked with partial wildcards (e.g. foo*.example.com) disabled.
If host name check fails, check against IP addresses in the certificate.

m4: Add HAVE_X509_CHECK_HOST, HAVE_X509_CHECK_IP, and HAVE_X509_CHECK_IP_ASC

Defined when compiling against an OpenSSL version supporting "X509_check_host",
"X509_check_ip()", and "X509_check_ip_asc()" respectively.

lib-ssl-iostream: Ignore case when checking certificate name

Host name case must be ignored when cheking with certificate.

lib: ioloop - Remove unused timer_is_larger() macro

lib: test-ioloop - Make sure recreating 0-timeout in callback works

lib: ioloop - Fix 0 ms timeouts to trigger without waiting 2ms between calls

lib-test: test_assert_ucmp() - Fix typo to make it compile

lib-compression: Get error with i_stream_get_error() so it's recursive

In some cases the iostream.error was NULL so the errno default message
was used. This fixes an regression introduced by 8b6142f9ba9.

lib-dict: dict-lua - Do not free pool after iteration finishes

Otherwise we get double-free from gc.

Broken in 1e67b93cc9f469bb144fc890a6cb9b9b9cd20811

man: doveconf - Fix -P/ typo to just -P

man: doveconf - Document -s parameter

doveadm zlibconnect: Support multiple compression algorithms

Unfortunately they don't work very well, because only the deflate ostream
supports flushing ostream before closing it.

doveadm zlibconnect: Support automatically starting compression on COMPRESS command

The previous method of using ctrl-d wasn't really suitable for scripting.

lib-compression: Fix potential hangs with non-blocking istreams

lib: i_stream_read() - Fix assert with DEBUG enabled

It doesn't matter if the data buffer changes for <=0 return value if the
buffer was previously empty.

lib-storage: mailbox_list_init_fs() - Add event_parent

lib-storage: Rename mail_storage_service_input.parent_event to event_parent

This makes it more consistent with other settings.

lib-fs: Rename fs_settings.event to event_parent

This makes it more consistent with other settings.

lib-dict: Set connections' event_parent correctly

dict->dict.event is NULL at this point.

auth: db-sql - Fill sql_settings.event_parent

global: Set http_client_settings.event_parent when possible

fts-solr: solr-connection - Add parent event

global: Set dns_lookup_settings.event_parent

imapc: Add parent event

pop3c: Add parent event

global: Set dict_settings.event_parent when possible

lib-lua: dlua-threads - pop thread table after manipulation

Forgot on a84bfdaf6df8fd6a4cbbf0845c18b09e6ceada36

auth: Fix Makefile variables for Lua

Otherwise automake complains about touching
the variables in many places.

dovecot-config: Include used Lua details

push-notification-driver-lua: Use dlua_pcall

mail-lua: Pop return values after use

mail-lua: Use dlua_pcall

auth: db-lua - Use dlua_pcall

lib-lua: Fix script loading

Handle error cases correctly.

lib-lua: Use dlua_pcall

lib-lua: Add dlua_pcall

lib-lua: dlua-dovecot - Ensure script is not NULL

lib-lua: Define LUA_OK if missing

It's defined since lua 5.2, and we support lua 5.1.

lib-lua: Reformat macros in dlua-script-private.h

lib-lua: Add callback typecheck for dlua_pcall_yieldable

lib-dict: Expose dict and dict transactions to lua scripts

lib-lua: Implement lua_seti() fallback for pre-5.3 support

lib-lua: Add DLUA_WRAP_C_DATA macro to more easily expose C structures to lua

lib-lua: Add dlua_pcall_yieldable

m4: want_lua - Check for lua_{resume,yieldk}

lib-lua: Add thread local storage API

lib-lua: Add new thread/close thread dlua wrappers

Code rewritten to use lua registry, warn about unclosed threads, and moved
to a separate file by Josef 'Jeff' Sipek <jeff.sipek@open-xchange.com>

global: Avoid casting away const

lib: iostreams - Use container_of()

lib: stats_dist_get_median(), stats_dist_get_percentile() - Remove const parameter

They weren't really const, because they required modifying the stats to sort
them.

login-common: sasl-server - Remove data transfered to post-login service from input stream.

This prevents duplicating input when SSL is involved, causing commands pipelined
after authenticate commands from being duplicated. This issue emerged when login
proxy was changed to use the iostream pump/proxy. This means that the proxy uses
streams rather than raw FDs, which means that data buffered in input stream
before proxy is inherently forwarded to the post-login service... a second time.

lib: test-cpu-limit - Test upper CPU limit only for user CPU, not for system CPU

The system CPU check kept randomly failing with larger and larger limits, so
there doesn't seem to be any point trying to test it at all.

lib-index: Fix crash when cache record size is larger than file size

This shouldn't happen unless the dovecot.index.cache file was corrupted.

lib-index: mail_cache_map() - Fix handling huge size values correctly

offset+size could have wrapped in 32bit systems.

auth: test-auth-cache - Fix auth_request_var_expand_static_tab[]

Its size is explicitly set in .h file, so it should be in .c file as well.

auth: userdb-passwd: Close the password database in iteration deinit

Otherwise, next "getpwent()" will continue to return next entries in
passwd database which results in unwanted skipping of entries.

doveconf: Don't print an error if $rundir/dovecot.conf symlink doesn't exist

lib-storage: Set mail_index_* and mail_cache_* settings hidden

It's not recommended to change these settings outside testing.

doveconf: Add -s parameter to show also hidden settings

doveconf: Don't show hidden settings unless they've been explicitly set

lib-settings: Add SET_FLAG_HIDDEN setting flag

global: Initialize struct setting_define fields with explicit names

This allows changing the struct contents without breaking compiling.

global: Use SETTING_DEFINE_STRUCT_*() macros when defining settings

This adds type checking to them.

quota-status: Fix quota_status_settings.recipient_delimiter to be const

mail-crypt, master: Remove unused DEF & DEFLIST macros

lib-settings: Rewrite and add missing SETTING_DEFINE_STRUCT_* macros

These hadn't been used anywhere.

lib-smtp: fuzz-smtp-server - Fix compiling due to lib-smtp API change

Forgotten from 2cdab962670df394c28fb7858cb0d4f90f70f71c

submission: Remove dead assignment

login-common: Fix client_destroy_oldest() return value to be more exact

Only return TRUE if a client connection is immediately destroyed.

lib-master: Add a delay to calling avail_overflow_callback with client_limit=1

Without the delay all (or many/most) processes will call the callback,
because the OS notifies all of the processes of the incoming connection.
This results in all of the connections being killed instead of only a few
of them.

lib-master: Change master_service_set_avail_overflow_callback() API

Needed by the following changes.

login-common: Change struct client.created to timeval

lib-master: Code cleanup to refreshing login state

Unexpected seek offsets are now handled better.

lib-master: Fix calling avail_overflow_callback with service_count=1

This is used by login processes to kill the oldest connection when all of
the clients and processes for the service are taken. This wasn't working
when service_count=1 because the listeners were closed already.

It's not really useful anymore to even do this kind of a listener closing.
It was originally added in 9217d2426b4f8ece47441357f35d8bb34d97c4eb to
prevent restart problems with long-running login processes. However,
nowadays listeners can be closed via SIGQUIT so this isn't necessary.

lib-storage: Correct escaping for list index lookups

- Escape storage name when listing mailbox from index and unescape mailbox name
when looking for sibling nodes.
- Unescape when adding node to list index.
- List index iteration is performed with storage name where separators must be
escaped with storage_name_escape_char. Index lookup is done with storage_name
which is escaped with storage_name_escape_char but node names are unescaped.

lib-storage: Expose mailbox_list_name_{escape,unescape} functions in header

To be used in mailbox-list-index.

lib-storage: test-mail-storage: Separate test cases for "LAYOUT=INDEX"

With default escaping for "INDEX" layout, more mailbox name are accepted.

lib-storage: mailbox-list: Add default storage name escaping for index layout

Add a default value for "storage_name_escape_char" when "LAYOUT=index".
Needed for situations where mailbox name contains separator char (e.g.
after migration to new separator) and listescape plugin is not active.