lib-ssl-iostream: Use OpenSSL's X509_check_host and X509_check_ip_asc if available

Make use of "X509_check_host()" and "X509_check_ip_asc()" if OpenSSL version
used has support for these functions. Revert back to previous custom
implementation in case either is not available.

Hosts are checked with partial wildcards (e.g. foo*.example.com) disabled.
If host name check fails, check against IP addresses in the certificate.

m4: Add HAVE_X509_CHECK_HOST, HAVE_X509_CHECK_IP, and HAVE_X509_CHECK_IP_ASC

Defined when compiling against an OpenSSL version supporting "X509_check_host",
"X509_check_ip()", and "X509_check_ip_asc()" respectively.

lib-ssl-iostream: Ignore case when checking certificate name

Host name case must be ignored when cheking with certificate.

lib: ioloop - Remove unused timer_is_larger() macro

lib: test-ioloop - Make sure recreating 0-timeout in callback works

lib: ioloop - Fix 0 ms timeouts to trigger without waiting 2ms between calls

lib-test: test_assert_ucmp() - Fix typo to make it compile

lib-compression: Get error with i_stream_get_error() so it's recursive

In some cases the iostream.error was NULL so the errno default message
was used. This fixes an regression introduced by 8b6142f9ba9.

lib-dict: dict-lua - Do not free pool after iteration finishes

Otherwise we get double-free from gc.

Broken in 1e67b93cc9f469bb144fc890a6cb9b9b9cd20811

man: doveconf - Fix -P/ typo to just -P

man: doveconf - Document -s parameter

doveadm zlibconnect: Support multiple compression algorithms

Unfortunately they don't work very well, because only the deflate ostream
supports flushing ostream before closing it.

doveadm zlibconnect: Support automatically starting compression on COMPRESS command

The previous method of using ctrl-d wasn't really suitable for scripting.

lib-compression: Fix potential hangs with non-blocking istreams

lib: i_stream_read() - Fix assert with DEBUG enabled

It doesn't matter if the data buffer changes for <=0 return value if the
buffer was previously empty.

lib-storage: mailbox_list_init_fs() - Add event_parent

lib-storage: Rename mail_storage_service_input.parent_event to event_parent

This makes it more consistent with other settings.

lib-fs: Rename fs_settings.event to event_parent

This makes it more consistent with other settings.

lib-dict: Set connections' event_parent correctly

dict->dict.event is NULL at this point.

auth: db-sql - Fill sql_settings.event_parent

global: Set http_client_settings.event_parent when possible

fts-solr: solr-connection - Add parent event

global: Set dns_lookup_settings.event_parent

imapc: Add parent event

pop3c: Add parent event

global: Set dict_settings.event_parent when possible

lib-lua: dlua-threads - pop thread table after manipulation

Forgot on a84bfdaf6df8fd6a4cbbf0845c18b09e6ceada36

auth: Fix Makefile variables for Lua

Otherwise automake complains about touching
the variables in many places.

dovecot-config: Include used Lua details

push-notification-driver-lua: Use dlua_pcall

mail-lua: Pop return values after use

mail-lua: Use dlua_pcall

auth: db-lua - Use dlua_pcall

lib-lua: Fix script loading

Handle error cases correctly.

lib-lua: Use dlua_pcall

lib-lua: Add dlua_pcall

lib-lua: dlua-dovecot - Ensure script is not NULL

lib-lua: Define LUA_OK if missing

It's defined since lua 5.2, and we support lua 5.1.

lib-lua: Reformat macros in dlua-script-private.h

lib-lua: Add callback typecheck for dlua_pcall_yieldable

lib-dict: Expose dict and dict transactions to lua scripts

lib-lua: Implement lua_seti() fallback for pre-5.3 support

lib-lua: Add DLUA_WRAP_C_DATA macro to more easily expose C structures to lua

lib-lua: Add dlua_pcall_yieldable

m4: want_lua - Check for lua_{resume,yieldk}

lib-lua: Add thread local storage API

lib-lua: Add new thread/close thread dlua wrappers

Code rewritten to use lua registry, warn about unclosed threads, and moved
to a separate file by Josef 'Jeff' Sipek <jeff.sipek@open-xchange.com>

global: Avoid casting away const

lib: iostreams - Use container_of()

lib: stats_dist_get_median(), stats_dist_get_percentile() - Remove const parameter

They weren't really const, because they required modifying the stats to sort
them.

login-common: sasl-server - Remove data transfered to post-login service from input stream.

This prevents duplicating input when SSL is involved, causing commands pipelined
after authenticate commands from being duplicated. This issue emerged when login
proxy was changed to use the iostream pump/proxy. This means that the proxy uses
streams rather than raw FDs, which means that data buffered in input stream
before proxy is inherently forwarded to the post-login service... a second time.

lib: test-cpu-limit - Test upper CPU limit only for user CPU, not for system CPU

The system CPU check kept randomly failing with larger and larger limits, so
there doesn't seem to be any point trying to test it at all.

lib-index: Fix crash when cache record size is larger than file size

This shouldn't happen unless the dovecot.index.cache file was corrupted.

lib-index: mail_cache_map() - Fix handling huge size values correctly

offset+size could have wrapped in 32bit systems.

auth: test-auth-cache - Fix auth_request_var_expand_static_tab[]

Its size is explicitly set in .h file, so it should be in .c file as well.

auth: userdb-passwd: Close the password database in iteration deinit

Otherwise, next "getpwent()" will continue to return next entries in
passwd database which results in unwanted skipping of entries.

doveconf: Don't print an error if $rundir/dovecot.conf symlink doesn't exist

lib-storage: Set mail_index_* and mail_cache_* settings hidden

It's not recommended to change these settings outside testing.

doveconf: Add -s parameter to show also hidden settings

doveconf: Don't show hidden settings unless they've been explicitly set

lib-settings: Add SET_FLAG_HIDDEN setting flag

global: Initialize struct setting_define fields with explicit names

This allows changing the struct contents without breaking compiling.

global: Use SETTING_DEFINE_STRUCT_*() macros when defining settings

This adds type checking to them.

quota-status: Fix quota_status_settings.recipient_delimiter to be const

mail-crypt, master: Remove unused DEF & DEFLIST macros

lib-settings: Rewrite and add missing SETTING_DEFINE_STRUCT_* macros

These hadn't been used anywhere.

lib-smtp: fuzz-smtp-server - Fix compiling due to lib-smtp API change

Forgotten from 2cdab962670df394c28fb7858cb0d4f90f70f71c

submission: Remove dead assignment

login-common: Fix client_destroy_oldest() return value to be more exact

Only return TRUE if a client connection is immediately destroyed.

lib-master: Add a delay to calling avail_overflow_callback with client_limit=1

Without the delay all (or many/most) processes will call the callback,
because the OS notifies all of the processes of the incoming connection.
This results in all of the connections being killed instead of only a few
of them.

lib-master: Change master_service_set_avail_overflow_callback() API

Needed by the following changes.

login-common: Change struct client.created to timeval

lib-master: Code cleanup to refreshing login state

Unexpected seek offsets are now handled better.

lib-master: Fix calling avail_overflow_callback with service_count=1

This is used by login processes to kill the oldest connection when all of
the clients and processes for the service are taken. This wasn't working
when service_count=1 because the listeners were closed already.

It's not really useful anymore to even do this kind of a listener closing.
It was originally added in 9217d2426b4f8ece47441357f35d8bb34d97c4eb to
prevent restart problems with long-running login processes. However,
nowadays listeners can be closed via SIGQUIT so this isn't necessary.

lib-storage: Correct escaping for list index lookups

- Escape storage name when listing mailbox from index and unescape mailbox name
when looking for sibling nodes.
- Unescape when adding node to list index.
- List index iteration is performed with storage name where separators must be
escaped with storage_name_escape_char. Index lookup is done with storage_name
which is escaped with storage_name_escape_char but node names are unescaped.

lib-storage: Expose mailbox_list_name_{escape,unescape} functions in header

To be used in mailbox-list-index.

lib-storage: test-mail-storage: Separate test cases for "LAYOUT=INDEX"

With default escaping for "INDEX" layout, more mailbox name are accepted.

lib-storage: mailbox-list: Add default storage name escaping for index layout

Add a default value for "storage_name_escape_char" when "LAYOUT=index".
Needed for situations where mailbox name contains separator char (e.g.
after migration to new separator) and listescape plugin is not active.

lib-storage: Rename mailbox_list_index_node.name to raw_name

To make it clear that the string is unescaped raw value, rename from
generic "name" to "raw_name".

lib-storage: Add mailbox list index alt separator

To avoid collision with storage name escape character, use an
alternative char ('^') if hierarchy separator for list index is the same char.

login-common: Finish freeing the client when anvil lookup is pending at destroy

Broken by f32daf5ac9eaa886e28659965fc0156b52b60bda

login-common: Assert-crash at deinit if there are still referenced clients

login-common: Track referenced but destroyed clients in a linked list

This helps debugging.

lib: test-cpu-limit - Increase ALLOW_MSECS_ABOVE further

1500 was still not enough to prevent random failures.

lib: cpu-limit - Redesign the API

The new API no longer has a signal callback, just a cpu_limit_exceeded()
function that needs to be periodically called to check if the limit has
exceeded. The callback could be added back if really necessary, but it's
just too easy to use signal handlers unsafely.

The new API also supports separating limits for user and system CPU usage.
It also attempts to guard against any unexpected kernel behavior resulting
from unclear behavior on how exactly the getrlimit(), setrlimit() and XCPU
signals interact.

lib: cpu-limit - Split off cpu_limit_get_usage_msecs_with()

lib: cpu-limit - Move cpu_limit_get_usage_msecs()

lib: cpu-limit - Update comments related to nesting

lib: cpu_limit_get_usage_[m]secs() - Add type parameter

It can now return user CPU, system CPU or both usages.

lib: cpu-time - Use the original struct rusage as the initial_usage

This will allow separation of user and system CPU usage tracking.
They could have been tracked with two separate struct timevals, but
the extra memory usage is small and it might be nice to have all the
available data for debugging.

lib: test-cpu-limit - Fix nested limit asserts

lib-imap: Handle empty lists in IMAP BODYSTRUCTURE parsing as invalid

They should be NIL instead of () if they're empty.

lib-imap: Fix assert-crash if parsing invalid BODYSTRUCTURE with empty Content-Language list

If there's no Content-Language, it should be NIL in the bodystructure.
So if the value is (), it is invalid.

This could in theory have happened when parsing corrupted
dovecot.index.cache or receiving it from a broken remote IMAP server with
imapc. The bug was found by fuzzing though.

Fixes:
Panic: file imap-bodystructure.c: line 98 (part_write_bodystructure_common): assertion failed: (*lang != NULL)

lib-imap: test-imap-bodystructure - imap_bodystructure_parse() - Test returned error

lib-lua: Error out the build if using Lua 5.2

Global: Remove support for Lua 5.2

It took far too much effort to keep compatible with it.  Since every distro
out there provides either Lua 5.1 or 5.3, it makes sense to give up on 5.2.

m4: Allow explict override of lua version

It is possible that the system has several different versions of Lua
installed.  This change allows one to force a specific version of Lua during
./configure.  For example:

LUA_CFLAGS="`pkg-config lua51 --cflags`" \
LUA_LIBS="`pkg-config lua51 --libs`" \
./configure \
--with-lua

lib-storage: Preserve last-rename-stamp when rebuilding index

lib-storage: Don't trust last-rename-stamp that is too far into the future

If the timestamp is in the future, autoexpunging stops working until the
future time is passed. If this happened due to corruption, it could take
a long time before the timestamp is reached.

lib-storage: Preserve hdr-pop3-uidl when rebuilding index

This prevents potentially expensive metadata lookups afterwards when trying
to find out which mails have the POP3 UIDLs in their metadata.