lib-storage: Add "mail_expunged" event

Emitted when a message is actually expunged. Has UID as a field.

lib-storage, plugins/virtual: Use mail_sync_notify()

Instead of calling sync_notify vfunc directly.

lib-storage: Add mailbox_sync_notify()

Instead of calling sync_notify vfunc directly everywhere.

lib-storage: Emit "mail_expunge_requested" event

Adds a new event, "mail_expunge_requested" which is emitted when a
message is marked to being expunged.

lib-storage: Emit "mail_opened" event when mails opened

Adds a new event, "mail_opened" with "reason" as field. Also drop duplicate
event in index_mail_init_stream().

lib-storage: Include "age_days" field in mail.event

Goes back one week, if mail age information is known, an integer field is added
with value of mail age in number of days.

plugins/virtual: Use index_mail_init() to initialize the mail

Cleans up duplicated code. Also, index_mail_init initializes mail.event
as well. Something that was missing previously.

lib-storage: Refactor index_mail_init() to make it more reusable

Adds arguments for two memory pools, to be set for mail.pool and
mail.data_pool. If data_pool is NULL, a pool is allocated but mail_pool
is required.

lib-storage: Recreate mail.event when active mail is changed

This makes sure that the two mails' events are treated completely
independently without any accidental spilling. It also prevents wasting
memory if each mail changes the event and grows the memory pool.

lib-smtp: fuzz-smtp-server - Implement all callbacks required for full transaction.

Before required RCPT and DATA callbacks were omitted, causing assertion failures
when the fuzzer reached the RCPT stage.

lib-test: fuzzer - Fix FD-based fuzzing to only shutdown input FD upon end of data.

Before, it closed the whole socket once the data input ended. This for
example caused the SMTP server fuzzer to end before all replies were sent. This
shortened the test and could have hidden bugs that occur later in the SMTP
transaction.

lib-smtp: smtp-reply - Add debug message for reply send error.

This makes it a little clearer at what point the connection loss or error was
noticed and for which command/reply.

lib-lua: Fix compiler warning with dlua_pcall_yieldable()

lib-storage: Make sure listescape can work correctly with shared namespaces

This makes sure that if storage_name_escape_char is set, shared mailboxes
do not return the invalid/unescaped mailbox storage_name internally which
could result in failures like "Invalid mailbox name: Name must not have '/'
character" even when using the listescape plugin.

Broken by 5fd5ad3a2be6708e81f8dcfcbb06a3957dddd276

lib: Fix buffer_t aliasing problems with LTO

This changes the buffer_t slightly, which requires adding extra braces
when buffer_t contents are directly defined.

This changes Dovecot to require C11 compatible compiler, because it uses
anonymous union and struct. GNU99 extensions are also enough.

lib: buffer - Change real_buffer.r_buffer type to const void *

imap: Fix accessing uninitialized variable warning with LTO

There doesn't seem to be any other way to quiet this warning, although
it's wrong.

doveadm dict: Handle missing parameters without crashing

global: Fix accessing uninitialized variables on unit test failures

lib-imap: imap_envelope_parse() - Refactor to avoid LTO warnings

The original code was correct, but gcc with LTO still gave warnings about
potentially uninitialized envlp_r and error_r.

lib: test-array - Fix LTO compiler warnings

-flto correctly realizes that the source buffer size is 1, while memcpy() is
trying to copy UINT_MAX. Try to hide this by allocating the source buffer
dynamically. The intention is to assert-crash anyway before the memcpy() is
reached.

lib-compression: ostream-zstd - Do not return 0 as default

This is accepted by the library but does complicate things with dovecot.

lib-compression: ostream-zstd - Fix assert on value range

doc/openssl.cnf: Increase default_bits to 2048

NIST guidelines mandate that all SSL certificates must be of at least 2048 key length

global: Update default TLS protocol to TLSv1.2

lib-ssl-iostream: Accept TLS version case-insensitive

lib-ssl-iostream: Add additional supported protocols

ANY - Any protocol version accepted
TLSv1.3 - Self-explanatory
LATEST - The newest protocol only

lib-master: Add ssl_cipher_suites

imap-zlib: Support per-algorithm compression level

zlib: Check that compression level is within supported range

imap-zlib: Check that compression level is within supported range

fs-compress: Check that compression range is within supported range

lib-compression: Implement min/default/max getters

lib-compression: Add compression level range to handlers

lib-compression: Use designated initializers for compression handlers

m4: want_zstd.m4 - Detect is ZSTD_minCLevel is present

lib-compression: Be explicit about xz magic number including a \0

lib-smtp: test-smtp-server-errors - Add actual HELO tests to "bad HELO" test.

Before, it only tested the EHLO command.

lib-smtp: test-smtp-server-errors - Add correct command test to "bad HELO" test.

lib-smtp: test-smtp-server-errors - Properly check server reply in "bad HELO" test.

lib-smtp: test-smtp-server-errors - Rename "bad EHLO" test to "bad HELO".

lib-smtp: smtp-server-cmd-helo - Fix panic occurring for default HELO reply.

This only fails for the HELO command; the EHLO command is unaffected. The
default reply routine is not actually used at the moment, but it is used by the
fuzzer.

Panic was:

Panic: file smtp-server-cmd-helo.c: line 160 (smtp_server_cmd_ehlo_reply_create): assertion failed: (cmd->cmd->reg->func == smtp_server_cmd_ehlo)

lib-smtp: Reformat smtp-server-cmd-helo.c.

lib-smtp: smtp-server-cmd-data - Fix crash occurring when BDAT is the last in a too long sequence of bad commands.

When smtp_server_reply() detects that too many replies were sent regarding
syntax errors, it will terminate the connection. Most commands will just stop
processing and exit when a reply is submitted, so no crash occurs for those.
However, BDAT will try to skip the data block, so that it will not be
interpreted as a large set of input commands, which subsequentely crashes
because the command parser is already gone after terminating the connection.

push-notification: Fix logging initialization error

imapc: imapc_list_get_fs() - Set index_pvt_dir for mailbox_list_settings

To allow using private indexes with imapc storage the index_pvt_dir must
be set when listing the mailbox. Previously this did not happen because
the index_pvt_dir was simply NULL, now the value is copied from the
imapc_mailbox_list.

lib-index: Avoid accessing already freed "reason" when purging

Broken by 4b60d609c05d334d29a72c6dbbe301a66f518089

lib-ssl-iostream: Avoid calling X509_check_ip_asc if malformed input was used

Try to match certificate using "X509_check_ip_asc" only when
"X509_check_host" didn't report an internal error or malformed input.

lib-lua: Document the DLUA_WRAP_C_DATA macro

oauth2-jwt: Use int64_t instead time_t for portability

lib-ssl-iostream: Use OpenSSL's X509_check_host and X509_check_ip_asc if available

Make use of "X509_check_host()" and "X509_check_ip_asc()" if OpenSSL version
used has support for these functions. Revert back to previous custom
implementation in case either is not available.

Hosts are checked with partial wildcards (e.g. foo*.example.com) disabled.
If host name check fails, check against IP addresses in the certificate.

m4: Add HAVE_X509_CHECK_HOST, HAVE_X509_CHECK_IP, and HAVE_X509_CHECK_IP_ASC

Defined when compiling against an OpenSSL version supporting "X509_check_host",
"X509_check_ip()", and "X509_check_ip_asc()" respectively.

lib-ssl-iostream: Ignore case when checking certificate name

Host name case must be ignored when cheking with certificate.

lib: ioloop - Remove unused timer_is_larger() macro

lib: test-ioloop - Make sure recreating 0-timeout in callback works

lib: ioloop - Fix 0 ms timeouts to trigger without waiting 2ms between calls

lib-test: test_assert_ucmp() - Fix typo to make it compile

lib-compression: Get error with i_stream_get_error() so it's recursive

In some cases the iostream.error was NULL so the errno default message
was used. This fixes an regression introduced by 8b6142f9ba9.

lib-dict: dict-lua - Do not free pool after iteration finishes

Otherwise we get double-free from gc.

Broken in 1e67b93cc9f469bb144fc890a6cb9b9b9cd20811

man: doveconf - Fix -P/ typo to just -P

man: doveconf - Document -s parameter

doveadm zlibconnect: Support multiple compression algorithms

Unfortunately they don't work very well, because only the deflate ostream
supports flushing ostream before closing it.

doveadm zlibconnect: Support automatically starting compression on COMPRESS command

The previous method of using ctrl-d wasn't really suitable for scripting.

lib-compression: Fix potential hangs with non-blocking istreams

lib: i_stream_read() - Fix assert with DEBUG enabled

It doesn't matter if the data buffer changes for <=0 return value if the
buffer was previously empty.

lib-storage: mailbox_list_init_fs() - Add event_parent

lib-storage: Rename mail_storage_service_input.parent_event to event_parent

This makes it more consistent with other settings.

lib-fs: Rename fs_settings.event to event_parent

This makes it more consistent with other settings.

lib-dict: Set connections' event_parent correctly

dict->dict.event is NULL at this point.

auth: db-sql - Fill sql_settings.event_parent

global: Set http_client_settings.event_parent when possible

fts-solr: solr-connection - Add parent event

global: Set dns_lookup_settings.event_parent

imapc: Add parent event

pop3c: Add parent event

global: Set dict_settings.event_parent when possible

lib-lua: dlua-threads - pop thread table after manipulation

Forgot on a84bfdaf6df8fd6a4cbbf0845c18b09e6ceada36

auth: Fix Makefile variables for Lua

Otherwise automake complains about touching
the variables in many places.

dovecot-config: Include used Lua details

push-notification-driver-lua: Use dlua_pcall

mail-lua: Pop return values after use

mail-lua: Use dlua_pcall

auth: db-lua - Use dlua_pcall

lib-lua: Fix script loading

Handle error cases correctly.

lib-lua: Use dlua_pcall

lib-lua: Add dlua_pcall

lib-lua: dlua-dovecot - Ensure script is not NULL

lib-lua: Define LUA_OK if missing

It's defined since lua 5.2, and we support lua 5.1.

lib-lua: Reformat macros in dlua-script-private.h

lib-lua: Add callback typecheck for dlua_pcall_yieldable

lib-dict: Expose dict and dict transactions to lua scripts

lib-lua: Implement lua_seti() fallback for pre-5.3 support

lib-lua: Add DLUA_WRAP_C_DATA macro to more easily expose C structures to lua

lib-lua: Add dlua_pcall_yieldable

m4: want_lua - Check for lua_{resume,yieldk}

lib-lua: Add thread local storage API

lib-lua: Add new thread/close thread dlua wrappers

Code rewritten to use lua registry, warn about unclosed threads, and moved
to a separate file by Josef 'Jeff' Sipek <jeff.sipek@open-xchange.com>

global: Avoid casting away const

lib: iostreams - Use container_of()

lib: stats_dist_get_median(), stats_dist_get_percentile() - Remove const parameter

They weren't really const, because they required modifying the stats to sort
them.