stats: Use only one filter for stats and exports

Since there is no way to have a exported-only metric (i.e., all metrics are
used for statistics calculations), the exported metrics are always a subset
of all metrics.  Additionally, since exported metrics have a non-NULL
exporter info while stats-only metrics have a NULL, it is very easy to check
if a given metric shoud be exported or not.

We can combine these facts and simplify the event matching.  We can simply
match against the "all metrics" filter, perform the statistics, and then
export the event if needed.

This reduces the CPU load quite dramatically since we are no longer
duplicating the matching for exported metrics.  Stats-only metrics shouldn't
see any measurable difference in performance.

lib: event filter - Extend existing queries if context matches (event_filter_parse)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Extend existing queries if context matches (event_filter_merge_with_context*)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Extend existing queries if context matches (event_filter_add)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Move add_node higher up in the file to avoid a prototype

lib: event filter - Add filter op argument to add_node

lib: event filter - Generalize query construction helpers

If instead of taking the internal query, they take a filter expression node,
they can be reused by optimizations in subsequent commits.

lib: Rename event_find_field() to event_find_field_nonrecursive() and make it public

lib: Reformat lib-event to avoid long lines

lib: Rename event_find_field*() to event_find_field_recursive*()

This clarifies how it works.

lib: event_find_field() - Rewrite without using recursion

This simplifies the following change.

lib: event_match_field() - Avoid recursing event fields twice

event_find_field() is already recursive.

lib: Split off event_has_category_nonrecursive()

lib-master: test-event-stats - Fix "large event id" test to check for END

Otherwise the END would be visible in the next test.

lib-master: test-event-stats - Avoid busy-looping while waiting for "test done" file

lib: event importing - Do not accept empty field name

lib: lib-event - Use named initializators for passthrough event

m4: Include local copy of pkg.m4

We need features not present in early versions. The variable=name
support has been there since 1.7.4 of pkg-config.

lib-storage: Avoid logging the same mail istream read error multiple times

master: Notify systemd after we are really stopped

Makefile.am: Fix systemd detection mess in automake

dovecot.service: Set type to notify only when compiling with systemd

Makefile.am: Make systemd service file generation more readable

configure.ac: Move CFLAGS to right place

Now it's in middle of passdb displaying

lib-storage: Fix detecting duplicate nodes in mailbox list index

The duplicates were checked only for root nodes, not for child nodes.

driver-mysql: Rollback a failed multi-statement transaction

If transaction failed, send "ROLLBACK" statement.

driver-mysql: Avoid BEGIN/COMMIT for single statement transactions

To reduce unnecessary load to database.

lib-imap: imap_bodystructure_write() - Return error on corruption instead of assert-crash

This could happen if broken message_parts came from cache and
message_part->data was newly read from the mail input.

lib-storage: Split off index_mail_parse_bodystructure_full()

lib-imap: fuzz-imap-bodystructure - Change failures to i_panic() instead of i_fatal()

NEWS: Mention XZ/LZMA removal.

NEWS: Update news for 2.3.14

lib-smtp: smtp-params - Make explicit which extra parameters can be written by smtp_params_*_write().

This can be used to prevent sending unsupported parameters to the remote server,
even when these are listed in extra_parameters. Before, blindly proxying
parameters would cause MAIL/RCPT error replies from the remote server.

lib-smtp: smtp-client-connection - Explicitly specify which MAIL/RCPT parameters are added by extra capabilities.

This is used in later commit to limit which custom parameters are actually sent
to the server based on the capabilities supported by said server.

lib-smtp: smtp-client-connection - Prevent recording extra capabilities from server more than once.

lib-smtp: smtp-client-connection - Prevent duplicate registrations for extra capabilities.

lib-smtp: smtp-client-connection - Move smtp_client_connection_find_extra_capability().

lib-smtp: smtp-client-connection - Change extra capability registration to use a struct.

This is needed for adding additional features in later commit.

lib-smtp: smtp-client-connection - Fix typo in function name.

lmtp: lmtp-commands - Drop XRCPTFORWARD parameter once processed.

This prevents it from popping up elsewhere. This for example crudely fixes a
problem in the proxy where XRCPTFORWARD was sent even without backend server support.

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification (try #2)

Continues the incomplete fix for c4f4058d16096f23eea0b3182205d6653f5954dd

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

login-common: Fix memory leak if anvil query is aborted

virtual: virtual-mail - Use index_mail_set_seq to ensure cleanup

Forgotten in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Pass wanted_headers and wanted_fields to backend mails only

Broken in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Use index_mail_free

Since we are using index_mail_init, we need to use index_mail_free
to free up the virtual mail.

virtual: virtual-mail - Free wanted headers in close if we are freeing

Simplifies next change

virtual: virtual-mail - Free up mails in virtual_mail_close if we are freeing up

Makes next change easier

lib: Add comment to CALLBACK_TYPECHECK() macro

lib-index: Add "mail_cache_lookup" event

Adds new event for cache lookups with lookup name as "field" event field.

lib-index: Small refactor in mail_cache_lookup_field()

Makes it easier to emit event in next commit regardless of code path.

lib-storage: Add "mail_expunged" event

Emitted when a message is actually expunged. Has UID as a field.

lib-storage, plugins/virtual: Use mail_sync_notify()

Instead of calling sync_notify vfunc directly.

lib-storage: Add mailbox_sync_notify()

Instead of calling sync_notify vfunc directly everywhere.

lib-storage: Emit "mail_expunge_requested" event

Adds a new event, "mail_expunge_requested" which is emitted when a
message is marked to being expunged.

lib-storage: Emit "mail_opened" event when mails opened

Adds a new event, "mail_opened" with "reason" as field. Also drop duplicate
event in index_mail_init_stream().

lib-storage: Include "age_days" field in mail.event

Goes back one week, if mail age information is known, an integer field is added
with value of mail age in number of days.

plugins/virtual: Use index_mail_init() to initialize the mail

Cleans up duplicated code. Also, index_mail_init initializes mail.event
as well. Something that was missing previously.

lib-storage: Refactor index_mail_init() to make it more reusable

Adds arguments for two memory pools, to be set for mail.pool and
mail.data_pool. If data_pool is NULL, a pool is allocated but mail_pool
is required.

lib-storage: Recreate mail.event when active mail is changed

This makes sure that the two mails' events are treated completely
independently without any accidental spilling. It also prevents wasting
memory if each mail changes the event and grows the memory pool.

lib-smtp: fuzz-smtp-server - Implement all callbacks required for full transaction.

Before required RCPT and DATA callbacks were omitted, causing assertion failures
when the fuzzer reached the RCPT stage.

lib-test: fuzzer - Fix FD-based fuzzing to only shutdown input FD upon end of data.

Before, it closed the whole socket once the data input ended. This for
example caused the SMTP server fuzzer to end before all replies were sent. This
shortened the test and could have hidden bugs that occur later in the SMTP
transaction.

lib-smtp: smtp-reply - Add debug message for reply send error.

This makes it a little clearer at what point the connection loss or error was
noticed and for which command/reply.

lib-lua: Fix compiler warning with dlua_pcall_yieldable()

lib-storage: Make sure listescape can work correctly with shared namespaces

This makes sure that if storage_name_escape_char is set, shared mailboxes
do not return the invalid/unescaped mailbox storage_name internally which
could result in failures like "Invalid mailbox name: Name must not have '/'
character" even when using the listescape plugin.

Broken by 5fd5ad3a2be6708e81f8dcfcbb06a3957dddd276

lib: Fix buffer_t aliasing problems with LTO

This changes the buffer_t slightly, which requires adding extra braces
when buffer_t contents are directly defined.

This changes Dovecot to require C11 compatible compiler, because it uses
anonymous union and struct. GNU99 extensions are also enough.

lib: buffer - Change real_buffer.r_buffer type to const void *

imap: Fix accessing uninitialized variable warning with LTO

There doesn't seem to be any other way to quiet this warning, although
it's wrong.

doveadm dict: Handle missing parameters without crashing

global: Fix accessing uninitialized variables on unit test failures

lib-imap: imap_envelope_parse() - Refactor to avoid LTO warnings

The original code was correct, but gcc with LTO still gave warnings about
potentially uninitialized envlp_r and error_r.

lib: test-array - Fix LTO compiler warnings

-flto correctly realizes that the source buffer size is 1, while memcpy() is
trying to copy UINT_MAX. Try to hide this by allocating the source buffer
dynamically. The intention is to assert-crash anyway before the memcpy() is
reached.

lib-compression: ostream-zstd - Do not return 0 as default

This is accepted by the library but does complicate things with dovecot.

lib-compression: ostream-zstd - Fix assert on value range

doc/openssl.cnf: Increase default_bits to 2048

NIST guidelines mandate that all SSL certificates must be of at least 2048 key length

global: Update default TLS protocol to TLSv1.2

lib-ssl-iostream: Accept TLS version case-insensitive

lib-ssl-iostream: Add additional supported protocols

ANY - Any protocol version accepted
TLSv1.3 - Self-explanatory
LATEST - The newest protocol only

lib-master: Add ssl_cipher_suites

imap-zlib: Support per-algorithm compression level

zlib: Check that compression level is within supported range

imap-zlib: Check that compression level is within supported range

fs-compress: Check that compression range is within supported range

lib-compression: Implement min/default/max getters

lib-compression: Add compression level range to handlers

lib-compression: Use designated initializers for compression handlers

m4: want_zstd.m4 - Detect is ZSTD_minCLevel is present

lib-compression: Be explicit about xz magic number including a \0

lib-smtp: test-smtp-server-errors - Add actual HELO tests to "bad HELO" test.

Before, it only tested the EHLO command.

lib-smtp: test-smtp-server-errors - Add correct command test to "bad HELO" test.

lib-smtp: test-smtp-server-errors - Properly check server reply in "bad HELO" test.

lib-smtp: test-smtp-server-errors - Rename "bad EHLO" test to "bad HELO".

lib-smtp: smtp-server-cmd-helo - Fix panic occurring for default HELO reply.

This only fails for the HELO command; the EHLO command is unaffected. The
default reply routine is not actually used at the moment, but it is used by the
fuzzer.

Panic was:

Panic: file smtp-server-cmd-helo.c: line 160 (smtp_server_cmd_ehlo_reply_create): assertion failed: (cmd->cmd->reg->func == smtp_server_cmd_ehlo)

lib-smtp: Reformat smtp-server-cmd-helo.c.

lib-smtp: smtp-server-cmd-data - Fix crash occurring when BDAT is the last in a too long sequence of bad commands.

When smtp_server_reply() detects that too many replies were sent regarding
syntax errors, it will terminate the connection. Most commands will just stop
processing and exit when a reply is submitted, so no crash occurs for those.
However, BDAT will try to skip the data block, so that it will not be
interpreted as a large set of input commands, which subsequentely crashes
because the command parser is already gone after terminating the connection.

push-notification: Fix logging initialization error

imapc: imapc_list_get_fs() - Set index_pvt_dir for mailbox_list_settings

To allow using private indexes with imapc storage the index_pvt_dir must
be set when listing the mailbox. Previously this did not happen because
the index_pvt_dir was simply NULL, now the value is copied from the
imapc_mailbox_list.

lib-index: Avoid accessing already freed "reason" when purging

Broken by 4b60d609c05d334d29a72c6dbbe301a66f518089

lib-ssl-iostream: Avoid calling X509_check_ip_asc if malformed input was used

Try to match certificate using "X509_check_ip_asc" only when
"X509_check_host" didn't report an internal error or malformed input.

lib-lua: Document the DLUA_WRAP_C_DATA macro

oauth2-jwt: Use int64_t instead time_t for portability