lib: data-stack - Don't keep largest unused block in memory

It's not that expensive to allocate it again, but it might be expensive to
keep allocated a block that became huge due to a bug. The huge block could
be just wasting memory without ever being used again.

lib: data-stack - Add unit test for data_stack_set_clean_after_pop()

lib: data-stack - Rename variables in clean_after_pop handling

These new variables make more sense than the old ones.

lib: data-stack - Rename lowwater to left_lowwater

This describes its behavior better. Also add a comment explaining what
exactly it is.

lib: data-stack - Rename block_space_used[] to block_space_left[]

This describes its behavior better. Also add a comment explaining what
exactly it is.

lib: data-stack - Use INITIAL_STACK_SIZE without growing it to nearest power

global: Never use t_push(NULL)

A non-NULL name is expected by the debug logging.

lib: Recalculate events' debug logging state after replacing event filters

lib-index: test-mail-index-sync-ext - Fix memory leak

lib-smtp: smtp-server-transaction - Make sure current data command is recorded as soon as possible.

This prevents crashes when replies are sent early. This also prevents crashes
when invalid DATA commands are sent in succession.

lib-smtp: smtp-server-transaction - Rename smtp_server_transaction_last_data() to smtp_server_transaction_data_command().

lib-smtp: smtp-server-recipient - Rename smtp_server_recipient_last_data() to smtp_server_recipient_data_command().

login-common: Add client.list_type to better track which linked list client belongs to

Add asserts to make sure the client is always in the expected list.

login-common: Fix handling destroyed_clients linked list

The client needs to be removed from destroyed_clients linked list before
it's added to client_fd_proxies linked list.

Broken by 1c622cdbe08df2f642e28923c39894516143ae2a

lib-index: test-mail-index-sync-ext - Fix to link with the full libindex

lib-index: Add/update comments related to cloning maps

lib-index: Don't call mail_index_modseq_sync_map_replaced() if nothing changed

lib-index: Add comments to struct mail_transaction_log and related

lib-index: Rename MAIL_TRANSACTION_LOG_LOCK_CHANGE_TIMEOUT to .._DOTLOCK_..

lib-index: Rename mail_transaction_log_file.lock_created to lock_create_time

lib-index: Move mail_transaction_log_file_get_modseq_next_offset() to its own file

This nicely isolates the modseq_cache code to its own file.

lib-index: Remove unused mail_transaction_log_file.saved_tail_sync_offset

Shrinking tail_offsets have been ignored since
082e82792b8ac33ad42beac510441b37a3c50737

lib-index: Rename mail_transaction_log_file.saved_tail_offset to last_read_hdr_tail_offset

This describes better what it's actually used for.

lib-index: Remove mail_transaction_log.nfs_flush

Just access it via mail_index.flags like it's done elsewhere.

lib-index: Rename mail_transaction_log.dotlock_count to dotlock_refcount

Also change it to a signed integer and add asserts to make sure it's >=0.
This is how refcounts are handled generally in Dovecot.

lib-index: Update mail caching decisions explanation comment.

lib-index: Add test-mail-cache-fields unit test

lib-index: Add comments to struct mail_cache and related

Also reorder some fields so the grouping makes more sense.

lib-index: Add comments to struct mail_cache_header and related

lib-index: Add comments to mail-transaction-log.h

lib-index: Update mail_index_mail_flags comments and add MAIL_INDEX_MAIL_FLAG_UNUSED

lib-index: Add comments to struct mail_index_ext_header and related

lib-index: Add comments to struct mail_index_header and related

lib-index: Add comments to struct mail_index_view

lib-index: Add comments and reorder fields in struct mail_index

The field ordering was pretty random for some fields. The new ordering
should make more sense.

lib-index: Rename mail_index.pending_log2_rotate_time to hdr_log2_rotate_time_delayed_update

This describes better what it does. Also add some comments explaining
what its purpose is.

lib-index: mail_index_expunge_handler_t - Remove seq and context parameters

They're not actually used anywhere.

lib-index: mail_index_register_expunge_handler() - Remove call_always handling

It's not needed anymore.

lib-index: Remove "sync lost" callback handlers

These were used to invalidate in-memory dovecot.index.cache cache with
mmap_disable=yes. This became unnecessary when cache file became
append-only.

lib-index: Move fields from struct mail_index to struct mail_index_error

This clarifies which are error related fields.

nodiskspace isn't actually currently used for anything, but it seems
potentially useful in the future.

lib-index: Use mail_index_reset_error() when opening index

This resets the error more cleanly than changing nodiskspace directly.

lib-index: Remove mail_index.index_lock_timeout

Nothing needs it.

lib-index: Move fields from struct mail_index to struct mail_index_settings

This clarifies which fields are settings related.

lib-index: Remove mail_index_view.index_sync_view

Nothing was using it.

lib-index: Remove mail_index_view.transactions and related functions

It's enough to have transaction_list, nothing needs the count.

lib-index: Change mail_index_view_get_transaction_count() into _have_transactions()

This allows removing mail_index_view.transactions in the next commit.

lib-index: Rename mail_index.last_read_log_* to main_index_hdr_log_*

Also update the comment to describe better what the variables do.

lib-index: Remove mail_index_map.hdr_base

It was just causing unnecessary complexity. Simpler to just keep
hdr_copy_buf always up-to-date and access it directly.

lib-index: MAIL_TRANSACTION_LOG_VERSION_* - Add also FEATURE_ suffix for feature macros

This more clearly differentiates them from the other
MAIL_TRANSACTION_LOG_VERSION_* macros

lib-index: Verify that keywords in dovecot.index header don't change unexpectedly

Previously this was behind DEBUG for performance reasons, but that was only
because dovecot.index file used to be modified directly. Nowadays it's rare
that the index is being re-read within the same session (most changes are
read via dovecot.index.log), so it's better to verify that things are
working correctly.

lib-index: Add and use MAIL_INDEX_MAP_HDR_OFFSET() helper macro

lib-index: Fill mail_index_map.hdr_copy_buf also when mmap()ing index

This doesn't seem to have been necessary so far, but will be required by
the following changes.

imap: Fix using SETMETADATA NIL to unset value

Broken by 923362d27d9b2428e301614673cb0efba3bf928f

master: Explain how "client_limit is lower than required" is calculated in the warning

stats: Use only one filter for stats and exports

Since there is no way to have a exported-only metric (i.e., all metrics are
used for statistics calculations), the exported metrics are always a subset
of all metrics.  Additionally, since exported metrics have a non-NULL
exporter info while stats-only metrics have a NULL, it is very easy to check
if a given metric shoud be exported or not.

We can combine these facts and simplify the event matching.  We can simply
match against the "all metrics" filter, perform the statistics, and then
export the event if needed.

This reduces the CPU load quite dramatically since we are no longer
duplicating the matching for exported metrics.  Stats-only metrics shouldn't
see any measurable difference in performance.

lib: event filter - Extend existing queries if context matches (event_filter_parse)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Extend existing queries if context matches (event_filter_merge_with_context*)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Extend existing queries if context matches (event_filter_add)

Since there is no practical difference between a filter with one query and a
filter with multiple queries using the same context pointer, we can extend
the existing queries as long as there is a context pointer match.  This
reduces the number of queries (and filter expressions) thereby increasing
future optimization opportunities.

lib: event filter - Move add_node higher up in the file to avoid a prototype

lib: event filter - Add filter op argument to add_node

lib: event filter - Generalize query construction helpers

If instead of taking the internal query, they take a filter expression node,
they can be reused by optimizations in subsequent commits.

lib: Rename event_find_field() to event_find_field_nonrecursive() and make it public

lib: Reformat lib-event to avoid long lines

lib: Rename event_find_field*() to event_find_field_recursive*()

This clarifies how it works.

lib: event_find_field() - Rewrite without using recursion

This simplifies the following change.

lib: event_match_field() - Avoid recursing event fields twice

event_find_field() is already recursive.

lib: Split off event_has_category_nonrecursive()

lib-master: test-event-stats - Fix "large event id" test to check for END

Otherwise the END would be visible in the next test.

lib-master: test-event-stats - Avoid busy-looping while waiting for "test done" file

lib: event importing - Do not accept empty field name

lib: lib-event - Use named initializators for passthrough event

m4: Include local copy of pkg.m4

We need features not present in early versions. The variable=name
support has been there since 1.7.4 of pkg-config.

lib-storage: Avoid logging the same mail istream read error multiple times

master: Notify systemd after we are really stopped

Makefile.am: Fix systemd detection mess in automake

dovecot.service: Set type to notify only when compiling with systemd

Makefile.am: Make systemd service file generation more readable

configure.ac: Move CFLAGS to right place

Now it's in middle of passdb displaying

lib-storage: Fix detecting duplicate nodes in mailbox list index

The duplicates were checked only for root nodes, not for child nodes.

driver-mysql: Rollback a failed multi-statement transaction

If transaction failed, send "ROLLBACK" statement.

driver-mysql: Avoid BEGIN/COMMIT for single statement transactions

To reduce unnecessary load to database.

lib-imap: imap_bodystructure_write() - Return error on corruption instead of assert-crash

This could happen if broken message_parts came from cache and
message_part->data was newly read from the mail input.

lib-storage: Split off index_mail_parse_bodystructure_full()

lib-imap: fuzz-imap-bodystructure - Change failures to i_panic() instead of i_fatal()

NEWS: Mention XZ/LZMA removal.

NEWS: Update news for 2.3.14

lib-smtp: smtp-params - Make explicit which extra parameters can be written by smtp_params_*_write().

This can be used to prevent sending unsupported parameters to the remote server,
even when these are listed in extra_parameters. Before, blindly proxying
parameters would cause MAIL/RCPT error replies from the remote server.

lib-smtp: smtp-client-connection - Explicitly specify which MAIL/RCPT parameters are added by extra capabilities.

This is used in later commit to limit which custom parameters are actually sent
to the server based on the capabilities supported by said server.

lib-smtp: smtp-client-connection - Prevent recording extra capabilities from server more than once.

lib-smtp: smtp-client-connection - Prevent duplicate registrations for extra capabilities.

lib-smtp: smtp-client-connection - Move smtp_client_connection_find_extra_capability().

lib-smtp: smtp-client-connection - Change extra capability registration to use a struct.

This is needed for adding additional features in later commit.

lib-smtp: smtp-client-connection - Fix typo in function name.

lmtp: lmtp-commands - Drop XRCPTFORWARD parameter once processed.

This prevents it from popping up elsewhere. This for example crudely fixes a
problem in the proxy where XRCPTFORWARD was sent even without backend server support.

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification (try #2)

Continues the incomplete fix for c4f4058d16096f23eea0b3182205d6653f5954dd

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

login-common: Fix memory leak if anvil query is aborted

virtual: virtual-mail - Use index_mail_set_seq to ensure cleanup

Forgotten in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Pass wanted_headers and wanted_fields to backend mails only

Broken in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Use index_mail_free

Since we are using index_mail_init, we need to use index_mail_free
to free up the virtual mail.

virtual: virtual-mail - Free wanted headers in close if we are freeing

Simplifies next change