lib-index: Fix checking if cache should be compressed because it's getting too large

Most importantly fixed updating last_stat_size whenever cache is locked.
This now guarantees that it's always fully up-to-date when it's being
checked. Most of the other places updating last_stat_size are now
unnecessary, but I left them in case they'll be useful in the future.

Fixed also off-by-one where purging was done also when cache was exactly at
its maximum size.

lib-index: Check if maximum cache file size has reached only after locking

This avoids race conditions.

lib-index: mail_cache_compress_with_trans() - Don't return lock anymore

Now that transaction log is always locked during cache compression, it
doesn't matter if the cache is unlocked before or after the transaction log
commit.

lib-index: mail_cache_compress_with_trans() - Require that transaction log is locked

This should be true now for all of its callers.

lib-index: mail_cache_compress() - Make sure compression sees the latest changes in index

lib-index: mail_cache_compress() - Keep the .log file locked during compression

lib-index: Remove mail_cache_compress_forced()

doveadm: Rewrite "doveadm mailbox cache purge" to use mail_cache_compress()

Also removed checks to verify whether the cache file existed or was usable.
Compression will create/fix the file, which is more likely to be the wanted
behavior than failing.

lib-index: mail_cache_compress*() - Add compress_file_seq parameter

This can be used to specify when the cache file should be compressed.
This was previously hidden in the cache->compress_file_seq field, but
now it's more explicit.

This commit also makes sure that cache is compressed when index rebuilding
is done.

lib-index: Use mail_cache_compress() where possible

lib-index: Add mail_cache_compress()

lib-index: Rename mail_cache_compress() to mail_cache_compress_with_trans()

lib-index: mail_cache_decisions_copy() - Create transaction internally

lib-index: Simplify opening cache when locking transaction

All this work is already done by mail_cache_lock() or
mail_cache_transaction_lock() after locking has failed.

lib-index: If cache transaction lock fails because reset_id mismatch, compress cache

This is also done in mail_cache_transaction_open_if_needed(), so it usually
worked anyway. But that function is otherwise unnecessary, so it's going
away in the next commit.

lib-index: Refresh caching decisions from cache file once per transaction

If another process had updated the decisions, mail_cache_field_want_add()
and mail_cache_field_can_add() may have returned obsolete values.

lib-index: If cache transaction flush fails, don't discard the last mail's cached data

The last mail's cached data could still be accessed within memory.

This can now be done because the field indexes are internal indexes instead
of file-specific indexes.

lib-index: If cache file is compressed during transaction, discard only flushed records

Cache records that are still in memory can be written to the new file.

lib-index: Simplify code to add missing header fields to cache

lib-index: Add only used fields to cache header, not everything

lib-index: Delay using file-specific field numbers in uncommited cache records

While adding data to cache, it's first kept in memory. Previously already
at this time the memory contained cache field numbers specified to the
current cache file. If the cache file was compressed, all the cached data
had to be discarded because the field numbers changed.

This commit changes the file-specific field indexes to internal index
numbers and converts them to file-specific numbers only just before writing
them to the cache file. This sigfinicantly simplifies the code. It also
allows following commits to avoid having to discard the data when cache is
compressed.

This change also required changing the cache lookup code to realize that
the uncommitted data contains internal field indexes.

lib-index: Keep a linked list of mail_cache_views

Assert-crash on cache deinit if any views are still open.

lib-ntlm: Replace strncpy() with memset()+memcpy()

There was nothing wrong with it, except gcc 9.2 logs a warning about it.

lib-imap: test-imap-url - Fix error handling

lib-http: Fix generating label for incomplete HTTP server request

lib-master: Fix error logging if reading "instances" file fails

The path was written as "(null)" in the error message (or it crashed in some
OSes).

lib-program-client: Do not derefence set when it is NULL.

Found by coverity. Broken in 23cfbf2451f7191dee1d9995011c898a7bf32bd4

log: LOG_OPTION is not supported here

Found by coverity, introduced in d176f84ce5ca2073f4dfbafb457b9c74f6bf0d76

lib-mail: message_header_decode_encoded - ensure num is QCOUNT

Satisifies static analyzers

auth: test-lua - Do not initialize NULL script

Satisfies code analyzers

lib-fts: Assert that data is non-NULL when size > 0

Satisfies code analyzers

lib-index: mail_cache_lookup_headers() - Use const for field_idxs[]

lib-index: Move MAIL_CACHE_MAX_WRITE_BUFFER to mail-cache-private.h

This will help unit tests.

lib-index: unit tests: Split off test_mail_index_close/delete()

lib-index: Remove mail_cache_field_private.adding field

This was used to make sure that cache compression didn't drop a field that
was just being added. After previous commit the cache is locked before this
code is even reached, so it's no longer possible.

lib-index: Use mail_cache_map_all() wherever possible

lib-index: Add mail_cache_map_all()

lib-index: mail_cache_transaction_update_index() - Return void since it can't fail

lib-index: mail_cache_sync_reset_id() - Move cache unlocking to caller

lib-index: Split off mail_cache_sync_reset_id()

lib-index: Split off mail_cache_lookup_rec_get_field()

lib-index: Split off mail_cache_transaction_forget_flushed()

lib-index: mail_cache_header_add_field_locked() - Move unlocking to caller

lib-index: Split off mail_cache_header_add_field_locked()

lib-index: mail_cache_header_fields_write() - Take cache parameter instead

lib-index: Split off mail_cache_trans_get_file_field()

lib-index: mail_cache_lock() - Clarify why index->mapping might be TRUE here

lib-index: mail_transaction_log_sync_lock() - Fix function's comment

lib-auth: Rename auth_client_request_continue event to ...continued

auth: auth_request_finished event - Rename translated_username to translated_user

All the other fields are also "user", not "username".

auth: auth_request_finished event - Rename original_username to orig_user

This way it matches %{orig_user} variable.

auth: Remove unnecessary NULL checks for adding event fields

The NULL values are ignored internally. No need to complicate the code.

auth: Remove duplicate "mechanism" field in auth request events

The "mech" field already existed, and it matches %{mech} variable.

lib-master: Replace auth-master-client-login category with auth-client

This is just a reimplementation of lib-auth/auth-master code. This commit
also changes lib-master to require lib-auth to get to the category. This
dependency shouldn't really be a problem, since eventually this
master-login-auth code should be replaced by lib-auth anyway.

lib-oauth2: Unit tests don't need to link libmaster

lib-auth: Replace auth-master-client category with auth-client

The auth-client and auth-master connections are using mostly the same auth
API. Also the auth-master event names were already auth_client_*. So
there's not much point in having separate categories for them - it's just
confusing.

push-notification: Rename event category from push_notification to push-notification

All other categories are using "-" instead of "_".

lib-dcrypt: Avoid using BN_bn2binpad

It's not available in older versions.

lib-dcrypt: Add EC_GROUP_order_bits if missing

Not there in older OpenSSL

lib: ostream.h - Fix indent in enum ostream_create_file_flags

lib-dcrypt: Require ECDSA signature size is even

Valid ECDSA signature has two parts of equal sizes

lib-dcrypt: Pad signature parts to match ECDSA key size

This is required for ECDSA signatures.

lib-compression: Add unit tests for gz header handling bugs

lib-compression: Fix length checks for zlib header

lib-mail: test-message-address - Add unit test for the one byte overread

Note that this is visible only with valgrind.

lib-mail: message_address_parse_path() - Fix one byte overread

lib-master: If stats_writer_socket_path is empty, don't try to send stats

lib-test: test_exit() - Use regular exit() instead of _exit()

Otherwise code coverage output isn't written for the forked process.

submission: submission-backend-relay - Abort client command when server command is destroyed.

This fixes segmentation faults occurring when server commands are aborted
(connection is closed).

submission: submission-backend-relay - Clear client command in each client command callback.

submission: submission-backend-relay - Add assertions for command contexts in callbacks.

submission: submission-backend-relay - Rename "helo" parameter to "helo_cmd".

Makes it more consistent with implementation of other non-transaction commands.

submission: Reformat submission-backend-relay.c.

lib: Remove deprecated str_append_n

This causes error when compiling within C++, so easiest to remove as it
is already not being used anywhere

lib: var_expand*() - Ignore modifiers for unknown variables

So for example %M{asdf} will return UNSUPPORTED_VARIABLE_asdf instead of MD5
hash of it, which might not be so obvious that it's not working correctly.

lib: var_expand*() - Return UNKNOWN_VARIABLE_x if %x is unknown

This was already done for %{long_keys}, just not for single letter keys.

dict: Remove "dict client: " log prefix

Almost all log messages from dict process would end up having this prefix.

lib-storage: index: imapc: Implement support for SAVEDATE attribute.

lib-imap-client: imapc-client - Recognize the new SAVEDATE capability.

imap: Implement the standard SAVEDATE capability.

lib-storage: mail-search - Add support for the SAVEDATESUPPORTED search item.

lib-storage: mail-storage - Change mail_get_save_date() to return 1 when result is reliable.

dict-sql: Pass dict event to lib-sql

dict: Add events

dict-client: Use event based logging

dict-redis: Use event based logging

dict-memcached: Use event based logging

dict-file: Use event based logging

lib-dict: Add named events

lib-dict: Add event support

dict-file: Move error logging higher up

Makes next commit easier.

lib-oauth2: Fix possible timing attack in oauth2_validate_hmac()

Use mem_equals_timing_safe() instead of memcmp() to test the equality of the digest.

lib-dict: Add refcounting

This way we do not crash if lookup callback happens after caller
has already called dict_deinit. This is now done because
dict-sql does not support aborting SQL queries. This is hopefully
fixed in future.

lib-dict: Add async lookup/commit helpers

Simplifies following commits

lib-dict-backend: Use ioloop pointers in parent struct

lib-dict: Use ioloop pointers in parent struct

lib-dns: Remove superfluous client event and avoid duplicate client connection event unreferencing.

lib-smtp: smtp-server-command - Change log label for invalid/unknown command to "[unknown]".

lib-smtp: smtp-command-parser - Don't upper-case the parsed command name.

lib-smtp: smtp-server-command - Set cmd_name event field only for valid commands.

Set cmd_input_name for the user input.