lib-http: http-server-request - Provide default response for OPTIONS * request.

lib-http: http-server-connection - Run request callback in new datastack frame.

lib-http: http-server-connection - Restructure request callback handling.

Move most of it to http-server-request.

lib-http: server: Replace http_*_debug() with e_debug().

lib-http: server: Replace http_*_error() with e_error().

lib-http: server: Replace i_error() with e_error().

lib-http: server: Remove redundant debug logging checks.

lib-http: server: Add support for event API.

lib-http: http-server-request - Make http_server_request_label() a normal function.

lib-http: Reformat http-server-response.c.

lib-http: Reformat http-server-request.c.

lib-http: Reformat http-server-connection.c.

lib-http: Reformat http-server-private.h.

lib-http: Reformat http-server.h.

Add generated dovecot.service file to .gitignore.

lib-index: Fix cache purging when index is being rebuilt

All the messages until trans->first_new_seq no longer exist after reset.
At best they cause confusion and are ignored. They could also point to
high UIDs that the rebuilding removes, causing further corruption errors.

lib-storage: index_index_rebuild_init() - Assert-crash if index isn't locked

lib-index: Add mail_index_lock_sync() and mail_index_unlock()

auth: Implement auth-worker-client per-command events.

lib-index: When flushing cache changes to disk, try to also write offsets to transaction log

This works as long as there aren't any newly created non-committed mails.

lib-index: Cache purging shouldn't always change YES decisions to TEMP

Previously every purging changed YES decision to be changed to TEMP.
This behaved rather badly if a cache file was purged twice within short
time period, because the clients might not have had time to access the
mailbox and change the decision back to YES. That in turn could have
dropped old mails' cached fields even though the client might still want
to use them. (A workaround for this has been to list all useful fields in
mail_always_cache_fields setting.)

The new behavior is to update the last_used field for a YES decision only
when the YES decision has been confirmed. If it's not confirmed for 30
days (mail_cache_unaccessed_field_drop) then its decision is changed to
TEMP on the next purge.

The new behavior also doubles the time when unaccessed field is dropped
from 30 days to 60 days (2*mail_cache_unaccessed_field_drop). This is
needed so that the field isn't dropped too early after YES -> TEMP
decision is changed.

lib-index: Split off mail_cache_purge_check_field()

lib-index: mail_cache_decision_state_update() - Minor refactoring

Simplifies the next commit.

lib-index: Split off mail_cache_update_last_used()

lib-oauth2: Fix linking unit tests

Reverses 0b3b67b848d7032ae94b14b3317ff0b6a45a4057, which was wrong because
lib-http requires lib-master. Also libmaster now requires linking with
lib-auth.

auth: Fix potential timing attack in verying crypt() results

Probably impractical attack in any case, but lets do this just to be extra
safe.

lib-imap-urlauth: Fix potential timing attack in verifying the token

auth: DOVECOT-TOKEN mechanism - Fix potential timing attack in verying the token

lib: Add str_equals_timing_almost_safe()

lib-storage: Initialize new cache hdr.* fields with NO decision

Calling mail_cache_add() afterwards will change their decision to TEMP.
Or if it's not called, it probably wasn't wanted to be cached anyway.
Most importantly this change will cause mail_cache_decision event to be
triggered for these newly cached headers.

lib-storage: When sorting mails, mark all the sort program fields as "wanted"

Usually only the first field in the sort program is used, so this likely
doesn't make a big difference.

Also, this was already done in a different way for all header fields in the
program. However, the next commit will remove that way.

lib-index: Add test-mail-cache unit test

lib-index: Add test-mail-cache-purge unit test

lib-index: mailbox_cache_purge*() - Add reason string

Include the reason in the mail_cache_purge_* events also.

lib-index: Add mail_cache_record_corrupted event

lib-index: Add mail_cache_corrupted event

lib-index: If major_version or uoff_t size change in cache file, log error

These events really aren't expected, so it's better to clearly log errors
about them rather than silently delete the cache file.

lib-index: Merge mail_cache_reset() into mail_cache_unlink()

There are no external callers to mail_cache_reset(), and this simplifies the
code.

lib-index: mail_cache_set_seq_corrupted_reason() - Don't delete entire cache if transaction commit fails

It can only happen on I/O errors, which most likely means that there's no
disk space to write to transaction log. There's no reason to delete the
entire cache, since it might be expensive to recreate.

lib-index: Add mail_cache_decision_changed event

lib-index: Add mail_cache_purge_drop_field event

lib-index: Add mail_cache_purge_started/finished events

lib-index: Log a warning if cache purging causes changes to be lost

lib-index: Add mail_cache.event with a log prefix and mail-cache category

lib-index: Rename "index" event category to "mail-index"

It's a bit too ambiguous to call it just "index" since we have so many
different ones.

lib-storage: Use mailbox.event as parent to mail_index

The index lives longer than the struct mailbox, which is a bit confusing.
In some cases the index could even be used for a different mailbox name
(symlink/alias), in which case the event's mailbox name wouldn't be exactly
correct. However, these downsides are still preferable to not inheriting
from the mailbox event, since then there is no mailbox name.

lib-index: When cache purging causes changes to be lost, don't update deleted_record_count

The new file that purging created doesn't have any of these deleted records
anymore.

lib-storage: Rename mail_cache_compress_* settings to mail_cache_purge_*

The old settings are still recognized by the old-set-parser.

lib-index: Rename cache compress -> cache purge

Using "purge" term is less confusing than "compress". This was already
decided earlier for "doveadm mailbox cache purge" name, and it's similar
to mdbox purging.

lib-index: Rename mail-cache-compress.c to mail-cache-purge.c

lib-index: Make sure cache header is written after changing cache decisions

Remove the extra check that caused it to wrongly not be updated in some
situations.

lib-index: Update last_used field immediately when adding a new cache field

Otherwise the newly added field could be dropped immediately on the next
purge.

lib-index: Make sure purging clears saved bitmask offsets state between mails

This is just to make sure it doesn't try to use previous mail's offset when
merging bitmasks. This shouldn't have been possible anyway, because
field_seen array guaranteed that the bitmask_pos was always set before
reading it. This just makes extra sure of it.

lib-index: Fix mail_cache_get_first_new_seq() when all mails are old

Instead of returning "all messages are old", it returned "all messages are
new".

lib-index: mail_cache_get_missing_reason() - Add "Mail is already expunged" as reason

lib-index: Remove mail_cache_try_lock()

lib-index: Wait for lock in cache compression, not just try once

Sometimes there's an important reason for the cache to be compressed, and it
shouldn't give up just because there's a race condition with another process
that just happens to be writing to it.

lib-index: After cache is marked corrupted, don't log error if cache file isn't found

It's just an unnecessary extra error.

lib-index: Don't compress cache file if there are cache transactions with changes

The cache compression could have lost changes in the uncommitted
transactions if they had already written some changes to the file.
This seems to have happened sometimes at least with dsync.

lib-index: Cache compression could have lost data for recently added mails

mail_index_sync_ctx.view may not have seen all the newly added mails,
which caused compression to skip those mails. Use a whole new view
instead, which guarantees that all mails are seen.

lib-index: Fix cache lookup for a newly added field in non-committed transaction

The cache lookup didn't return anything unless the field already existed in
the current cache file. It could still have already been added to the
transaction and found from there.

lib-index: Don't even try to add fields to cache that exceed record_max_size

Previously these were temporarily added to memory and later on the whole
cache record was just dropped. But usually not all the cache fields are
huge, so it's better to add some fields to cache than none.

lib-index: Fix assert-crash if cache record has no content after all

This couldn't have happened yet, but will happen after the next commit.

lib-index: Use cache record's exact size when checking if it should be flushed

The field_idx wasn't included in the calculation.

lib-index: Replace mail_cache_flush_and_unlock() with mail_cache_unlock() where it's better

In various error handling code paths it's not useful to try to flush any
headers. It might just make things worse.

lib-index: Remove backward compatibility code for Dovecot v2.1 and older

We can still read old cache files, but Dovecot v2.1 can't anymore read these
newer cache files.

lib-index: Cache transaction rollback used too small value to increase deleted_record_count

Rollback used records_written to update it, but that was actually counting
the number of transaction flushes, not the number of individual mail cache
records that were written.

lib-index: mail_cache_transaction_rollback() - fix updating deleted_record_count

The deleted_record_count in cache header wasn't actually being updated
because hdr_modified wasn't TRUE.

lib-index: Add mail_cache_unlock() that doesn't flush any headers

lib-index: Rename mail_cache_unlock() to mail_cache_flush_and_unlock()

This describes better what it does, because it's not just unlocking.

lib-index: Make mail_cache_need_reopen() static

Nothing else besides mail_cache_*lock() needs to be calling it anymore.

lib-index: mail_cache_lookup_offset() - Use mail_cache_sync_reset_id()

This avoids race conditions where cache fields aren't found during cache
compression.

lib-index: Make mail_cache_sync_reset_id() public

Also it no longer requires that cache is already locked when being called.

lib-index: Mark cache corrupted after finding that reset_id permanently wrong

lib-index: mail_cache_*lock() - On reset_id mismatch wait for cache compression to finish

It was possible that the reset_id mismatch happened because cache
compression had already recreated the .cache file, but hadn't yet written
the new reset_id to the .log file. By waiting for the .log lock, we can be
sure that this won't happen.

lib-index: mail_cache_sync_reset_id() - Rewrite to simplify

This doesn't change any functionality.

lib-index: mail_cache_*lock() - Handle syscall errors correctly

If reading a cache file failed because of some temporary syscall error, it
was treated the same as if the cache was corrupted. This could have
caused compression to lose cached data.

lib-index: mail_cache_reopen_now() - Fix corruption handling remove checking if reset_id matches

reset_id checking is already done by all of the callers. Also simplify the
error vs corruption handling by using mail_cache_open_and_verify()

lib-index: Make mail_cache_need_reopen() public and require using it explicitly

mail_cache_reopen() no longer implicitly calls it.

lib-index: mail_cache_open_and_verify() - Separate error and corruption handling

lib-index: mail_cache_need_reopen() - Don't skip reopen just because compression is wanted

The new cache file may still be usable until the compression is done.

lib-index: mail_cache_map_all() - Separate error and corruption handling

lib-index: Remove cache compression dotlock

Now that .log file is guaranteed to be locked during cache compression,
there's no need for another exclusive lock.

lib-index: Fix checking if cache should be compressed because it's getting too large

Most importantly fixed updating last_stat_size whenever cache is locked.
This now guarantees that it's always fully up-to-date when it's being
checked. Most of the other places updating last_stat_size are now
unnecessary, but I left them in case they'll be useful in the future.

Fixed also off-by-one where purging was done also when cache was exactly at
its maximum size.

lib-index: Check if maximum cache file size has reached only after locking

This avoids race conditions.

lib-index: mail_cache_compress_with_trans() - Don't return lock anymore

Now that transaction log is always locked during cache compression, it
doesn't matter if the cache is unlocked before or after the transaction log
commit.

lib-index: mail_cache_compress_with_trans() - Require that transaction log is locked

This should be true now for all of its callers.

lib-index: mail_cache_compress() - Make sure compression sees the latest changes in index

lib-index: mail_cache_compress() - Keep the .log file locked during compression

lib-index: Remove mail_cache_compress_forced()

doveadm: Rewrite "doveadm mailbox cache purge" to use mail_cache_compress()

Also removed checks to verify whether the cache file existed or was usable.
Compression will create/fix the file, which is more likely to be the wanted
behavior than failing.

lib-index: mail_cache_compress*() - Add compress_file_seq parameter

This can be used to specify when the cache file should be compressed.
This was previously hidden in the cache->compress_file_seq field, but
now it's more explicit.

This commit also makes sure that cache is compressed when index rebuilding
is done.

lib-index: Use mail_cache_compress() where possible

lib-index: Add mail_cache_compress()

lib-index: Rename mail_cache_compress() to mail_cache_compress_with_trans()

lib-index: mail_cache_decisions_copy() - Create transaction internally

lib-index: Simplify opening cache when locking transaction

All this work is already done by mail_cache_lock() or
mail_cache_transaction_lock() after locking has failed.

lib-index: If cache transaction lock fails because reset_id mismatch, compress cache

This is also done in mail_cache_transaction_open_if_needed(), so it usually
worked anyway. But that function is otherwise unnecessary, so it's going
away in the next commit.

lib-index: Refresh caching decisions from cache file once per transaction

If another process had updated the decisions, mail_cache_field_want_add()
and mail_cache_field_can_add() may have returned obsolete values.

lib-index: If cache transaction flush fails, don't discard the last mail's cached data

The last mail's cached data could still be accessed within memory.

This can now be done because the field indexes are internal indexes instead
of file-specific indexes.