lib-http: test-http-payload - Use client request object for test_client_download_finished() rather than index.

lib-http: test-http-payload - echo: Manage active requests asynchronously.

lib-http: test-http-payload - Rename client request file stream field to 'file_in'.

This is the stream used to compare against the incoming payload (either download or echo).

lib-http: test-http-payload - Group test settings into a common struct.

Allows reliable initialization.

lib-http: test-http-payload - Add log prefixes to distinguish client and server debug messages.

lib-http: test-http-payload - Only switch ioloop for progress timeout when it is running.

lib-http: test-http-payload - Do not continue running ioloop when failure occurred.

lib-http: test-http-payload - echo: Add debug message for when incoming payload is finished.

lib-http: test-http-payload - echo: Properly handle empty payload.

lib-http: Reformat test-http-payload.c.

lib-http: http-server-connection - Fix http_server_connection_flush() return value.

lib-http: http-server-connection - Add support for switching to an explicit ioloop.

lib: iostream-pump - Add support for switching to an explicit ioloop.

lib-http: http-server-request - Fix blocking payload input stream error handling.

lib-http: http-message parser - Improve error for invalid payload.

Add the textual error from the payload stream (chunked transfer).

lib-http: http-message parser - Refer to message payload rather than response payload in error message.

The message parser is used for both requests and responses.

lib-http: Restructure http-message-parser.c.

Reduce line length.

lib-http: Reformat http-message-parser.c.

lib-http: http-transfer-chunked - Don't implicitly finish the output stream upon o_stream_close().

lib-http: http-server-response - Properly finish the payload output stream asynchronously.

Payload output handling is finished only after the stream is finished and
flushed completely.

lib-http: http-client-request - Properly finish the payload output stream asynchronously.

Payload output handling is finished only after the stream is finished and
flushed completely.

lib-http: http-transfer-chunked - Make sending of the trailer chunk in ostream more reliable.

Use the new o_stream_finish() functionality.

lib-http: http-transfer-chunked - Add assertions to ensure that the chunk istream position is valid.

lib-http: Reformat http-client-connection.c.

lib-http: Reformat http-transfer-chunked.c.

lib-http: http-server-response - Prevent response content stream from finishing the connection output stream.

This is not supposed to happen ever, because the connection output stream needs
to be available for several responses. This was at some point a problem in some
of the test with the new ostream payload API.

lib-http: http-client-request - Prevent request content stream from finishing the connection output stream.

This is not supposed to happen ever, because the connection output stream needs
to be available for several requests. This was at some point a problem in some
of the test with the new ostream payload API.

lib: ostream - Use local variable for stream rather than pointer in o_stream_destroy().

Problem is that a destroy callback can mess with the pointer, leading to all kinds of trouble.

stats: Export sub-metrics for openmetrics

stats: stats-service-openmetrics.c - Fix whitespace formatting

stats: stats-service - Add support for OpenMetrics/Prometheus.

stats: Add stats exporter service infrastructure.

stats: Add HTTP server support.

stats: stats-metrics - Associate each metric with its corresponding metric settings.

stats: Make service startup time available as a global variable.

stats: Make metrics struct a global variable.

stats: Make settings available as a global variable.

stats: Create stats-common.h.

lib-http: http-server-request - Add http_server_request_fail_bad_method().

lib-http: http-url - Add http_url_init_authority_from().

stats: stats-settings - Add description setting for metrics.

lib-http: http-server - Implement support for dynamically adding resources.

Before, the application would get all requests through a single main callback
and the application was always responsible for mapping request targets to a
particular application-defined HTTP resource. Now, an application can receive
requests for a certain HTTP resource through a separately-registered resource
object, which allows dynamic configuration of server resources. This way, e.g.
a generic HTTP service with several separate 'drivers' or plugin support for an
HTTP service can be implemented more easily.

lib-http: http-server-request - Provide default response for OPTIONS * request.

lib-http: http-server-connection - Run request callback in new datastack frame.

lib-http: http-server-connection - Restructure request callback handling.

Move most of it to http-server-request.

lib-http: server: Replace http_*_debug() with e_debug().

lib-http: server: Replace http_*_error() with e_error().

lib-http: server: Replace i_error() with e_error().

lib-http: server: Remove redundant debug logging checks.

lib-http: server: Add support for event API.

lib-http: http-server-request - Make http_server_request_label() a normal function.

lib-http: Reformat http-server-response.c.

lib-http: Reformat http-server-request.c.

lib-http: Reformat http-server-connection.c.

lib-http: Reformat http-server-private.h.

lib-http: Reformat http-server.h.

Add generated dovecot.service file to .gitignore.

lib-index: Fix cache purging when index is being rebuilt

All the messages until trans->first_new_seq no longer exist after reset.
At best they cause confusion and are ignored. They could also point to
high UIDs that the rebuilding removes, causing further corruption errors.

lib-storage: index_index_rebuild_init() - Assert-crash if index isn't locked

lib-index: Add mail_index_lock_sync() and mail_index_unlock()

auth: Implement auth-worker-client per-command events.

lib-index: When flushing cache changes to disk, try to also write offsets to transaction log

This works as long as there aren't any newly created non-committed mails.

lib-index: Cache purging shouldn't always change YES decisions to TEMP

Previously every purging changed YES decision to be changed to TEMP.
This behaved rather badly if a cache file was purged twice within short
time period, because the clients might not have had time to access the
mailbox and change the decision back to YES. That in turn could have
dropped old mails' cached fields even though the client might still want
to use them. (A workaround for this has been to list all useful fields in
mail_always_cache_fields setting.)

The new behavior is to update the last_used field for a YES decision only
when the YES decision has been confirmed. If it's not confirmed for 30
days (mail_cache_unaccessed_field_drop) then its decision is changed to
TEMP on the next purge.

The new behavior also doubles the time when unaccessed field is dropped
from 30 days to 60 days (2*mail_cache_unaccessed_field_drop). This is
needed so that the field isn't dropped too early after YES -> TEMP
decision is changed.

lib-index: Split off mail_cache_purge_check_field()

lib-index: mail_cache_decision_state_update() - Minor refactoring

Simplifies the next commit.

lib-index: Split off mail_cache_update_last_used()

lib-oauth2: Fix linking unit tests

Reverses 0b3b67b848d7032ae94b14b3317ff0b6a45a4057, which was wrong because
lib-http requires lib-master. Also libmaster now requires linking with
lib-auth.

auth: Fix potential timing attack in verying crypt() results

Probably impractical attack in any case, but lets do this just to be extra
safe.

lib-imap-urlauth: Fix potential timing attack in verifying the token

auth: DOVECOT-TOKEN mechanism - Fix potential timing attack in verying the token

lib: Add str_equals_timing_almost_safe()

lib-storage: Initialize new cache hdr.* fields with NO decision

Calling mail_cache_add() afterwards will change their decision to TEMP.
Or if it's not called, it probably wasn't wanted to be cached anyway.
Most importantly this change will cause mail_cache_decision event to be
triggered for these newly cached headers.

lib-storage: When sorting mails, mark all the sort program fields as "wanted"

Usually only the first field in the sort program is used, so this likely
doesn't make a big difference.

Also, this was already done in a different way for all header fields in the
program. However, the next commit will remove that way.

lib-index: Add test-mail-cache unit test

lib-index: Add test-mail-cache-purge unit test

lib-index: mailbox_cache_purge*() - Add reason string

Include the reason in the mail_cache_purge_* events also.

lib-index: Add mail_cache_record_corrupted event

lib-index: Add mail_cache_corrupted event

lib-index: If major_version or uoff_t size change in cache file, log error

These events really aren't expected, so it's better to clearly log errors
about them rather than silently delete the cache file.

lib-index: Merge mail_cache_reset() into mail_cache_unlink()

There are no external callers to mail_cache_reset(), and this simplifies the
code.

lib-index: mail_cache_set_seq_corrupted_reason() - Don't delete entire cache if transaction commit fails

It can only happen on I/O errors, which most likely means that there's no
disk space to write to transaction log. There's no reason to delete the
entire cache, since it might be expensive to recreate.

lib-index: Add mail_cache_decision_changed event

lib-index: Add mail_cache_purge_drop_field event

lib-index: Add mail_cache_purge_started/finished events

lib-index: Log a warning if cache purging causes changes to be lost

lib-index: Add mail_cache.event with a log prefix and mail-cache category

lib-index: Rename "index" event category to "mail-index"

It's a bit too ambiguous to call it just "index" since we have so many
different ones.

lib-storage: Use mailbox.event as parent to mail_index

The index lives longer than the struct mailbox, which is a bit confusing.
In some cases the index could even be used for a different mailbox name
(symlink/alias), in which case the event's mailbox name wouldn't be exactly
correct. However, these downsides are still preferable to not inheriting
from the mailbox event, since then there is no mailbox name.

lib-index: When cache purging causes changes to be lost, don't update deleted_record_count

The new file that purging created doesn't have any of these deleted records
anymore.

lib-storage: Rename mail_cache_compress_* settings to mail_cache_purge_*

The old settings are still recognized by the old-set-parser.

lib-index: Rename cache compress -> cache purge

Using "purge" term is less confusing than "compress". This was already
decided earlier for "doveadm mailbox cache purge" name, and it's similar
to mdbox purging.

lib-index: Rename mail-cache-compress.c to mail-cache-purge.c

lib-index: Make sure cache header is written after changing cache decisions

Remove the extra check that caused it to wrongly not be updated in some
situations.

lib-index: Update last_used field immediately when adding a new cache field

Otherwise the newly added field could be dropped immediately on the next
purge.

lib-index: Make sure purging clears saved bitmask offsets state between mails

This is just to make sure it doesn't try to use previous mail's offset when
merging bitmasks. This shouldn't have been possible anyway, because
field_seen array guaranteed that the bitmask_pos was always set before
reading it. This just makes extra sure of it.

lib-index: Fix mail_cache_get_first_new_seq() when all mails are old

Instead of returning "all messages are old", it returned "all messages are
new".

lib-index: mail_cache_get_missing_reason() - Add "Mail is already expunged" as reason

lib-index: Remove mail_cache_try_lock()

lib-index: Wait for lock in cache compression, not just try once

Sometimes there's an important reason for the cache to be compressed, and it
shouldn't give up just because there's a race condition with another process
that just happens to be writing to it.

lib-index: After cache is marked corrupted, don't log error if cache file isn't found

It's just an unnecessary extra error.