lib-http: test-http-payload - Add tests for the new asynchronous server payload output stream API.

lib-http: http-server-response - Replace payload output stream API implementation.

It now supports both blocking and non-blocking behavior.

lib: Create wrapper output stream.

This allows creating the stream before the actual output is available, thereby
wrapping the whole process of making a connection, doing protocol handshakes,
and submitting the request. Once there's an actual output stream, data from the
wrapper stream can be sent. Until that time, the wrapper will block or return 0
(based on whether it is blocking or not).

The wrapper stream is a partial implementation that needs to be completed (by in
heritance) by the respective protocol implementation.

lib-http: http-server-connection - Hold immune request reference while sending response.

lib-http: http-server-connection - When connection is closed, abort requests with provided reason.

lib-http: http-server-request - Add http_server_request_immune_ref/unref() and use the new API.

Makes the request immune to http_server_request_destroy() until the last immune
reference is dropped. The destruction is only delayed, so destroy is implicit
once the last immune reference is dropped.

lib-http: http-server-request - Notify response about request destroy before destroy callback is called.

lib-http: http-server-request - Don't destroy anything when request destroy is delayed.

lib-http: http-server-request - Log reason in http_server_request_abort() debug message.

lib-http: http-server-connection - Significantly simplify destroying the request payload stream.

lib-http: http-server-response - Fix management of connection idle timeout.

lib-http: http-server-response - Add response reference counting API.

Uses request reference counting internally. This is just a convenience API.

lib-http: http-server-response - Add http_server_response_request_destroy().

lib-http: http-server-response - Rename http_server_response_free() to http_server_response_request_free().

lib-http: http-server-response - Publish http_server_response_finish_payload_out() as internal API.

lib-http: http-server-response - Restructure initialization of response payload sending.

Divided it into three phases: determination of the type of payload, the
initialization of the payload output stream and the construction of the message
header.

The new structure allows for adding new payload APIs more easily.

lib-http: http-server-connection - Restructure/rename idle timeout functions.

This way, the code will better match similar code in the HTTP client implementation.

lib-http: http-server-connection - Restructure http_server_connection_input_resume().

lib-http: http-server-connection - Add http_server_connection_input_set_pending().

lib-http: http-server-connection - Publish internal API for halting and resuming connection input handling.

lib-http: http-server-connection - Add internal API for halting and resuming connection output handling.

lib-http: test-http-server-errors - Fix name of client_connection_deinit().

lib-http: test-http-server-errors - Ignore SIGPIPE.

lib-http: test-http-server-errors - Add log prefixes to distinguish client and server debug messages.

lib-http: Reformat test-http-server-errors.c.

lib-http: test-http-payload - Add tests for the old blocking server payload output API.

lib-http: test-http-payload - Properly finish blocking server payload output.

lib-http: test-http-payload - Use client request object for test_client_echo_finished() rather than index.

lib-http: test-http-payload - Use client request object for test_client_download_finished() rather than index.

lib-http: test-http-payload - echo: Manage active requests asynchronously.

lib-http: test-http-payload - Rename client request file stream field to 'file_in'.

This is the stream used to compare against the incoming payload (either download or echo).

lib-http: test-http-payload - Group test settings into a common struct.

Allows reliable initialization.

lib-http: test-http-payload - Add log prefixes to distinguish client and server debug messages.

lib-http: test-http-payload - Only switch ioloop for progress timeout when it is running.

lib-http: test-http-payload - Do not continue running ioloop when failure occurred.

lib-http: test-http-payload - echo: Add debug message for when incoming payload is finished.

lib-http: test-http-payload - echo: Properly handle empty payload.

lib-http: Reformat test-http-payload.c.

lib-http: http-server-connection - Fix http_server_connection_flush() return value.

lib-http: http-server-connection - Add support for switching to an explicit ioloop.

lib: iostream-pump - Add support for switching to an explicit ioloop.

lib-http: http-server-request - Fix blocking payload input stream error handling.

lib-http: http-message parser - Improve error for invalid payload.

Add the textual error from the payload stream (chunked transfer).

lib-http: http-message parser - Refer to message payload rather than response payload in error message.

The message parser is used for both requests and responses.

lib-http: Restructure http-message-parser.c.

Reduce line length.

lib-http: Reformat http-message-parser.c.

lib-http: http-transfer-chunked - Don't implicitly finish the output stream upon o_stream_close().

lib-http: http-server-response - Properly finish the payload output stream asynchronously.

Payload output handling is finished only after the stream is finished and
flushed completely.

lib-http: http-client-request - Properly finish the payload output stream asynchronously.

Payload output handling is finished only after the stream is finished and
flushed completely.

lib-http: http-transfer-chunked - Make sending of the trailer chunk in ostream more reliable.

Use the new o_stream_finish() functionality.

lib-http: http-transfer-chunked - Add assertions to ensure that the chunk istream position is valid.

lib-http: Reformat http-client-connection.c.

lib-http: Reformat http-transfer-chunked.c.

lib-http: http-server-response - Prevent response content stream from finishing the connection output stream.

This is not supposed to happen ever, because the connection output stream needs
to be available for several responses. This was at some point a problem in some
of the test with the new ostream payload API.

lib-http: http-client-request - Prevent request content stream from finishing the connection output stream.

This is not supposed to happen ever, because the connection output stream needs
to be available for several requests. This was at some point a problem in some
of the test with the new ostream payload API.

lib: ostream - Use local variable for stream rather than pointer in o_stream_destroy().

Problem is that a destroy callback can mess with the pointer, leading to all kinds of trouble.

stats: Export sub-metrics for openmetrics

stats: stats-service-openmetrics.c - Fix whitespace formatting

stats: stats-service - Add support for OpenMetrics/Prometheus.

stats: Add stats exporter service infrastructure.

stats: Add HTTP server support.

stats: stats-metrics - Associate each metric with its corresponding metric settings.

stats: Make service startup time available as a global variable.

stats: Make metrics struct a global variable.

stats: Make settings available as a global variable.

stats: Create stats-common.h.

lib-http: http-server-request - Add http_server_request_fail_bad_method().

lib-http: http-url - Add http_url_init_authority_from().

stats: stats-settings - Add description setting for metrics.

lib-http: http-server - Implement support for dynamically adding resources.

Before, the application would get all requests through a single main callback
and the application was always responsible for mapping request targets to a
particular application-defined HTTP resource. Now, an application can receive
requests for a certain HTTP resource through a separately-registered resource
object, which allows dynamic configuration of server resources. This way, e.g.
a generic HTTP service with several separate 'drivers' or plugin support for an
HTTP service can be implemented more easily.

lib-http: http-server-request - Provide default response for OPTIONS * request.

lib-http: http-server-connection - Run request callback in new datastack frame.

lib-http: http-server-connection - Restructure request callback handling.

Move most of it to http-server-request.

lib-http: server: Replace http_*_debug() with e_debug().

lib-http: server: Replace http_*_error() with e_error().

lib-http: server: Replace i_error() with e_error().

lib-http: server: Remove redundant debug logging checks.

lib-http: server: Add support for event API.

lib-http: http-server-request - Make http_server_request_label() a normal function.

lib-http: Reformat http-server-response.c.

lib-http: Reformat http-server-request.c.

lib-http: Reformat http-server-connection.c.

lib-http: Reformat http-server-private.h.

lib-http: Reformat http-server.h.

Add generated dovecot.service file to .gitignore.

lib-index: Fix cache purging when index is being rebuilt

All the messages until trans->first_new_seq no longer exist after reset.
At best they cause confusion and are ignored. They could also point to
high UIDs that the rebuilding removes, causing further corruption errors.

lib-storage: index_index_rebuild_init() - Assert-crash if index isn't locked

lib-index: Add mail_index_lock_sync() and mail_index_unlock()

auth: Implement auth-worker-client per-command events.

lib-index: When flushing cache changes to disk, try to also write offsets to transaction log

This works as long as there aren't any newly created non-committed mails.

lib-index: Cache purging shouldn't always change YES decisions to TEMP

Previously every purging changed YES decision to be changed to TEMP.
This behaved rather badly if a cache file was purged twice within short
time period, because the clients might not have had time to access the
mailbox and change the decision back to YES. That in turn could have
dropped old mails' cached fields even though the client might still want
to use them. (A workaround for this has been to list all useful fields in
mail_always_cache_fields setting.)

The new behavior is to update the last_used field for a YES decision only
when the YES decision has been confirmed. If it's not confirmed for 30
days (mail_cache_unaccessed_field_drop) then its decision is changed to
TEMP on the next purge.

The new behavior also doubles the time when unaccessed field is dropped
from 30 days to 60 days (2*mail_cache_unaccessed_field_drop). This is
needed so that the field isn't dropped too early after YES -> TEMP
decision is changed.

lib-index: Split off mail_cache_purge_check_field()

lib-index: mail_cache_decision_state_update() - Minor refactoring

Simplifies the next commit.

lib-index: Split off mail_cache_update_last_used()

lib-oauth2: Fix linking unit tests

Reverses 0b3b67b848d7032ae94b14b3317ff0b6a45a4057, which was wrong because
lib-http requires lib-master. Also libmaster now requires linking with
lib-auth.

auth: Fix potential timing attack in verying crypt() results

Probably impractical attack in any case, but lets do this just to be extra
safe.

lib-imap-urlauth: Fix potential timing attack in verifying the token

auth: DOVECOT-TOKEN mechanism - Fix potential timing attack in verying the token

lib: Add str_equals_timing_almost_safe()

lib-storage: Initialize new cache hdr.* fields with NO decision

Calling mail_cache_add() afterwards will change their decision to TEMP.
Or if it's not called, it probably wasn't wanted to be cached anyway.
Most importantly this change will cause mail_cache_decision event to be
triggered for these newly cached headers.