lib-dict: Add "user" field to dict_* events if it's not empty

lib-http: test-http-payload - Fix dead assignments.

Found by Clang scan-build.

lib-http: test-http-payload - Remove useless and confusing break statements.

lib: ostream-wrapper - Fix dead assignments.

Found by Clang scan-build.

auth: Add tests for some auth-mechanisms

This adds tests for many auth-mechanisms and checks for empty
inputs as well as for some broken input combinations.

auth: mech-otp: Add mech_otp_deinit and call it in main_deinit

This change make sure the otp_lock_table is destroyed on deinit.

lib-test: test-common: Add test_assert_strcmp_idx macro

This change allows to use test_assert_strcmp_idx to identify failing
strcmp tests when running a barrage of tests as in loop.

auth: Extract private header from mech-digest-md5

This is needed to allow testing of the mech-digest-md5 mechanism.

auth: Move auths array from static source to extern in header

This is needed for better testability of auth-mechanisms.

auth: Use stats from auth_settings to check wether stats should be used

This allows to run unit-tests without the need to setup stats.

auth: Introduce several callbacks in auth-request-handler

This adds three callbacks and their default implementations. This
change is meant to decouple the code for better testability of
auth-mechanims.

auth: Extract auth-request-handler struct definition to private header

auth: Add checks for NULs for different auth-mechanisms

This change adds a check to for NULs in the authentication
input in different auth mechanisms. For this purpose the different
mechanisms use the newly introduced auth_request_fail_on_nuls
function.

auth: Fail authentication if username/password contains NULs

In mech-plain and mech-dovecot-token the number of NULs splitting the
fields could have been higher then expected. This change ensures that if
there are more then the expected amount of NULs the authentication will
fail.

lib-smtp: smtp-client-connection - Try all IPs when connecting to remote host

submission: Use dns-client

lib-master, global: master_service_init_log() - Remove prefix parameter

Generate the prefix automatically from the configured service name.

global: Use master_service_init_log_with_prefix() where explicit prefix is wanted

lib-master: Add master_service_init_log_with_prefix()

indexer-worker: Add PID to log prefix

global: Use master_service_init_log_with_pid() where possible

lib-master: Add master_service_init_log_with_pid()

lib-master: Use service name from master for log prefixes and for service:<name> category

This makes it easier to differentiate between different services using the
same executable. Especially auth vs auth-worker events which might
otherwise be the same except for the service:<name> category.

master: Add SERVICE_NAME=<name> environment to child service processes

dns: Rename dns_client service to dns-client

This makes it consistent with all other services.

This commit also adds it to the old-set-parser, so the old service name
still works but gives a warning.

lib-ssl-iostream: Include setting name in all key parsing errors

lib-ssl-iostream: Improve error messages for ssl_client_ca_* parsing errors

lib-ssl-iostream: Split off load_ca_locations()

lib-ssl-iostream: Add setting names to most SSL setting parsing errors

lib-ssl-iostream: If certificate is empty, say it clearly in the error message

Instead of "There is no valid PEM certificate" just say
"The certificate is empty".

lib-master: Fix MASTER_SERVICE_FLAG_USE_SSL_SETTINGS when running standalone

lib-master: MASTER_SERVICE_FLAG_USE_SSL_SETTINGS no longer initialized SSL server

*-login, lmtp: Enable MASTER_SERVICE_FLAG_HAVE_STARTTLS

lib-master: Add MASTER_SERVICE_FLAG_HAVE_STARTTLS

login-proxy: "Started proxying to ..." - Use uppercase for the first letter

Other log messages start uppercased as well.

login-proxy: Remove unnecessary "disconnecting" text from log message

Add "Disconnected by proxy: " prefix explicitly for the few reasons why
the proxy itself is causing the disconnection.

login-proxy: Add ip:port to log prefix and remove them from log messages

login-proxy: Check for missing host IP address earlier

Also fail if "hostip" is returned by passdb but it's not a valid IP address.

login-proxy: login_proxy_new() - Change host check to assert

It's already checked by the only caller.

login-proxy: login_proxy_free*() - Add asserts to make sure error always exists when needed

Only detached proxies log the error.

login-proxy: Remove login_proxy_free_reason/delayed()

Just use login_proxy_free_full() directly.

login-proxy: login_proxy_free_full() - Replace bool delayed with enum

login-proxy: Add missing space between disconnect reason and "(extra info)"

login-proxy: Clarify error messages when disconnecting from server before login is finished

login-common: client_disconnect() - Log with login_proxy event if it exists

*-login: Use login_proxy.event for logging

This way there's no need to have the "proxy: " or "proxy(user): " prefix.
This also standardizes it to always be "proxy(user): ".

login-proxy: Add login_proxy_get_event()

login-proxy: Add event to login_proxy

login-proxy: Split off proxy_check_start()

login-proxy: Remove client->refcount > 1 assert

There doesn't seem to be any point in having this assert. Nothing seems
to require that it's over 1.

login-proxy: Remove dead code checking if client is destroyed

The beginning of the function already assert-crashes if client is destroyed
and nothing in the code path can destroy the client.

login-common: Replace i_error() with e_error() where possible

login-common: Remove client_log*() functions

*-login: Use e_error() instead of client_log_err()

*-login: Use e_info() instead of client_log()

login-common: Use e_warning() instead of client_log_warn()

login-common: Log via e_info/warning/error() functions

login-common: Add event to client

login-common: Split off args_parse_user()

*-login: Add event category to login_binary

*-login: Change struct login_binary to be non-const

Required by the next commit.

login-proxy: Remove unused login_proxy.disconnecting field

lib: ostream-multiplex - Fix flush callback handling

Using flush-callbacks didn't work very well. Even if it wasn't overridden,
it could have caused a hang if there was data left inside the internal
buffer that couldn't be flushed to parent ostream. At the end of the
ostream there was nothing that triggered flushing the internal buffer.

lib: ostream-multiplex - o_stream_send*(): Return 0 if buffer is full, not -2

-2 is only for istreams.

Fixes:
Panic: file ostream.c: line 281 (o_stream_sendv_int): assertion failed: (stream->stream_errno != 0)

lib-smtp: Allow running make check as root

This is to allow running make check on Debian fakeroot.

lib-smtp: Add allow_root flag to smtp_submit_input and smtp_submit_session

This is to make it possible to run make check on Debian fakeroot later.

stats: stats-service-openmetrics - Check label for group_by metric at correct location.

stats: openmetrics - Use json_append_escaped

It does the job exactly as openmetrics specs say.

stats: metrics - Sanitize sub_name before appending to ostream

stats: metrics - Use str_sanitize_utf8 to create submetric name

This was before sanitized to ascii letters and numbers. It is
foreseeable that e.g. usernames can contain utf-8 in future
so better retain it as utf-8 here.

submission-login: Fix printf type for SIZE in HELO reply

Fixes compiler warning with 32bit systems.

lib-index: Fix signedness compiler warning with 32bit

stats: Add missing stats_startup_time global variable to unit tests

It's not currently actually used, but this fixes linking
--without-shared-libs

stats: Change stats_settings to be static

stats: client_http_init() - Add stats_settings parameter

stats: stats-service-openmetrics - Add histogram support.

stats: stats-service-openmetrics - Make composition of response payload scalable.

Use the new HTTP server response payload ostream API.

stats: stats-service-openmetrics - Restructure metrics export for incremental output.

This way, the string buffer can be written to an output stream after every
exported (sub-) metric.

stats: stats-service-openmetrics - Fix code duplication between count and duration output metrics.

stats: stats-service-openmetrics - Record has_submetric status in request context.

stats: stats-service-openmetrics - Use basic request struct for context data.

stats: stats-service-openmetrics - Export Dovecot base metrics in a separate function.

stats: stats-service-openmetrics - Rename resp to hsresp in stats_service_openmetrics_request().

stats: stats-service-openmetrics - Rename req to hsreq in stats_service_openmetrics_request().

stats: Reformat stats-service-openmetrics.c.

stats: Do not export base metric with sub-metrics on prometheus

This can confuse prometheus.

lib-http: http_server_response_send_payload() - Reimplement with the new ostream API.

This considerably simplifies the code.

lib-http: test-http-server-errors - Add tests for the new asynchronous payload output stream API.

lib-http: test-http-payload - Add tests for the new asynchronous server payload output stream API.

lib-http: http-server-response - Replace payload output stream API implementation.

It now supports both blocking and non-blocking behavior.

lib: Create wrapper output stream.

This allows creating the stream before the actual output is available, thereby
wrapping the whole process of making a connection, doing protocol handshakes,
and submitting the request. Once there's an actual output stream, data from the
wrapper stream can be sent. Until that time, the wrapper will block or return 0
(based on whether it is blocking or not).

The wrapper stream is a partial implementation that needs to be completed (by in
heritance) by the respective protocol implementation.

lib-http: http-server-connection - Hold immune request reference while sending response.

lib-http: http-server-connection - When connection is closed, abort requests with provided reason.

lib-http: http-server-request - Add http_server_request_immune_ref/unref() and use the new API.

Makes the request immune to http_server_request_destroy() until the last immune
reference is dropped. The destruction is only delayed, so destroy is implicit
once the last immune reference is dropped.

lib-http: http-server-request - Notify response about request destroy before destroy callback is called.

lib-http: http-server-request - Don't destroy anything when request destroy is delayed.

lib-http: http-server-request - Log reason in http_server_request_abort() debug message.

lib-http: http-server-connection - Significantly simplify destroying the request payload stream.

lib-http: http-server-response - Fix management of connection idle timeout.

lib-http: http-server-response - Add response reference counting API.

Uses request reference counting internally. This is just a convenience API.