lib-http: test-http-payload - Initialize common client and server settings at one place.

lib-http: http-server-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-server-response - Make return value of http_server_response_send*() indicate whether all is sent.

lib-http: http-server-ostream - Handle finished request as a separate event.

While waiting in the flush ioloop, the request will not be destroyed, in which
case the ioloop will potentially never end. This is fixed by notifying the
wrapper output stream about the parent output stream going away, which
interrupts the ioloop in the process.

lib-http: http-server-ostream - Make sure request payload input stream is destroyed before blocking.

lib-http: http-server-response - Fix sending payload input streams that are seeked beyond 0.

lib-http: http-client-request - Properly reset payload state upon retry/redirect.

lib-http: http-client-request - Put shared code from http_client_request_resubmit/redirect() in new function.

lib-http: http-client-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-client-connection - Set output flush pending when http_client_request_send() returns 0.

lib-http: http-client-request - Make return value of http_client_request_send*() indicate whether all is sent.

lib-http: http-client-connection - Remove useless cork/uncork from http_client_connection_continue_request().

lib-http: http-client-connection - Fix race condition between finishing output stream and response.

lib-http: http-client-request - Fix sending payload input streams that are seeked beyond 0.

lib: ostream-wrapper - Allow parent output being closed in wrapper_ostream_continue().

This happens when wrapper_ostream_output_destroyed() is called while waiting in
flush wait loop.

lib: ostream-wrapper - Properly manage parent output events for blocking operation.

The problem was exposed by a panic occurring in src/lib-http/test-http-payload unit test:

Panic: file ostream-wrapper.c: line 291 (wrapper_ostream_flush_wait): assertion failed: (io_loop_have_ios(ioloop) || io_loop_have_immediate_timeouts(ioloop))

lib-http: Reformat test-http-client-errors.c.

lib-http: Reformat test-http-payload.c.

lib-http: Reformat http-client-request.c.

lib-ssl-iostream: Add missing set name to ssl_proxy_ctx_get_pkey_ec_curve_name

It was forgotten in 934a5e7cdb3105a07e2b1dec5916f4abfb3ee2a1

dict: Add "user" field to dict_server_* events if it's not empty

lib-dict: Add "user" field to dict_* events if it's not empty

lib-http: test-http-payload - Fix dead assignments.

Found by Clang scan-build.

lib-http: test-http-payload - Remove useless and confusing break statements.

lib: ostream-wrapper - Fix dead assignments.

Found by Clang scan-build.

auth: Add tests for some auth-mechanisms

This adds tests for many auth-mechanisms and checks for empty
inputs as well as for some broken input combinations.

auth: mech-otp: Add mech_otp_deinit and call it in main_deinit

This change make sure the otp_lock_table is destroyed on deinit.

lib-test: test-common: Add test_assert_strcmp_idx macro

This change allows to use test_assert_strcmp_idx to identify failing
strcmp tests when running a barrage of tests as in loop.

auth: Extract private header from mech-digest-md5

This is needed to allow testing of the mech-digest-md5 mechanism.

auth: Move auths array from static source to extern in header

This is needed for better testability of auth-mechanisms.

auth: Use stats from auth_settings to check wether stats should be used

This allows to run unit-tests without the need to setup stats.

auth: Introduce several callbacks in auth-request-handler

This adds three callbacks and their default implementations. This
change is meant to decouple the code for better testability of
auth-mechanims.

auth: Extract auth-request-handler struct definition to private header

auth: Add checks for NULs for different auth-mechanisms

This change adds a check to for NULs in the authentication
input in different auth mechanisms. For this purpose the different
mechanisms use the newly introduced auth_request_fail_on_nuls
function.

auth: Fail authentication if username/password contains NULs

In mech-plain and mech-dovecot-token the number of NULs splitting the
fields could have been higher then expected. This change ensures that if
there are more then the expected amount of NULs the authentication will
fail.

lib-smtp: smtp-client-connection - Try all IPs when connecting to remote host

submission: Use dns-client

lib-master, global: master_service_init_log() - Remove prefix parameter

Generate the prefix automatically from the configured service name.

global: Use master_service_init_log_with_prefix() where explicit prefix is wanted

lib-master: Add master_service_init_log_with_prefix()

indexer-worker: Add PID to log prefix

global: Use master_service_init_log_with_pid() where possible

lib-master: Add master_service_init_log_with_pid()

lib-master: Use service name from master for log prefixes and for service:<name> category

This makes it easier to differentiate between different services using the
same executable. Especially auth vs auth-worker events which might
otherwise be the same except for the service:<name> category.

master: Add SERVICE_NAME=<name> environment to child service processes

dns: Rename dns_client service to dns-client

This makes it consistent with all other services.

This commit also adds it to the old-set-parser, so the old service name
still works but gives a warning.

lib-ssl-iostream: Include setting name in all key parsing errors

lib-ssl-iostream: Improve error messages for ssl_client_ca_* parsing errors

lib-ssl-iostream: Split off load_ca_locations()

lib-ssl-iostream: Add setting names to most SSL setting parsing errors

lib-ssl-iostream: If certificate is empty, say it clearly in the error message

Instead of "There is no valid PEM certificate" just say
"The certificate is empty".

lib-master: Fix MASTER_SERVICE_FLAG_USE_SSL_SETTINGS when running standalone

lib-master: MASTER_SERVICE_FLAG_USE_SSL_SETTINGS no longer initialized SSL server

*-login, lmtp: Enable MASTER_SERVICE_FLAG_HAVE_STARTTLS

lib-master: Add MASTER_SERVICE_FLAG_HAVE_STARTTLS

login-proxy: "Started proxying to ..." - Use uppercase for the first letter

Other log messages start uppercased as well.

login-proxy: Remove unnecessary "disconnecting" text from log message

Add "Disconnected by proxy: " prefix explicitly for the few reasons why
the proxy itself is causing the disconnection.

login-proxy: Add ip:port to log prefix and remove them from log messages

login-proxy: Check for missing host IP address earlier

Also fail if "hostip" is returned by passdb but it's not a valid IP address.

login-proxy: login_proxy_new() - Change host check to assert

It's already checked by the only caller.

login-proxy: login_proxy_free*() - Add asserts to make sure error always exists when needed

Only detached proxies log the error.

login-proxy: Remove login_proxy_free_reason/delayed()

Just use login_proxy_free_full() directly.

login-proxy: login_proxy_free_full() - Replace bool delayed with enum

login-proxy: Add missing space between disconnect reason and "(extra info)"

login-proxy: Clarify error messages when disconnecting from server before login is finished

login-common: client_disconnect() - Log with login_proxy event if it exists

*-login: Use login_proxy.event for logging

This way there's no need to have the "proxy: " or "proxy(user): " prefix.
This also standardizes it to always be "proxy(user): ".

login-proxy: Add login_proxy_get_event()

login-proxy: Add event to login_proxy

login-proxy: Split off proxy_check_start()

login-proxy: Remove client->refcount > 1 assert

There doesn't seem to be any point in having this assert. Nothing seems
to require that it's over 1.

login-proxy: Remove dead code checking if client is destroyed

The beginning of the function already assert-crashes if client is destroyed
and nothing in the code path can destroy the client.

login-common: Replace i_error() with e_error() where possible

login-common: Remove client_log*() functions

*-login: Use e_error() instead of client_log_err()

*-login: Use e_info() instead of client_log()

login-common: Use e_warning() instead of client_log_warn()

login-common: Log via e_info/warning/error() functions

login-common: Add event to client

login-common: Split off args_parse_user()

*-login: Add event category to login_binary

*-login: Change struct login_binary to be non-const

Required by the next commit.

login-proxy: Remove unused login_proxy.disconnecting field

lib: ostream-multiplex - Fix flush callback handling

Using flush-callbacks didn't work very well. Even if it wasn't overridden,
it could have caused a hang if there was data left inside the internal
buffer that couldn't be flushed to parent ostream. At the end of the
ostream there was nothing that triggered flushing the internal buffer.

lib: ostream-multiplex - o_stream_send*(): Return 0 if buffer is full, not -2

-2 is only for istreams.

Fixes:
Panic: file ostream.c: line 281 (o_stream_sendv_int): assertion failed: (stream->stream_errno != 0)

lib-smtp: Allow running make check as root

This is to allow running make check on Debian fakeroot.

lib-smtp: Add allow_root flag to smtp_submit_input and smtp_submit_session

This is to make it possible to run make check on Debian fakeroot later.

stats: stats-service-openmetrics - Check label for group_by metric at correct location.

stats: openmetrics - Use json_append_escaped

It does the job exactly as openmetrics specs say.

stats: metrics - Sanitize sub_name before appending to ostream

stats: metrics - Use str_sanitize_utf8 to create submetric name

This was before sanitized to ascii letters and numbers. It is
foreseeable that e.g. usernames can contain utf-8 in future
so better retain it as utf-8 here.

submission-login: Fix printf type for SIZE in HELO reply

Fixes compiler warning with 32bit systems.

lib-index: Fix signedness compiler warning with 32bit

stats: Add missing stats_startup_time global variable to unit tests

It's not currently actually used, but this fixes linking
--without-shared-libs

stats: Change stats_settings to be static

stats: client_http_init() - Add stats_settings parameter

stats: stats-service-openmetrics - Add histogram support.

stats: stats-service-openmetrics - Make composition of response payload scalable.

Use the new HTTP server response payload ostream API.

stats: stats-service-openmetrics - Restructure metrics export for incremental output.

This way, the string buffer can be written to an output stream after every
exported (sub-) metric.

stats: stats-service-openmetrics - Fix code duplication between count and duration output metrics.