lib-http: http-client-connection - Avoid calling http_client_request_send_more() directly.

Get it called from http_client_connection_output() later.

lib-http: test-http-client-errors - Make "retry payload" test more reliable.

lib-http: http-client-request - Fix return value of http_client_request_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking.

lib-http: http-server-response - Fix return value of http_server_response_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking or when the payload output stream
buffer has no data to be sent.

lib: ostream-wrapper - Return flush status from o_stream_wrapper_continue().

lib: connection_input_resume() - Set added IO as having pending input

This makes sense, because when the connection is halted it might already
have input pending in the istream. So doing this always automatically
can prevent unexpected hangs. It shouldn't be harmful to do this even if
there's no input pending.

lmtp: Don't add "detail" field to events if it's empty

lda: Add protocol=lda to the root lda event

lib-smtp: Fix adding "protocol" field to smtp_server_* events

The server connection always had its own parent event instead of using
smtp_server.event.

lib-lda: mail-deliver - Add "error" field to the mail_delivery_finished event.

lib-lda: mail-deliver - Add MAIL_DELIVER_ERROR_REJECTED.

This is not used yet, but useful for future expansion.

lib-lda: mail-deliver - Move common part of the error handling to mail_deliver() itself.

Before, much of that was handled by the respective callers (LDA and LMTP).

lda: main - Rename error variables in lda_do_deliver().

lmtp: lmtp-local - Perform actual (default) delivery in a separate function.

lib-lda: mail-deliver - Properly parse Message-ID header.

lib-storage: mail - Add mail_get_message_id().

It is a convenience function that reads and parses the Message-ID.

lib-ssl-iostream: Indicate that password might be wrong when decrypting key

lib-ssl-iostream: Copy key password correctly

OpenSSL failed to decrypt key because the password context
was copied instead of the password.

Broken in e98de01b564

auth: policy - Fix crash with auth_policy_check_after_auth=no and delay_until

The auth policy lookup context must not be allocated from stack, because it
is used in a timeout created by delay_until.

Fixes:
Panic: file auth-request.c: line 292 (auth_request_success_continue): assertion failed: (request->state == AUTH_REQUEST_STATE_MECH_CONTINUE)

doveadm: Cork the print ostream immediately after creating

This avoids making many tiny write()s to stdout.

stats: Rename 'name' to 'metric_name' in metric { } blocks

There was a decent amount of confusion about what what the 'name' setting
meant.  In short,

metric foo {
...
}

was equivalent to:

metric {
name = foo
...
}

Unfortunately, this was often misunderstood as "the name of the *event* we
are interested in".  To avoid this confusion, we rename the setting to
'metric_name'.  So, from now on, if you want to specify the name inside the
metric block (instead of before the '{'), you must use:

metric {
metric_name = fo
...
}

lib-master: master_service_ssl_settings_get() - assert that SSL settings actually exist

lib-http: test-http-client-errors - Add tests for retrying requests with payload.

lib-http: test-http-client-errors - Add support for server connection init/deinit functions.

lib-http: test-http-payload - Add support for testing with small TCP socket buffers.

lib-http: test-http-payload - Initialize common client and server settings at one place.

lib-http: http-server-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-server-response - Make return value of http_server_response_send*() indicate whether all is sent.

lib-http: http-server-ostream - Handle finished request as a separate event.

While waiting in the flush ioloop, the request will not be destroyed, in which
case the ioloop will potentially never end. This is fixed by notifying the
wrapper output stream about the parent output stream going away, which
interrupts the ioloop in the process.

lib-http: http-server-ostream - Make sure request payload input stream is destroyed before blocking.

lib-http: http-server-response - Fix sending payload input streams that are seeked beyond 0.

lib-http: http-client-request - Properly reset payload state upon retry/redirect.

lib-http: http-client-request - Put shared code from http_client_request_resubmit/redirect() in new function.

lib-http: http-client-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-client-connection - Set output flush pending when http_client_request_send() returns 0.

lib-http: http-client-request - Make return value of http_client_request_send*() indicate whether all is sent.

lib-http: http-client-connection - Remove useless cork/uncork from http_client_connection_continue_request().

lib-http: http-client-connection - Fix race condition between finishing output stream and response.

lib-http: http-client-request - Fix sending payload input streams that are seeked beyond 0.

lib: ostream-wrapper - Allow parent output being closed in wrapper_ostream_continue().

This happens when wrapper_ostream_output_destroyed() is called while waiting in
flush wait loop.

lib: ostream-wrapper - Properly manage parent output events for blocking operation.

The problem was exposed by a panic occurring in src/lib-http/test-http-payload unit test:

Panic: file ostream-wrapper.c: line 291 (wrapper_ostream_flush_wait): assertion failed: (io_loop_have_ios(ioloop) || io_loop_have_immediate_timeouts(ioloop))

lib-http: Reformat test-http-client-errors.c.

lib-http: Reformat test-http-payload.c.

lib-http: Reformat http-client-request.c.

lib-ssl-iostream: Add missing set name to ssl_proxy_ctx_get_pkey_ec_curve_name

It was forgotten in 934a5e7cdb3105a07e2b1dec5916f4abfb3ee2a1

dict: Add "user" field to dict_server_* events if it's not empty

lib-dict: Add "user" field to dict_* events if it's not empty

lib-http: test-http-payload - Fix dead assignments.

Found by Clang scan-build.

lib-http: test-http-payload - Remove useless and confusing break statements.

lib: ostream-wrapper - Fix dead assignments.

Found by Clang scan-build.

auth: Add tests for some auth-mechanisms

This adds tests for many auth-mechanisms and checks for empty
inputs as well as for some broken input combinations.

auth: mech-otp: Add mech_otp_deinit and call it in main_deinit

This change make sure the otp_lock_table is destroyed on deinit.

lib-test: test-common: Add test_assert_strcmp_idx macro

This change allows to use test_assert_strcmp_idx to identify failing
strcmp tests when running a barrage of tests as in loop.

auth: Extract private header from mech-digest-md5

This is needed to allow testing of the mech-digest-md5 mechanism.

auth: Move auths array from static source to extern in header

This is needed for better testability of auth-mechanisms.

auth: Use stats from auth_settings to check wether stats should be used

This allows to run unit-tests without the need to setup stats.

auth: Introduce several callbacks in auth-request-handler

This adds three callbacks and their default implementations. This
change is meant to decouple the code for better testability of
auth-mechanims.

auth: Extract auth-request-handler struct definition to private header

auth: Add checks for NULs for different auth-mechanisms

This change adds a check to for NULs in the authentication
input in different auth mechanisms. For this purpose the different
mechanisms use the newly introduced auth_request_fail_on_nuls
function.

auth: Fail authentication if username/password contains NULs

In mech-plain and mech-dovecot-token the number of NULs splitting the
fields could have been higher then expected. This change ensures that if
there are more then the expected amount of NULs the authentication will
fail.

lib-smtp: smtp-client-connection - Try all IPs when connecting to remote host

submission: Use dns-client

lib-master, global: master_service_init_log() - Remove prefix parameter

Generate the prefix automatically from the configured service name.

global: Use master_service_init_log_with_prefix() where explicit prefix is wanted

lib-master: Add master_service_init_log_with_prefix()

indexer-worker: Add PID to log prefix

global: Use master_service_init_log_with_pid() where possible

lib-master: Add master_service_init_log_with_pid()

lib-master: Use service name from master for log prefixes and for service:<name> category

This makes it easier to differentiate between different services using the
same executable. Especially auth vs auth-worker events which might
otherwise be the same except for the service:<name> category.

master: Add SERVICE_NAME=<name> environment to child service processes

dns: Rename dns_client service to dns-client

This makes it consistent with all other services.

This commit also adds it to the old-set-parser, so the old service name
still works but gives a warning.

lib-ssl-iostream: Include setting name in all key parsing errors

lib-ssl-iostream: Improve error messages for ssl_client_ca_* parsing errors

lib-ssl-iostream: Split off load_ca_locations()

lib-ssl-iostream: Add setting names to most SSL setting parsing errors

lib-ssl-iostream: If certificate is empty, say it clearly in the error message

Instead of "There is no valid PEM certificate" just say
"The certificate is empty".

lib-master: Fix MASTER_SERVICE_FLAG_USE_SSL_SETTINGS when running standalone

lib-master: MASTER_SERVICE_FLAG_USE_SSL_SETTINGS no longer initialized SSL server

*-login, lmtp: Enable MASTER_SERVICE_FLAG_HAVE_STARTTLS

lib-master: Add MASTER_SERVICE_FLAG_HAVE_STARTTLS

login-proxy: "Started proxying to ..." - Use uppercase for the first letter

Other log messages start uppercased as well.

login-proxy: Remove unnecessary "disconnecting" text from log message

Add "Disconnected by proxy: " prefix explicitly for the few reasons why
the proxy itself is causing the disconnection.

login-proxy: Add ip:port to log prefix and remove them from log messages

login-proxy: Check for missing host IP address earlier

Also fail if "hostip" is returned by passdb but it's not a valid IP address.

login-proxy: login_proxy_new() - Change host check to assert

It's already checked by the only caller.

login-proxy: login_proxy_free*() - Add asserts to make sure error always exists when needed

Only detached proxies log the error.

login-proxy: Remove login_proxy_free_reason/delayed()

Just use login_proxy_free_full() directly.

login-proxy: login_proxy_free_full() - Replace bool delayed with enum

login-proxy: Add missing space between disconnect reason and "(extra info)"

login-proxy: Clarify error messages when disconnecting from server before login is finished

login-common: client_disconnect() - Log with login_proxy event if it exists

*-login: Use login_proxy.event for logging

This way there's no need to have the "proxy: " or "proxy(user): " prefix.
This also standardizes it to always be "proxy(user): ".

login-proxy: Add login_proxy_get_event()

login-proxy: Add event to login_proxy

login-proxy: Split off proxy_check_start()

login-proxy: Remove client->refcount > 1 assert

There doesn't seem to be any point in having this assert. Nothing seems
to require that it's over 1.

login-proxy: Remove dead code checking if client is destroyed

The beginning of the function already assert-crashes if client is destroyed
and nothing in the code path can destroy the client.

login-common: Replace i_error() with e_error() where possible

login-common: Remove client_log*() functions

*-login: Use e_error() instead of client_log_err()