lib-smtp: Reformat smtp-syntax.c.

lib-smtp: Reformat smtp-syntax.h.

auth: test-mech - Remove auth-token-secret.dat after test suite

auth: mech-digest-md5 - Do not read past buffer on right trim

If the string does not have comma at the end, do not progress
the pointer past buffer end.

auth: test-mech - Fix memory leaks

Forgotten in f6bb82a222e7973e9f9b7056dfe015fe3d8632f7

lib-index: Index rebuilding lost fields in cache

Regression caused by 5f6d2134690e4b84d38d556e3086668e32f30b50

lib-index: Fix setting initial last_used for fields in mail_[always_]cache_fields

These fields had last_used=0 until the field was accessed. If cache was
purged before this access, the field was dropped. Fixed by assuming
(last_used=0, decision!=NO) is still the first time the field is being
used. This also causes it to trigger mail_cache_decision_changed event.

lib-index: mail_cache_decision_add() - Add priv helper variable

lib-index: Make mail_cache_decision_to_string() public

auth: auth_request_finished event - policy_result=delayed didn't work

It was returned as "ok" instead of "delayed".

lib-http: test-http-client-errors: "reply payload" test - Make server announce that connection is closed.

This prevents race condition between connection closure and client trying to reuse the connection.

lib-http: test-http-client-errors: "reply payload" test - Fix name of server context struct.

auth: test-mech - Rewrote test

auth: test-mock - Add credentials lookup support

auth: test - Export passdb mock settings

auth: Move auth_request_fail_on_nuls to auth-request.c

Where is belongs to

lib-sasl: dsasl-client - Check for NULs in server response

If server response unexpectedly contains embedded NULs, fail
authentication.

auth: mech - Remove redundant NUL checks

Partially reverts ce7a61301cb233647c447dd917d5df1184d02317

The check is moved to higher up in call chain.

auth: mech - Add MECH_SEC_ALLOW_NULS flag

Prevent embedded NULs for any mechs that do not have this flag

auth: test-mech - Use auth_request_initial/continue testing

This way the embedded nul checks actually get executed.

auth: oauth2 - Set username after parsing

Otherwise we might mistakenly set username despite the
token being malformed.

lib-fs: Don't hide errors when iteration calls fs_set_error() multiple times

The last error is returned by fs_iter_deinit(). The other errors are
logged directly.

lib-http: http-server-response - Fix dead assignment in http_server_response_send_real().

Found by Clang scan-build.

lib-http: test-http-client-errors: Emit error for unexpected request payload in "retry payload" test.

lib-http: test-http-client-errors - Correct response payload length in "retry payload" test.

lib-http: test-http-client-errors - Emit an error message for bad responses.

Makes debugging issues with this unit test easier.

auth: Remove the check for NULs in mech-rpa

It was wrongly added for rpa, as it's a binary protocol.

lib-http: test-http-payload - Increase client progress timeout to 30 s.

This makes the SSL test a little less brittle.

lib-http: http-server-ostream - Remove dangerous assertions in http_server_ostream_wait_begin().

lib-http: http-server-connection - Fix result of http_server_connection_next_response().

Return _OUTPUT_BLOCKED only when the output fd is blocked.

lib-http: http-client-connection - Avoid calling http_client_request_send_more() directly.

Get it called from http_client_connection_output() later.

lib-http: test-http-client-errors - Make "retry payload" test more reliable.

lib-http: http-client-request - Fix return value of http_client_request_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking.

lib-http: http-server-response - Fix return value of http_server_response_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking or when the payload output stream
buffer has no data to be sent.

lib: ostream-wrapper - Return flush status from o_stream_wrapper_continue().

lib: connection_input_resume() - Set added IO as having pending input

This makes sense, because when the connection is halted it might already
have input pending in the istream. So doing this always automatically
can prevent unexpected hangs. It shouldn't be harmful to do this even if
there's no input pending.

lmtp: Don't add "detail" field to events if it's empty

lda: Add protocol=lda to the root lda event

lib-smtp: Fix adding "protocol" field to smtp_server_* events

The server connection always had its own parent event instead of using
smtp_server.event.

lib-lda: mail-deliver - Add "error" field to the mail_delivery_finished event.

lib-lda: mail-deliver - Add MAIL_DELIVER_ERROR_REJECTED.

This is not used yet, but useful for future expansion.

lib-lda: mail-deliver - Move common part of the error handling to mail_deliver() itself.

Before, much of that was handled by the respective callers (LDA and LMTP).

lda: main - Rename error variables in lda_do_deliver().

lmtp: lmtp-local - Perform actual (default) delivery in a separate function.

lib-lda: mail-deliver - Properly parse Message-ID header.

lib-storage: mail - Add mail_get_message_id().

It is a convenience function that reads and parses the Message-ID.

lib-ssl-iostream: Indicate that password might be wrong when decrypting key

lib-ssl-iostream: Copy key password correctly

OpenSSL failed to decrypt key because the password context
was copied instead of the password.

Broken in e98de01b564

auth: policy - Fix crash with auth_policy_check_after_auth=no and delay_until

The auth policy lookup context must not be allocated from stack, because it
is used in a timeout created by delay_until.

Fixes:
Panic: file auth-request.c: line 292 (auth_request_success_continue): assertion failed: (request->state == AUTH_REQUEST_STATE_MECH_CONTINUE)

doveadm: Cork the print ostream immediately after creating

This avoids making many tiny write()s to stdout.

stats: Rename 'name' to 'metric_name' in metric { } blocks

There was a decent amount of confusion about what what the 'name' setting
meant.  In short,

metric foo {
...
}

was equivalent to:

metric {
name = foo
...
}

Unfortunately, this was often misunderstood as "the name of the *event* we
are interested in".  To avoid this confusion, we rename the setting to
'metric_name'.  So, from now on, if you want to specify the name inside the
metric block (instead of before the '{'), you must use:

metric {
metric_name = fo
...
}

lib-master: master_service_ssl_settings_get() - assert that SSL settings actually exist

lib-http: test-http-client-errors - Add tests for retrying requests with payload.

lib-http: test-http-client-errors - Add support for server connection init/deinit functions.

lib-http: test-http-payload - Add support for testing with small TCP socket buffers.

lib-http: test-http-payload - Initialize common client and server settings at one place.

lib-http: http-server-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-server-response - Make return value of http_server_response_send*() indicate whether all is sent.

lib-http: http-server-ostream - Handle finished request as a separate event.

While waiting in the flush ioloop, the request will not be destroyed, in which
case the ioloop will potentially never end. This is fixed by notifying the
wrapper output stream about the parent output stream going away, which
interrupts the ioloop in the process.

lib-http: http-server-ostream - Make sure request payload input stream is destroyed before blocking.

lib-http: http-server-response - Fix sending payload input streams that are seeked beyond 0.

lib-http: http-client-request - Properly reset payload state upon retry/redirect.

lib-http: http-client-request - Put shared code from http_client_request_resubmit/redirect() in new function.

lib-http: http-client-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-client-connection - Set output flush pending when http_client_request_send() returns 0.

lib-http: http-client-request - Make return value of http_client_request_send*() indicate whether all is sent.

lib-http: http-client-connection - Remove useless cork/uncork from http_client_connection_continue_request().

lib-http: http-client-connection - Fix race condition between finishing output stream and response.

lib-http: http-client-request - Fix sending payload input streams that are seeked beyond 0.

lib: ostream-wrapper - Allow parent output being closed in wrapper_ostream_continue().

This happens when wrapper_ostream_output_destroyed() is called while waiting in
flush wait loop.

lib: ostream-wrapper - Properly manage parent output events for blocking operation.

The problem was exposed by a panic occurring in src/lib-http/test-http-payload unit test:

Panic: file ostream-wrapper.c: line 291 (wrapper_ostream_flush_wait): assertion failed: (io_loop_have_ios(ioloop) || io_loop_have_immediate_timeouts(ioloop))

lib-http: Reformat test-http-client-errors.c.

lib-http: Reformat test-http-payload.c.

lib-http: Reformat http-client-request.c.

lib-ssl-iostream: Add missing set name to ssl_proxy_ctx_get_pkey_ec_curve_name

It was forgotten in 934a5e7cdb3105a07e2b1dec5916f4abfb3ee2a1

dict: Add "user" field to dict_server_* events if it's not empty

lib-dict: Add "user" field to dict_* events if it's not empty

lib-http: test-http-payload - Fix dead assignments.

Found by Clang scan-build.

lib-http: test-http-payload - Remove useless and confusing break statements.

lib: ostream-wrapper - Fix dead assignments.

Found by Clang scan-build.

auth: Add tests for some auth-mechanisms

This adds tests for many auth-mechanisms and checks for empty
inputs as well as for some broken input combinations.

auth: mech-otp: Add mech_otp_deinit and call it in main_deinit

This change make sure the otp_lock_table is destroyed on deinit.

lib-test: test-common: Add test_assert_strcmp_idx macro

This change allows to use test_assert_strcmp_idx to identify failing
strcmp tests when running a barrage of tests as in loop.

auth: Extract private header from mech-digest-md5

This is needed to allow testing of the mech-digest-md5 mechanism.

auth: Move auths array from static source to extern in header

This is needed for better testability of auth-mechanisms.

auth: Use stats from auth_settings to check wether stats should be used

This allows to run unit-tests without the need to setup stats.

auth: Introduce several callbacks in auth-request-handler

This adds three callbacks and their default implementations. This
change is meant to decouple the code for better testability of
auth-mechanims.

auth: Extract auth-request-handler struct definition to private header

auth: Add checks for NULs for different auth-mechanisms

This change adds a check to for NULs in the authentication
input in different auth mechanisms. For this purpose the different
mechanisms use the newly introduced auth_request_fail_on_nuls
function.

auth: Fail authentication if username/password contains NULs

In mech-plain and mech-dovecot-token the number of NULs splitting the
fields could have been higher then expected. This change ensures that if
there are more then the expected amount of NULs the authentication will
fail.

lib-smtp: smtp-client-connection - Try all IPs when connecting to remote host

submission: Use dns-client

lib-master, global: master_service_init_log() - Remove prefix parameter

Generate the prefix automatically from the configured service name.

global: Use master_service_init_log_with_prefix() where explicit prefix is wanted

lib-master: Add master_service_init_log_with_prefix()

indexer-worker: Add PID to log prefix

global: Use master_service_init_log_with_pid() where possible

lib-master: Add master_service_init_log_with_pid()

lib-master: Use service name from master for log prefixes and for service:<name> category

This makes it easier to differentiate between different services using the
same executable. Especially auth vs auth-worker events which might
otherwise be the same except for the service:<name> category.

master: Add SERVICE_NAME=<name> environment to child service processes