login-proxy: Support reconnecting also when connect() immediately fails

This can happen when connecting to localhost.

login-proxy: Change client_proxy_failed() to be static

The other client_proxy_*_failed() should be used instead.

login-proxy: Don't call input_callback on destroy

All the failure code paths now call failure_callback instead.

login-proxy: login_proxy_new() - Call login_proxy_failed() also when returning -1

This also changes login_proxy_new() to internally send the failure message
to client, so caller doesn't have to do it.

login-proxy: Replace e_error()+client_proxy_failed() calls with login_proxy_failed()

The event parameter for login_proxy_failed() allows creating named events
using passthrough events, but for now there aren't any named events.

login-proxy: Handle auth failures with login_proxy_failed()

login-proxy: login_proxy_connect() - Call login_proxy_free() internally

login-proxy: login_proxy_new() - Add failure callback

login-proxy: Rename proxy_callback_t to login_proxy_input_callback_t

login-proxy: proxy_log_connect_error() - Move the actual logging to callers

login-proxy: login_proxy_starttls() - destroy proxy internally on failure

submission-login: proxy - Change impossible code path to assert

pop3-login: Move client_proxy_failed() calls next to error logging

submission-login: proxy - Some code paths were missing client_proxy_failed() calls

Move client_proxy_failed() calls right next to the error logging so it's
clearer where they are needed.

imap-login: proxy - Some code paths were missing client_proxy_failed() calls

Move client_proxy_failed() calls right next to the error logging so it's
clearer where they are needed.

login-proxy: Improve logging for successful logins

Include how long it took to do the login and how many reconnects.

login-proxy: Connect timeout error handling should be the same as elsewhere

login-proxy: Split off proxy_connect_failed()

The bool return value will be used in a later commit.

login-proxy: Log a debug message whenever reconnecting after connect failure

login-proxy: Parse proxy_timeout passdb extra field as milliseconds string

If it's a number, it's still parsed as number of seconds for backwards
compatibility. Otherwise it supports parsing given time unit, including
milliseconds.

login-proxy: Add login_proxy_max_reconnects setting

login-proxy: Add login_proxy_timeout setting

This can be used to overwrite the default 30 seconds. It's still possible
to overwrite this from "proxy_timeout" passdb extra field.

login-proxy: client_proxy_failed() - minor code cleanup

The comment wasn't true anymore.

login-proxy: proxy_fail_connect() - Add assert

login-proxy: Fix crash when proxy TTL reaches zero

The event was being unreferenced too many times.

lib-http: test-http-server-errors - Use the new sub-process test API.

This makes an effort to terminate client processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-server-errors - Split off test_run_client/server() from test_run_client_server().

lib-http: test-http-server-errors - Rename test_clients_kill_all() to test_clients_kill_forced().

lib-http: test-http-server-errors - Move global initialization to main_init/deinit().

lib-http: test-http-server-errors - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-server-errors - Don't ignore SIGCHLD.

lib-http: test-http-server-errors - Adjust log prefix code to match other similar unit tests.

lib-http: test-http-client-errors - Use the new sub-process test API.

This makes an effort to terminate server processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-client-errors - Split off test_run_server/dns/client() from test_run_client_server().

lib-http: test-http-client-errors - Rename test_servers_kill_all() to test_servers_kill_forced().

lib-http: test-http-client-errors - Move global initialization to main_init/deinit().

lib-http: test-http-client-errors - Avoid using sleep().

lib-http: test-http-client-errors - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-client-errors - Ignore SIGPIPE.

lib-http: test-http-client-errors - Don't ignore SIGCHLD.

lib-http: test-http-client-errors - Add log prefixes to distinguish client and server debug messages.

lib-http: test-http-payload - Use the new sub-process test API.

This makes an effort to terminate server processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-payload - Split off test_run_client/server() from test_run_client_server().

lib-http: test-http-payload - Adjust log prefix code to match other similar unit tests.

lib-http: test-http-payload - Rename test_server_kill() to test_server_kill_forced().

lib-http: test-http-payload - Move global initialization to main_init/deinit().

lib-http: test-http-payload - Call test_files_init/deinit() in test_run_client_server().

lib-http: test-http-payload - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-payload - Properly exit child process.

lib-http: test-http-payload - Don't ignore SIGCHLD.

lib-test: Implement test API for running sub-processes.

This makes an effort to terminate sub-processes gracefully. Killing them bluntly
hampers test coverage measurement and valgrind testing.

lib-test: test-common - Add test_forked_end().

m4: dovecot.m4 - Run valgrind with --error-exitcode=213 parameter in generated run-test.sh.

This way, test child processes will indicate valgrind failure with exit code
1000, making unit tests properly fail even though the actual test performed by
the child process succeeded.

Add Valgrind suppression for external problem exposed by src/lib-http/test-http-payload.

There is a memory problem in OpenSSL somewhere.

Valgrind output:

==9380== Invalid read of size 8
==9380==    at 0x48635A5: check_free (dlerror.c:188)
==9380==    by 0x4863AB1: free_key_mem (dlerror.c:221)
==9380==    by 0x4863AB1: __dlerror_main_freeres (dlerror.c:239)
==9380==    by 0x49DEB71: __libc_freeres (in /lib/x86_64-linux-gnu/libc-2.28.so)
==9380==    by 0x482D19E: _vgnU_freeres (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_core-amd64-linux.so)
==9380==    by 0x15C528: test_exit (test-common.c:389)
==9380==    by 0x12D522: test_run_client_server.constprop.11 (test-http-payload.c:1435)
==9380==    by 0x12D904: test_run_sequential (test-http-payload.c:1488)
==9380==    by 0x12E5A6: test_download_server_nonblocking (test-http-payload.c:1579)
==9380==    by 0x15B98D: test_run_funcs (test-common.c:282)
==9380==    by 0x15C2D0: test_run (test-common.c:353)
==9380==    by 0x12C647: main (test-http-payload.c:2075)
==9380==  Address 0x4de7988 is 12 bytes after a block of size 12 alloc'd
==9380==    at 0x483577F: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==9380==    by 0x4C5C328: CRYPTO_zalloc (mem.c:230)
==9380==    by 0x4C5856D: ossl_init_get_thread_local (init.c:66)
==9380==    by 0x4C5856D: ossl_init_get_thread_local (init.c:59)
==9380==    by 0x4C5856D: ossl_init_thread_start (init.c:465)
==9380==    by 0x4C81CB9: RAND_DRBG_get0_public (drbg_lib.c:1118)
==9380==    by 0x4C81CEF: drbg_bytes (drbg_lib.c:963)
==9380==    by 0x486EDF2: ssl_iostream_openssl_init (iostream-openssl.c:928)
==9380==    by 0x12C56A: main_init (test-http-payload.c:2031)
==9380==    by 0x12C56A: main (test-http-payload.c:2058)
==9380==

lib: lib-signals - Add lib_signals_clear_handlers().

lib: lib-signals - Restore default system signal handler once all handlers are removed.

lib: lib-signals - Fix assert panic occurring at ioloop switch without delayed handlers.

Panic was:

Panic: file ioloop.c: line 86 (io_add_to): assertion failed: (fd >= 0)

lib: Reformat lib-signals.h.

lib: Reformat lib-signals.c.

lib: Reverse comment about io_loop_stop() being safe to call in signal handlers

It is not safe. First there's the issue that ioloop.running is a bitmask,
but secondly there's a race condition between io_loop_stop() and the arrival
of the last timeout and/or IO event. It can end up running epoll_wait() with
only a stale IO and no timeouts, which hangs indefinitely.

lib-smtp: smtp_xtext_parse() - Remove unnecessary NULL check

pop3: Use separate search queries for expunging and setting \Seen flags

Using a single shared search query causes mail prefetching to behave
inefficiently. Especially lazy_expunge plugin could have done refcount
prefetch for non-deleted mails as well.

pop3: Split off pop3_search_build_seqset()

pop3: Minor optimization to unexpected client disconnections

There's no need to build deleted messages seqset if it's not used.

dict: When client is disconnected, make sure its input IO is removed

Just in case it takes a while to fully unreference the client, make sure its
input callback won't be called rapidly.

dict: Fix deinitializing dict iteration if client disconnects

If the client's ostream was full at the disconnection time, the iteration
wasn't aborted. Instead, the connection was kept forever and its input
callback was kept being called rapidly, causing 100% CPU usage.

dict: Split off cmd_iterate_flush_finish()

lmtp: lmtp-commands - Explicity prohibit empty RCPT path.

The empty path <""> will yield an empty username.

lib-smtp: smtp-address - Only produce a <> address in smtp_address_clone() when that is the input.

It also produced an effective null address when the localpart was empty.

lib-smtp: smtp-address - Don't recognize an address with empty localpart as <>.

Depending on context, the addresses <""@domain.tld> and <""> are potentially
valid non-null addresses.

lib-smtp: smtp-address - Don't return NULL from smtp_address_clone*() unless the input is NULL.

lib-smtp: test-smtp-server-errors - Add tests for large series of empty and bad commands.

lib-smtp: smtp-server-connection - Hold a command reference while executing a command.

This fixes a use-after-free problem at the end of
smtp_server_connection_handle_command().

lib-smtp: smtp-server-command - Perform initial command execution in separate function.

lib-smtp: smtp-server-command - Guarantee that non-destroy hooks aren't called for an ended command.

lib-smtp: test-smtp-server-errors - Add tests for VRFY and NOOP commands with invalid parameters.

lib-smtp: Add tests for smtp_string_parse() and smtp_string_write().

lib-smtp: smtp-syntax - Return 0 for smtp_string_parse() with empty input.

This is what the current users of this function actually expect.

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_ehlo_line_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_xtext_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_string_parse().

lib-smtp: smtp-server-cmd-vrfy - Restructure parameter parsing.

lib-smtp: Reformat smtp-server-cmd-vrfy.c.

lib-smtp: Reformat smtp-server-cmd-noop.c.

lib-smtp: Reformat smtp-syntax.c.

lib-smtp: Reformat smtp-syntax.h.

auth: test-mech - Remove auth-token-secret.dat after test suite

auth: mech-digest-md5 - Do not read past buffer on right trim

If the string does not have comma at the end, do not progress
the pointer past buffer end.

auth: test-mech - Fix memory leaks

Forgotten in f6bb82a222e7973e9f9b7056dfe015fe3d8632f7

lib-index: Index rebuilding lost fields in cache

Regression caused by 5f6d2134690e4b84d38d556e3086668e32f30b50

lib-index: Fix setting initial last_used for fields in mail_[always_]cache_fields

These fields had last_used=0 until the field was accessed. If cache was
purged before this access, the field was dropped. Fixed by assuming
(last_used=0, decision!=NO) is still the first time the field is being
used. This also causes it to trigger mail_cache_decision_changed event.

lib-index: mail_cache_decision_add() - Add priv helper variable

lib-index: Make mail_cache_decision_to_string() public

auth: auth_request_finished event - policy_result=delayed didn't work

It was returned as "ok" instead of "delayed".

lib-http: test-http-client-errors: "reply payload" test - Make server announce that connection is closed.

This prevents race condition between connection closure and client trying to reuse the connection.

lib-http: test-http-client-errors: "reply payload" test - Fix name of server context struct.

auth: test-mech - Rewrote test

auth: test-mock - Add credentials lookup support

auth: test - Export passdb mock settings

auth: Move auth_request_fail_on_nuls to auth-request.c

Where is belongs to