lib-smtp: test-smtp-payload - Properly exit child process.

lib-smtp: test-smtp-payload - Don't ignore SIGCHLD.

lib-master: master-service - Add master_service_deinit_forked().

lib-smtp: test-smtp-server-errors - Fix "many bad commands" test.

It didn't properly handle the two parallel connections. Removed a useless
context struct definition. Modified debug message for easier debugging.

lib-smtp: Reformat test-smtp-submit.c.

lib-smtp: Reformat test-smtp-server-errors.c.

lib-smtp: Reformat test-smtp-client-errors.c.

lib-smtp: Reformat test-smtp-payload.c.

lib-program-client: test-program-client-local - Add test for running client without I/O or timeouts.

lib: child-wait - Mark the SIGCHLD handler as expected when waiting for child.

This alows waiting for a child to be the only activity on the ioloop.

lib: lib-signals - Implement lib_signals_set_expected().

This is a promise that the indicated delayed signal will occur eventually, so
that the associated ioloop will eventually terminate. This allows the lib-signal
io to be alone on the ioloop.

lib-program-client: program-client-local - Restructure program_client_local_disconnect().

Simplify the handling of the program timeout and improve the debug messages.

login-proxy: Add proxy_host_immediate_failure_after=<time> passdb extra field

If host has only seen connect failures for this long, stop attempting to
connect there (except with one connection) and instead return immediate
failure. This used to be hardcoded to 30 seconds, which can now be
changed. Most importantly 0 means that this functionality is disabled
entirely.

pop3-proxy: Add [SYS/TEMP] prefix to temporary login failures

login-proxy: Support retrying reconnection on temporary authentication failures

submission-proxy: Add asserts to clarify pending_auth's lifetime

submission-proxy: Fix internal authentication failure response code

*-login: Change proxy_error() API to proxy_failed() API

The protocol-specific code is now able to control better what kind of a
reply is sent to client on proxying failure.

login-proxy: client_proxy_failed() - Move line sending to caller

login-proxy: Support reconnecting on most types of failures

*-login: Remove redundant/early freeing of proxy_password

The login-common code already does this after the proxying has failed or
succeeded. Having these duplicate frees immediately after sending the
password isn't all that useful, and most importantly they make it
impossible to reconnect after the password has been sent.

imap-login: Don't use proxy_password for checking if authentication is still needed

Required for the next commit.

login-proxy: Don't reconnect anymore when timeout is too close

login-proxy: Log auth failures centrally in login_proxy_failed()

login-proxy: Support reconnecting also when connect() immediately fails

This can happen when connecting to localhost.

login-proxy: Change client_proxy_failed() to be static

The other client_proxy_*_failed() should be used instead.

login-proxy: Don't call input_callback on destroy

All the failure code paths now call failure_callback instead.

login-proxy: login_proxy_new() - Call login_proxy_failed() also when returning -1

This also changes login_proxy_new() to internally send the failure message
to client, so caller doesn't have to do it.

login-proxy: Replace e_error()+client_proxy_failed() calls with login_proxy_failed()

The event parameter for login_proxy_failed() allows creating named events
using passthrough events, but for now there aren't any named events.

login-proxy: Handle auth failures with login_proxy_failed()

login-proxy: login_proxy_connect() - Call login_proxy_free() internally

login-proxy: login_proxy_new() - Add failure callback

login-proxy: Rename proxy_callback_t to login_proxy_input_callback_t

login-proxy: proxy_log_connect_error() - Move the actual logging to callers

login-proxy: login_proxy_starttls() - destroy proxy internally on failure

submission-login: proxy - Change impossible code path to assert

pop3-login: Move client_proxy_failed() calls next to error logging

submission-login: proxy - Some code paths were missing client_proxy_failed() calls

Move client_proxy_failed() calls right next to the error logging so it's
clearer where they are needed.

imap-login: proxy - Some code paths were missing client_proxy_failed() calls

Move client_proxy_failed() calls right next to the error logging so it's
clearer where they are needed.

login-proxy: Improve logging for successful logins

Include how long it took to do the login and how many reconnects.

login-proxy: Connect timeout error handling should be the same as elsewhere

login-proxy: Split off proxy_connect_failed()

The bool return value will be used in a later commit.

login-proxy: Log a debug message whenever reconnecting after connect failure

login-proxy: Parse proxy_timeout passdb extra field as milliseconds string

If it's a number, it's still parsed as number of seconds for backwards
compatibility. Otherwise it supports parsing given time unit, including
milliseconds.

login-proxy: Add login_proxy_max_reconnects setting

login-proxy: Add login_proxy_timeout setting

This can be used to overwrite the default 30 seconds. It's still possible
to overwrite this from "proxy_timeout" passdb extra field.

login-proxy: client_proxy_failed() - minor code cleanup

The comment wasn't true anymore.

login-proxy: proxy_fail_connect() - Add assert

login-proxy: Fix crash when proxy TTL reaches zero

The event was being unreferenced too many times.

lib-http: test-http-server-errors - Use the new sub-process test API.

This makes an effort to terminate client processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-server-errors - Split off test_run_client/server() from test_run_client_server().

lib-http: test-http-server-errors - Rename test_clients_kill_all() to test_clients_kill_forced().

lib-http: test-http-server-errors - Move global initialization to main_init/deinit().

lib-http: test-http-server-errors - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-server-errors - Don't ignore SIGCHLD.

lib-http: test-http-server-errors - Adjust log prefix code to match other similar unit tests.

lib-http: test-http-client-errors - Use the new sub-process test API.

This makes an effort to terminate server processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-client-errors - Split off test_run_server/dns/client() from test_run_client_server().

lib-http: test-http-client-errors - Rename test_servers_kill_all() to test_servers_kill_forced().

lib-http: test-http-client-errors - Move global initialization to main_init/deinit().

lib-http: test-http-client-errors - Avoid using sleep().

lib-http: test-http-client-errors - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-client-errors - Ignore SIGPIPE.

lib-http: test-http-client-errors - Don't ignore SIGCHLD.

lib-http: test-http-client-errors - Add log prefixes to distinguish client and server debug messages.

lib-http: test-http-payload - Use the new sub-process test API.

This makes an effort to terminate server processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-http: test-http-payload - Split off test_run_client/server() from test_run_client_server().

lib-http: test-http-payload - Adjust log prefix code to match other similar unit tests.

lib-http: test-http-payload - Rename test_server_kill() to test_server_kill_forced().

lib-http: test-http-payload - Move global initialization to main_init/deinit().

lib-http: test-http-payload - Call test_files_init/deinit() in test_run_client_server().

lib-http: test-http-payload - Use lib-signals API.

Using signal() is not portable for installing a signal handler.

lib-http: test-http-payload - Properly exit child process.

lib-http: test-http-payload - Don't ignore SIGCHLD.

lib-test: Implement test API for running sub-processes.

This makes an effort to terminate sub-processes gracefully. Killing them bluntly
hampers test coverage measurement and valgrind testing.

lib-test: test-common - Add test_forked_end().

m4: dovecot.m4 - Run valgrind with --error-exitcode=213 parameter in generated run-test.sh.

This way, test child processes will indicate valgrind failure with exit code
1000, making unit tests properly fail even though the actual test performed by
the child process succeeded.

Add Valgrind suppression for external problem exposed by src/lib-http/test-http-payload.

There is a memory problem in OpenSSL somewhere.

Valgrind output:

==9380== Invalid read of size 8
==9380==    at 0x48635A5: check_free (dlerror.c:188)
==9380==    by 0x4863AB1: free_key_mem (dlerror.c:221)
==9380==    by 0x4863AB1: __dlerror_main_freeres (dlerror.c:239)
==9380==    by 0x49DEB71: __libc_freeres (in /lib/x86_64-linux-gnu/libc-2.28.so)
==9380==    by 0x482D19E: _vgnU_freeres (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_core-amd64-linux.so)
==9380==    by 0x15C528: test_exit (test-common.c:389)
==9380==    by 0x12D522: test_run_client_server.constprop.11 (test-http-payload.c:1435)
==9380==    by 0x12D904: test_run_sequential (test-http-payload.c:1488)
==9380==    by 0x12E5A6: test_download_server_nonblocking (test-http-payload.c:1579)
==9380==    by 0x15B98D: test_run_funcs (test-common.c:282)
==9380==    by 0x15C2D0: test_run (test-common.c:353)
==9380==    by 0x12C647: main (test-http-payload.c:2075)
==9380==  Address 0x4de7988 is 12 bytes after a block of size 12 alloc'd
==9380==    at 0x483577F: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==9380==    by 0x4C5C328: CRYPTO_zalloc (mem.c:230)
==9380==    by 0x4C5856D: ossl_init_get_thread_local (init.c:66)
==9380==    by 0x4C5856D: ossl_init_get_thread_local (init.c:59)
==9380==    by 0x4C5856D: ossl_init_thread_start (init.c:465)
==9380==    by 0x4C81CB9: RAND_DRBG_get0_public (drbg_lib.c:1118)
==9380==    by 0x4C81CEF: drbg_bytes (drbg_lib.c:963)
==9380==    by 0x486EDF2: ssl_iostream_openssl_init (iostream-openssl.c:928)
==9380==    by 0x12C56A: main_init (test-http-payload.c:2031)
==9380==    by 0x12C56A: main (test-http-payload.c:2058)
==9380==

lib: lib-signals - Add lib_signals_clear_handlers().

lib: lib-signals - Restore default system signal handler once all handlers are removed.

lib: lib-signals - Fix assert panic occurring at ioloop switch without delayed handlers.

Panic was:

Panic: file ioloop.c: line 86 (io_add_to): assertion failed: (fd >= 0)

lib: Reformat lib-signals.h.

lib: Reformat lib-signals.c.

lib: Reverse comment about io_loop_stop() being safe to call in signal handlers

It is not safe. First there's the issue that ioloop.running is a bitmask,
but secondly there's a race condition between io_loop_stop() and the arrival
of the last timeout and/or IO event. It can end up running epoll_wait() with
only a stale IO and no timeouts, which hangs indefinitely.

lib-smtp: smtp_xtext_parse() - Remove unnecessary NULL check

pop3: Use separate search queries for expunging and setting \Seen flags

Using a single shared search query causes mail prefetching to behave
inefficiently. Especially lazy_expunge plugin could have done refcount
prefetch for non-deleted mails as well.

pop3: Split off pop3_search_build_seqset()

pop3: Minor optimization to unexpected client disconnections

There's no need to build deleted messages seqset if it's not used.

dict: When client is disconnected, make sure its input IO is removed

Just in case it takes a while to fully unreference the client, make sure its
input callback won't be called rapidly.

dict: Fix deinitializing dict iteration if client disconnects

If the client's ostream was full at the disconnection time, the iteration
wasn't aborted. Instead, the connection was kept forever and its input
callback was kept being called rapidly, causing 100% CPU usage.

dict: Split off cmd_iterate_flush_finish()

lmtp: lmtp-commands - Explicity prohibit empty RCPT path.

The empty path <""> will yield an empty username.

lib-smtp: smtp-address - Only produce a <> address in smtp_address_clone() when that is the input.

It also produced an effective null address when the localpart was empty.

lib-smtp: smtp-address - Don't recognize an address with empty localpart as <>.

Depending on context, the addresses <""@domain.tld> and <""> are potentially
valid non-null addresses.

lib-smtp: smtp-address - Don't return NULL from smtp_address_clone*() unless the input is NULL.

lib-smtp: test-smtp-server-errors - Add tests for large series of empty and bad commands.

lib-smtp: smtp-server-connection - Hold a command reference while executing a command.

This fixes a use-after-free problem at the end of
smtp_server_connection_handle_command().

lib-smtp: smtp-server-command - Perform initial command execution in separate function.

lib-smtp: smtp-server-command - Guarantee that non-destroy hooks aren't called for an ended command.

lib-smtp: test-smtp-server-errors - Add tests for VRFY and NOOP commands with invalid parameters.