doveadm-server: Switch to TCP connection's ioloop while sending logs to remote

Fixes:
Warning: I/O leak: 0x558d7c074ed0 (ostream-file.c:349, fd 16)
Panic: file ioloop.c: line 127 (io_remove_full): assertion failed: (io->callback != NULL)

lib: randgen - Fallback to /dev/urandom in case getrandom does not work

In some operating systems getrandom is defined, but not implemented,
if this happens, fallback into using /dev/urandom.

lib: Add bloom filter support

lib: Add murmurhash3 support

Needed for bloom filters

lib: bits - add circular rotation functions

lib: Call prctl(PR_SET_DUMPABLE) only when PR_SET_DUMPABLE env variable is set

lib: Add logging of prctl(PR_SET_DUMPABLE) failure.

auth: test-lua - fix memory leaks

lib-smtp: client: Fixed sending payload with unknown size using the CHUNKING capability.

lib-smtp: client: command: Implemented callback that is called when command is fully sent.

lib-smtp: client: transaction: Fix adding a recipient while the transaction is already failed.

This did not always trigger an immediate callback.

auth: test-lua - zero out auth settings in test

Otherwise valgrind complains

director: Fix logging disconnection error reasons

The previous commit set errno=0, which weren't logged. If error string is
provided, it doesn't matter what the errno is set (as long as it's not 0),
so we'll just use EINVAL.

lib: mempool-alloconly - Make sure calloc() size isn't above SSIZE_T_MAX

This avoids valgrind warnings when running unit tests:

Argument 'nmemb' of function calloc has a fishy (possibly negative) value: -9223372036854775808

auth: userdb-lua - Fix typo in logging

auth: userdb-lua - Log error if lookup fails

Previously the error would just be discarded.

auth: db-lua - Fix password scheme handling

It was left as NULL and had misleading name in some
of the handler functions causing assert-crash.

auth: db-lua - fix auth request registration

It was registered in wrong manner so one could not
easily extend it with passdb and userdb subtables.

The change itself was to change the object to a
table, and register the actual pointer as light userdata
under index 'item', and the passdb and userdb tables
similarly with 'item' in each holding the pointer
to request.

auth: db-lua - Do not assume params is always present for passdb/userdb field lookup

lib: Fix mempool unit tests to pass with 32bit OSes

malloc(SSIZE_T_MAX) actually succeeds there, so we can't test it.

lib: rename bswap_*() to i_bswap()

director: Log connection stats for all types of disconnections

director: Log whether connection is synced when it's being disconnected.

director: Fix crash when handling expired USER timestamps.

The fix in 154f91726624265fce15097eb4bbbf6e55f8c477 wasn't complete.

password-scheme-sodium: ARGON2I - print errno on failure

password-scheme-sodium: Support ARGON2ID when available

password-scheme-sodium: rename ARGON2 to ARGON2I

password-scheme-sodium: Call sodium_init to improve performance

configure: --with-sodium doesn't add support for scrypt (for now, at least)

doveadm-server: Fix potential dsync-server panic at deinit

If the ostream is still used (e.g. for logging) after dsync is finished, it
crashed with:

Panic: file ostream.c: line 276 (o_stream_sendv_int): assertion failed: (!_stream->finished)

pop3-login: Properly recognize an empty SASL initial response.

Pass only the empty string to the auth service and not "=".

imap-login: Properly recognize an empty SASL initial response.

Pass only the empty string to the auth service and not "=".

auth: Properly recognize an empty initial SASL response.

It was erroneously handled as an absent initial response.
Restructured the code for clarity and changed the comments: '=' should not be passed to SASL layer at all.

lib: strfuncs: Fixed value of uchar_empty_ptr not to be NULL.

lmtp: proxy: Fix connection settings comparison in lmtp_proxy_get_connection() when hostip field is set.

The IP in the hostip field overrides the host setting, which broke the comparison.

lib: mempool-alloconly - Cleanly fail allocations just below SSIZE_T_MAX

Previously it would have assert-crashed in nearest_power().

lib: Use test_expect_fatal_string() for all fatal unit tests

lib: Fix mempool-alloconly & mempool-allocfree unit tests

The "physically impossible size" test was supposed to test calloc()==NULL
failure, but in reality it was triggering asserts before that.

lib: mempool-allocfree - If calloc() fails, include "Out of memory" in the log line

lib: Fix logging panic message if data stack canary corruption is detected

The previous code just recursed into the same canary corruption check and
didn't end up logging anything.

lib: Make sure panics/fatals don't recurse into loops

lib-test: Add test_expect_fatal_string()

lib-test: Cleanup - Move expected_error_str check to its own function

lib-dcrypt: test-crypto and test-stream need lib-ssl-iostream.a fully

Otherwise the .so file cannot be loaded due to missing symbols

login-common: Do not link lib-ssl-iostream.la twice

It's already in libdovecot.la

configure: Detect --whole-archive in linker

m4: Use CC, not CXX in ld_relro

replicator: Keep user referenced while dsync is running

Fixes a crash when user is removed with "doveadm replicator remove"
while dsync is still running.

replicator: Add refcounting to user

lmtp: proxy: Fixed use of hostip field after changing the implementation to use lib-smtp/client broke it.

Proxy was erroneously doing DNS queries while hostip field was returned from passdb.

lmtp: proxy: Fixed proxying reply from backend server.

It contained an additional CRLF, which caused problems.

lib-smtp: Implemented function to write an SMTP reply as a single line.

Needed for proxying in current LMTP code.

configure: Fix Lua conditionals

configure: Drop LuaJIT support

Does not work with our custom allocator

lib: mempool-allocfree - include overhead in size check

Found by valgrind

director: Fix logging of uninitialized PONG buffer size

PONG always has 0 or 2 parameters. The easiest fix here is to just not even
try to support 1 parameter.

lib-smtp: client: Fixed cleanup of untriggered transaction timeout.

director: Fix delayed request count in ps title after request timeouts

The timeouts weren't shrinking the delayed request count. This didn't cause
any other problems.

lib-program-client: Ignore ostream error handling

lib-smtp: Implemented test suite for client errors.

lib-test: Reset expected errors state at each test.

lib-lda: Added support for message submission with SSL.

lib-smtp: smtp-submit: Added SSL support.

lib-smtp: smtp-submit: Use mail_debug setting to enable debug logging.

When sendmail is used, this logs program_client debug messages.
When SMTP is used (submission_host), this logs smtp_client debug messages.

lib-smtp: Dropped old lmtp-client.

It is now unused.

lmtp: proxy: Changed implemention to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Changed submission_host implementation to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Small whitespace fix.

lib-smtp: smtp-submit: Remove erroneously copy-pasted FIXMEs.

lib-smtp: Implemented SMTP client.

lib-smtp: Implemented SMTP command reply parser.

lmtp: commands: Grouped deliver context field assignments by topic in client_deliver().

lib-lda: Added SMTP parameter fields to struct mail_deliver_context.

This moves the original recipient field inside the SMTP parameters.
This also affects both lda and lmtp. Changes are applied there accordingly.

lib-smtp: Implemented parsing, manipulation, and encoding for SMTP command parameters.

lib-smtp: Implemented parsing and encoding for common SMTP syntax elements.

lib-lda: mail-send: Changed recipient argument type of mail_send_rejection() to struct smtp_address.

lib-mail: message-address: Dropped message_detail_address_parse(), since it is no longer used.

plugins/quota: quota-status service: Changed recipient address parsing to use lib-smtp.

lib-lda: Changed struct mail_deliver_context address fields to use the new struct smtp_address type.

lda: Renamed variables and parameters for consistency with lib-smtp.

lib-lda: Renamed struct mail_deliver_context fields for consistency with lib-smtp.

New fields are added in subsequent commits.

lmtp: Removed lmtp_address_translate setting.

It is assumed not to be used.

lib-mail: message-address: Added convenience functions that convert (single) addresses to string.

lib-mail: message-address: Added functions to initialize a struct message_address.

lib-smtp: address: Created SMTP address detail parsing function from message_detail_address_parse().

lib-smtp: Implemented parsing, manipulation and encoding of SMTP addresses.

lib-smtp: Implemented generic parser for basic SMTP data items.

lib: connection: Added means to initialize connection to just be added to the connection list.

lib-storage: Make parsed postmaster_address available in mail_storage_settings->parsed_postmaster_address.

lib-settings: Added support for running checks after variable expansion.

lmtp: Accept XCLIENT ADDR field IPv6 address both with and without "IPV6:" prefix.

This is the format that Postfix actually prescribes.
The new lib-smtp will add the prefix by default.

lib: llist: Fixed setting (after)->next->prev in DLLIST2_INSERT_AFTER_FULL.

This function was not yet used, so the problem did not affect existing code.

lib-settings: Fix spelling of 'expanded'

imap: Make sure command handlers are called with ostream corked

This wasn't done when client input was continued. If COPY/MOVE was called
there, it crashed with:

Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

director: DIRECTOR-LIST - Return results sorted by host

director: DIRECTOR-LIST - Move connection/host output to their own functions

director: Make director_host_cmp_p() public

director: Improve PING/PONG timeout errors and add new warnings

Log a warning if PING-PONG takes over 5 secs in total, or also if the
recipient notices that the PING took >= 5 seconds to receive.

director: Add director_ping_idle/max_timeout setting.

director_ping_idle_timeout is used when there's otherwise no input coming
from the connection. Changed its default from 10 secs to 30 secs.

director_ping_max_timeout is used when the other director keeps sending
input, but among it is no PONG reply.

director: Log exactly how long PING was waited on before it timed out.