configure: --with-sodium doesn't add support for scrypt (for now, at least)

doveadm-server: Fix potential dsync-server panic at deinit

If the ostream is still used (e.g. for logging) after dsync is finished, it
crashed with:

Panic: file ostream.c: line 276 (o_stream_sendv_int): assertion failed: (!_stream->finished)

pop3-login: Properly recognize an empty SASL initial response.

Pass only the empty string to the auth service and not "=".

imap-login: Properly recognize an empty SASL initial response.

Pass only the empty string to the auth service and not "=".

auth: Properly recognize an empty initial SASL response.

It was erroneously handled as an absent initial response.
Restructured the code for clarity and changed the comments: '=' should not be passed to SASL layer at all.

lib: strfuncs: Fixed value of uchar_empty_ptr not to be NULL.

lmtp: proxy: Fix connection settings comparison in lmtp_proxy_get_connection() when hostip field is set.

The IP in the hostip field overrides the host setting, which broke the comparison.

lib: mempool-alloconly - Cleanly fail allocations just below SSIZE_T_MAX

Previously it would have assert-crashed in nearest_power().

lib: Use test_expect_fatal_string() for all fatal unit tests

lib: Fix mempool-alloconly & mempool-allocfree unit tests

The "physically impossible size" test was supposed to test calloc()==NULL
failure, but in reality it was triggering asserts before that.

lib: mempool-allocfree - If calloc() fails, include "Out of memory" in the log line

lib: Fix logging panic message if data stack canary corruption is detected

The previous code just recursed into the same canary corruption check and
didn't end up logging anything.

lib: Make sure panics/fatals don't recurse into loops

lib-test: Add test_expect_fatal_string()

lib-test: Cleanup - Move expected_error_str check to its own function

lib-dcrypt: test-crypto and test-stream need lib-ssl-iostream.a fully

Otherwise the .so file cannot be loaded due to missing symbols

login-common: Do not link lib-ssl-iostream.la twice

It's already in libdovecot.la

configure: Detect --whole-archive in linker

m4: Use CC, not CXX in ld_relro

replicator: Keep user referenced while dsync is running

Fixes a crash when user is removed with "doveadm replicator remove"
while dsync is still running.

replicator: Add refcounting to user

lmtp: proxy: Fixed use of hostip field after changing the implementation to use lib-smtp/client broke it.

Proxy was erroneously doing DNS queries while hostip field was returned from passdb.

lmtp: proxy: Fixed proxying reply from backend server.

It contained an additional CRLF, which caused problems.

lib-smtp: Implemented function to write an SMTP reply as a single line.

Needed for proxying in current LMTP code.

configure: Fix Lua conditionals

configure: Drop LuaJIT support

Does not work with our custom allocator

lib: mempool-allocfree - include overhead in size check

Found by valgrind

director: Fix logging of uninitialized PONG buffer size

PONG always has 0 or 2 parameters. The easiest fix here is to just not even
try to support 1 parameter.

lib-smtp: client: Fixed cleanup of untriggered transaction timeout.

director: Fix delayed request count in ps title after request timeouts

The timeouts weren't shrinking the delayed request count. This didn't cause
any other problems.

lib-program-client: Ignore ostream error handling

lib-smtp: Implemented test suite for client errors.

lib-test: Reset expected errors state at each test.

lib-lda: Added support for message submission with SSL.

lib-smtp: smtp-submit: Added SSL support.

lib-smtp: smtp-submit: Use mail_debug setting to enable debug logging.

When sendmail is used, this logs program_client debug messages.
When SMTP is used (submission_host), this logs smtp_client debug messages.

lib-smtp: Dropped old lmtp-client.

It is now unused.

lmtp: proxy: Changed implemention to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Changed submission_host implementation to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Small whitespace fix.

lib-smtp: smtp-submit: Remove erroneously copy-pasted FIXMEs.

lib-smtp: Implemented SMTP client.

lib-smtp: Implemented SMTP command reply parser.

lmtp: commands: Grouped deliver context field assignments by topic in client_deliver().

lib-lda: Added SMTP parameter fields to struct mail_deliver_context.

This moves the original recipient field inside the SMTP parameters.
This also affects both lda and lmtp. Changes are applied there accordingly.

lib-smtp: Implemented parsing, manipulation, and encoding for SMTP command parameters.

lib-smtp: Implemented parsing and encoding for common SMTP syntax elements.

lib-lda: mail-send: Changed recipient argument type of mail_send_rejection() to struct smtp_address.

lib-mail: message-address: Dropped message_detail_address_parse(), since it is no longer used.

plugins/quota: quota-status service: Changed recipient address parsing to use lib-smtp.

lib-lda: Changed struct mail_deliver_context address fields to use the new struct smtp_address type.

lda: Renamed variables and parameters for consistency with lib-smtp.

lib-lda: Renamed struct mail_deliver_context fields for consistency with lib-smtp.

New fields are added in subsequent commits.

lmtp: Removed lmtp_address_translate setting.

It is assumed not to be used.

lib-mail: message-address: Added convenience functions that convert (single) addresses to string.

lib-mail: message-address: Added functions to initialize a struct message_address.

lib-smtp: address: Created SMTP address detail parsing function from message_detail_address_parse().

lib-smtp: Implemented parsing, manipulation and encoding of SMTP addresses.

lib-smtp: Implemented generic parser for basic SMTP data items.

lib: connection: Added means to initialize connection to just be added to the connection list.

lib-storage: Make parsed postmaster_address available in mail_storage_settings->parsed_postmaster_address.

lib-settings: Added support for running checks after variable expansion.

lmtp: Accept XCLIENT ADDR field IPv6 address both with and without "IPV6:" prefix.

This is the format that Postfix actually prescribes.
The new lib-smtp will add the prefix by default.

lib: llist: Fixed setting (after)->next->prev in DLLIST2_INSERT_AFTER_FULL.

This function was not yet used, so the problem did not affect existing code.

lib-settings: Fix spelling of 'expanded'

imap: Make sure command handlers are called with ostream corked

This wasn't done when client input was continued. If COPY/MOVE was called
there, it crashed with:

Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

director: DIRECTOR-LIST - Return results sorted by host

director: DIRECTOR-LIST - Move connection/host output to their own functions

director: Make director_host_cmp_p() public

director: Improve PING/PONG timeout errors and add new warnings

Log a warning if PING-PONG takes over 5 secs in total, or also if the
recipient notices that the PING took >= 5 seconds to receive.

director: Add director_ping_idle/max_timeout setting.

director_ping_idle_timeout is used when there's otherwise no input coming
from the connection. Changed its default from 10 secs to 30 secs.

director_ping_max_timeout is used when the other director keeps sending
input, but among it is no PONG reply.

director: Log exactly how long PING was waited on before it timed out.

director: DIRECTOR-LIST - Add "ring " prefix to self's status

This is to make it a bit easier to understand the difference between a
connection's "handshaking" state vs. "ring handshaking" state.

director: DIRECTOR-LIST - Show number of USERs sent/received in "handshaking" state

director: Include number of users sent in handshake in disconnection log lines

director: Show number of incoming USERs/sec in ps title

director: Include number of USERs received in disconnection log lines

Separate handshake and refresh USERs.

director: Don't send USERs in handshake that were already sent between handshake

If the user was refreshed since the handshake was started, it means that
the same user was already sent to the other side (added to the stream
immediately after it was received/handled). There's no need to send it
again.

This fixes a potentally infinite handshake when users are rapidly changing
and the handshake iterator never sees the end of the list. (Each refreshed
user is moved to the end of the list, so handshaking can keep sending the
same user over and over again.)

director: Delay sorting users until there are no more user iterators

This shouldn't have normally happened. Only when an outgoing handshake was
going on at the same time as a) another outgoing handshake was going on, or
b) doveadm was doing HOST-RESET-USERS

director: Avoid USER loops with >1s ring latency also with old directors

Do this by ignoring USER refreshes that were already updated recently.
The "recently" is calculated by director_user_expire/4 seconds ago, but
with an upper limit of 15 secs. This means that the USER loops can now
only exist if the director ring latency is above 15 seconds. (Once all
directors in the ring are running the new version, there's no looping
at any latency.)

director: Avoid USER loops when ring latency is over 1 second

Do this by adding a timestamp parameter to USER events. This way if it
takes over 1 second for the USER event to traverse the ring, it won't get
into an infinite loop getting the user updated over and over again.

director: Replace USER command during handshake with "U"

This clearly differentiates the two commands and allows extending the USER
command with new parameters without mixing it up with the handshake-USER.

director: Ignore refresh requests for already expired user timestamps

director: Keep users unsorted during handshake and sort them at the end

This is simpler and sometimes more efficient than the current way of
immediately inserting the users to the correct place in the linked list.
This is especially useful if handshaking is mixed with regular USER updates,
because each switch between them required walking the linked list backwards
to find the proper insert position.

It's not a big problem if the users list is temporarily unordered. It mainly
means that some of the users won't be expired as early as they should have.

director: Make sure users are sorted after unfinished handshake

The users were sorted after the handshake was finished, but if the
connection was closed before that hapepned, the users were left
unsorted. This could have caused the users to not expire early
enough.

director: Make sure user's timestamp isn't set to future

The sending director could have the system clock slightly in the future.

global: Use t_buffer_create

sed -i -e 's/buffer_create_dynamic(pool_datastack_create(), */t_buffer_create(/g'

lib: buffer - Add t_buffer_create

Helper for making a datastack buffer

lib-storage: Fix sorting mails with the same primary sort key

The sorting order may have been wrong when there was a combination of:
 * Messages were sorted by a string (e.g. Subject)
 * Some messages had the same sort key (e.g. same base subject)
 * Within the messages with the same sort key, some of the messages already
   had the "sort-*" index number in Dovecot indexes, but some of them
   didn't.

The result was that Dovecot found that the two messages had exactly the same
sort key. It should have continued with the secondary sort key (e.g.
message sequence number), but it didn't.

auth: Add lua passdb/userdb support

lib-lua: Add lua helper library

Provides a base lua library for lua extensibility

configure: Detect lua

auth: Add accessor for userdb-template fields

It's needed in lua

mempool-allocfree: Add linked-list malloc allocation

This is useful when you want to actually free memory from pool too

stats: Do not log errors if /proc/self/io is not accessible

Some security options, used notably in docker, can prevent
access to this file even from root, so do not log errors
if the error is EACCES.

lib: test-path-util - whitespace & coding style cleanup in create_links()

auth: Check that key is not empty in passdb or userdb template

Prevents nasty crash later on if template has 'key = value'

dovecot: auth: Panic: file auth-request.c: line 1746 (auth_request_set_field): assertion failed: (*name != '\0')

lib-storage: Add mailbox_set_critical() and mail_set_critical()

These add the mailbox vname and mail UID to the log prefix and then call
mail_storage_set_critical().

login-proxy: Fix hang in outgoing SSL connections

The handshaking needs to be started explicitly.

login-proxy: Log connection errors using IP, not hostname

The hostname can point to multiple IPs or there can be some other mismatch.
Logging the IP instead shows exactly what is happening.