lib-smtp: smtp-submit: Added SSL support.

lib-smtp: smtp-submit: Use mail_debug setting to enable debug logging.

When sendmail is used, this logs program_client debug messages.
When SMTP is used (submission_host), this logs smtp_client debug messages.

lib-smtp: Dropped old lmtp-client.

It is now unused.

lmtp: proxy: Changed implemention to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Changed submission_host implementation to use lib-smtp/smtp-client.

lib-smtp: smtp-submit: Small whitespace fix.

lib-smtp: smtp-submit: Remove erroneously copy-pasted FIXMEs.

lib-smtp: Implemented SMTP client.

lib-smtp: Implemented SMTP command reply parser.

lmtp: commands: Grouped deliver context field assignments by topic in client_deliver().

lib-lda: Added SMTP parameter fields to struct mail_deliver_context.

This moves the original recipient field inside the SMTP parameters.
This also affects both lda and lmtp. Changes are applied there accordingly.

lib-smtp: Implemented parsing, manipulation, and encoding for SMTP command parameters.

lib-smtp: Implemented parsing and encoding for common SMTP syntax elements.

lib-lda: mail-send: Changed recipient argument type of mail_send_rejection() to struct smtp_address.

lib-mail: message-address: Dropped message_detail_address_parse(), since it is no longer used.

plugins/quota: quota-status service: Changed recipient address parsing to use lib-smtp.

lib-lda: Changed struct mail_deliver_context address fields to use the new struct smtp_address type.

lda: Renamed variables and parameters for consistency with lib-smtp.

lib-lda: Renamed struct mail_deliver_context fields for consistency with lib-smtp.

New fields are added in subsequent commits.

lmtp: Removed lmtp_address_translate setting.

It is assumed not to be used.

lib-mail: message-address: Added convenience functions that convert (single) addresses to string.

lib-mail: message-address: Added functions to initialize a struct message_address.

lib-smtp: address: Created SMTP address detail parsing function from message_detail_address_parse().

lib-smtp: Implemented parsing, manipulation and encoding of SMTP addresses.

lib-smtp: Implemented generic parser for basic SMTP data items.

lib: connection: Added means to initialize connection to just be added to the connection list.

lib-storage: Make parsed postmaster_address available in mail_storage_settings->parsed_postmaster_address.

lib-settings: Added support for running checks after variable expansion.

lmtp: Accept XCLIENT ADDR field IPv6 address both with and without "IPV6:" prefix.

This is the format that Postfix actually prescribes.
The new lib-smtp will add the prefix by default.

lib: llist: Fixed setting (after)->next->prev in DLLIST2_INSERT_AFTER_FULL.

This function was not yet used, so the problem did not affect existing code.

lib-settings: Fix spelling of 'expanded'

imap: Make sure command handlers are called with ostream corked

This wasn't done when client input was continued. If COPY/MOVE was called
there, it crashed with:

Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

director: DIRECTOR-LIST - Return results sorted by host

director: DIRECTOR-LIST - Move connection/host output to their own functions

director: Make director_host_cmp_p() public

director: Improve PING/PONG timeout errors and add new warnings

Log a warning if PING-PONG takes over 5 secs in total, or also if the
recipient notices that the PING took >= 5 seconds to receive.

director: Add director_ping_idle/max_timeout setting.

director_ping_idle_timeout is used when there's otherwise no input coming
from the connection. Changed its default from 10 secs to 30 secs.

director_ping_max_timeout is used when the other director keeps sending
input, but among it is no PONG reply.

director: Log exactly how long PING was waited on before it timed out.

director: DIRECTOR-LIST - Add "ring " prefix to self's status

This is to make it a bit easier to understand the difference between a
connection's "handshaking" state vs. "ring handshaking" state.

director: DIRECTOR-LIST - Show number of USERs sent/received in "handshaking" state

director: Include number of users sent in handshake in disconnection log lines

director: Show number of incoming USERs/sec in ps title

director: Include number of USERs received in disconnection log lines

Separate handshake and refresh USERs.

director: Don't send USERs in handshake that were already sent between handshake

If the user was refreshed since the handshake was started, it means that
the same user was already sent to the other side (added to the stream
immediately after it was received/handled). There's no need to send it
again.

This fixes a potentally infinite handshake when users are rapidly changing
and the handshake iterator never sees the end of the list. (Each refreshed
user is moved to the end of the list, so handshaking can keep sending the
same user over and over again.)

director: Delay sorting users until there are no more user iterators

This shouldn't have normally happened. Only when an outgoing handshake was
going on at the same time as a) another outgoing handshake was going on, or
b) doveadm was doing HOST-RESET-USERS

director: Avoid USER loops with >1s ring latency also with old directors

Do this by ignoring USER refreshes that were already updated recently.
The "recently" is calculated by director_user_expire/4 seconds ago, but
with an upper limit of 15 secs. This means that the USER loops can now
only exist if the director ring latency is above 15 seconds. (Once all
directors in the ring are running the new version, there's no looping
at any latency.)

director: Avoid USER loops when ring latency is over 1 second

Do this by adding a timestamp parameter to USER events. This way if it
takes over 1 second for the USER event to traverse the ring, it won't get
into an infinite loop getting the user updated over and over again.

director: Replace USER command during handshake with "U"

This clearly differentiates the two commands and allows extending the USER
command with new parameters without mixing it up with the handshake-USER.

director: Ignore refresh requests for already expired user timestamps

director: Keep users unsorted during handshake and sort them at the end

This is simpler and sometimes more efficient than the current way of
immediately inserting the users to the correct place in the linked list.
This is especially useful if handshaking is mixed with regular USER updates,
because each switch between them required walking the linked list backwards
to find the proper insert position.

It's not a big problem if the users list is temporarily unordered. It mainly
means that some of the users won't be expired as early as they should have.

director: Make sure users are sorted after unfinished handshake

The users were sorted after the handshake was finished, but if the
connection was closed before that hapepned, the users were left
unsorted. This could have caused the users to not expire early
enough.

director: Make sure user's timestamp isn't set to future

The sending director could have the system clock slightly in the future.

global: Use t_buffer_create

sed -i -e 's/buffer_create_dynamic(pool_datastack_create(), */t_buffer_create(/g'

lib: buffer - Add t_buffer_create

Helper for making a datastack buffer

lib-storage: Fix sorting mails with the same primary sort key

The sorting order may have been wrong when there was a combination of:
 * Messages were sorted by a string (e.g. Subject)
 * Some messages had the same sort key (e.g. same base subject)
 * Within the messages with the same sort key, some of the messages already
   had the "sort-*" index number in Dovecot indexes, but some of them
   didn't.

The result was that Dovecot found that the two messages had exactly the same
sort key. It should have continued with the secondary sort key (e.g.
message sequence number), but it didn't.

auth: Add lua passdb/userdb support

lib-lua: Add lua helper library

Provides a base lua library for lua extensibility

configure: Detect lua

auth: Add accessor for userdb-template fields

It's needed in lua

mempool-allocfree: Add linked-list malloc allocation

This is useful when you want to actually free memory from pool too

stats: Do not log errors if /proc/self/io is not accessible

Some security options, used notably in docker, can prevent
access to this file even from root, so do not log errors
if the error is EACCES.

lib: test-path-util - whitespace & coding style cleanup in create_links()

auth: Check that key is not empty in passdb or userdb template

Prevents nasty crash later on if template has 'key = value'

dovecot: auth: Panic: file auth-request.c: line 1746 (auth_request_set_field): assertion failed: (*name != '\0')

lib-storage: Add mailbox_set_critical() and mail_set_critical()

These add the mailbox vname and mail UID to the log prefix and then call
mail_storage_set_critical().

login-proxy: Fix hang in outgoing SSL connections

The handshaking needs to be started explicitly.

login-proxy: Log connection errors using IP, not hostname

The hostname can point to multiple IPs or there can be some other mismatch.
Logging the IP instead shows exactly what is happening.

lib: path-util: Improved conditional expressions in path_normalize() to match the earlier adjusted assertions.

Added some more assertions in the process to make sure subtractions are always valid.

lib: Improve test-path-util unit test to catch off-by-one memory allocation errors

lib: path-util - Allocate more space earlier

Fixes assert crash in path_normalize when termination
needs to happen at asize boundary.

Panic: file path-util.c: line 93 (path_normalize): assertion failed: ((size_t)((npath_pos - npath) + 1) < asize)

lib-storage: Add a fall through comment to fix gcc-7 warning

mdbox: Fix rebuilding when dovecot.map.index is missing map/ref extension

The rebuild kept just repeatedly failing with:
Error: mdbox map .../dovecot.map.index corrupted: missing map extension

lib-storage: Fix mailbox_create_missing_dir() with storages that have no mail root dir

The mailbox still exists even if the mail root directory doesn't, so there's
no point in even trying to stat() it.

lib-storage: Make sure mailbox autocreation doesn't get into infinite loop

If mailbox_create() -> mailbox_open() fails with MAIL_ERROR_NOTFOUND, it
would have looped back to mailbox_create() and continued this until
running out of stack.

lib-storage: Add INDEXCACHE=<path> to mail_location

This allows configuring a different directory for dovecot.index.cache files
than the rest of the index files.

lib-storage: mailbox_rename() - Improve debug logging when namespaces are incompatible

lib-index: Add mail_index_set_cache_dir() to change .cache's directory

lib-index: Add mail_cache_open_or_create_path()

This allows moving cache file to another directory.

virtual: Fix crash when saving to virtual mailbox whose physical box doesn't exist

For example if using "!foo" in dovecot-virtual and "foo" doesn't exist, it crashed.
Now it gives a nice error message instead.

lib: path-util: Made assertions in path_normalize() more reliable and less confusing to static analyzer.

lib: path-util - Add more code paths to test in path_normalize()

virtual: Wrap mail.get_binary_stream() to fix it

Fixes using FETCH BINARY[..] with virtual mailboxes crashing with:

Panic: file index-mail-binary.c: line 585 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)

quota: Fix error handling if maildirsize rewrite fails after recalculation

error could have been left uninitialized, potentially causing a crash.

fts-lucene: Fix potential memory leak

lib-dcrypt: test-stream - Make static analyzer happier

Without this clang thinks it's possible that siz>sizeof(payload).

doveadm-auth-server: Further fix json problems

Remove excess comma from start, forgotten in 3e06a782584ea2c4ae2a8cb0451e9952f05f9dc8

lib-charset: Compile charset-utf8-only code always

Mainly so that this code always gets compiled, so any bugs are found.

lib-charset: Allow plugins to replace charset_* functions

They just need to point charset_utf8_vfuncs to their own implementation.

lib-charset: Move non-iconv UTF-8 only translation code to its own file

mail-crypt: Do not free global keys if no error has occured

director: Make sure a missing right-side connection is always reconnected

This code shouldn't be needed, but add it just to be sure.

director: Reconnect after detecting a write failure to director

If disconnection is detected during write failure, or "Output buffer full"
occurs, the connection is disconnected. However, if this was the right side
connection, it wasn't automatically reconnected to. This left the ring
nonworking.

global: Replace o_stream_ignore_last_errors() with o_stream_abort() wherever possible

lib: Add o_stream_abort()

lib-smtp: Remove unnecessary o_stream_ignore_last_errors() call

The stream is already marked with o_stream_set_no_error_handling(TRUE).

lib-storage: Fix MAILBOX_LIST_INDEX_HIERARHCY_SEP spelling

Original work by @jsoref

doveadm: client - Cleanup: Simplify the input loop

doveadm: client - Cleanup: Remove unnecessary stream_errno check

doveadm: client - Cleanup: Remove unnecessary code indentation

doveadm: client - Cleanup: Handle input NULL first

doveadm: client - Cleanup: Set authenticate_sent in a more proper location