lib-smtp: smtp-client - Perform the LF -> CRLF conversion for the message data in the transaction.

Before, it was performed in the DATA/BDAT command code, which makes it very
difficult to extract post-conversion size statistics.

lib-smtp: smtp-client-command.h - Reformat the comments for the standard commands.

lib-smtp: smtp-client-transaction - Emit named recipient events.

lib-smtp: smtp-client-transaction - Emit named events.

lib-smtp: smtp-client-transaction - Pass last reply to smtp_client_transaction_finish().

lib-smtp: smtp-client-transaction - Record the first failure reply of the DATA command.

This is needed when the DATA command yields more than a single reply (LMTP).

lib-smtp: smtp-client-transaction - Record recipient statistics in the transaction.

lib-smtp: smtp-client-transaction - Drop smtp_client_transaction_rcpt_drop_pending() as a separate function.

It is now merged into smtp_client_transaction_rcpt_approved() to make the code
less confusing.

lib-smtp: smtp-client-transaction - Drop the rcpt->failed flag.

It is no longer needed.

lib-smtp: smtp-client-transaction - Explicitly keep track of whether a recipient is already finished.

lib-smtp: smtp-client-transaction - Free the rcpt object in smtp_client_transaction_rcpt_fail_reply().

lib-smtp: smtp-client-transaction - Handle recipient failure callback in a separate _rcpt function.

lib-smtp: smtp-client-transaction - Handle recipient DATA callback in a separate _rcpt function.

lib-smtp: smtp-client-transaction - Handle RCPT reply in a separate _rcpt function.

lib-smtp: smtp-client-transaction - Free the mail object in smtp_client_transaction_mail_fail_reply().

lib-smtp: smtp-client-transaction - Handle MAIL failure callback in a separate _mail function.

lib-smtp: smtp-client-transaction - Handle MAIL reply in a separate _mail function.

lib-smtp: smtp-params - Add support for adding RCPT parameters to an event.

lib-smtp: smtp-params - Add support for adding MAIL parameters to an event.

lib-smtp: smtp-client-command - Emit named events.

lib-smtp: smtp-client-command - Create local variable for "was_sent" command status.

The condition is amended with (state < SMTP_CLIENT_COMMAND_STATE_FINISHED),
because that part is now checked after the intiialization of this variable
(causing the function to exit). It is important that the content of this
variable makes sense immediately (for future changes), rather than only after
the if statement that checks the added condition.

lib-smtp: smtp-client-command - Rename "waslocked" to "was_locked" in smtp_client_command_abort().

lib-smtp: smtp-reply - Add smtp_reply_add_to_event().

This sets standard reply fields in the provided pass-through event.

lib-smtp: smtp-client-connection - Add peer fields to the connection events.

lib-smtp: smtp-client - Replace smtp_*_debug() with e_debug().

lib-smtp: smtp-client - Replace smtp_*_warning() with e_warning().

lib-smtp: smtp-client - Replace smtp_*_error() with e_error().

lib-smtp: smtp-client - Replace i_error() with e_error().

lib-smtp: smtp-client - Remove redundant debug logging checks.

lib-smtp: smtp-client - Add support for event API.

lib-smtp: smtp-client-command - Split command name extraction from label construction.

lib-smtp: smtp-reply - Add smtp_reply_get_message().

Returns only the message of the reply without statuses as a single line.

lib: test-event-flatten - Fix initializators for value

Older gcc complains about using anonymous members directly,
so instead use nested braces. This fixes the issue.

Continues fix in ae3c9db544c40367cded872a5f46dbd6abc8cd78

lib: Add initializers to test-event-flatten

This is to fix a compiler warning.

lib: i_zero*() - Update comment, especially about arrays

lib: i_zero*() - Remove extra "+"

It was ignored by compilers though.

imap: client: Add init() client vfunc.

This is called when client creation is finished completely, including namespace
initialization. The normal create hook is executed before namespace
initialization, which is a problem when a plugin needs to access the mail
storage immediately.

imap: client: Rearrange and document the client vfuncs.

submssion: DATA command: Seek data stream to the beginning before executing backends.

submission: DATA command: Provide a default name for the data stream.

stats: event export - Add tabescaped plain text format support

This commit adds support for format=tab-text.

Since we don't care to select a native timestamp data type, one must specify
exactly one time-* format_args token.

stats: event export - Add http-post transport support

This commit adds support for transport=http-post.

The value of transport_args is used as the HTTP POST URL.

stats: event export - Add log transport support

This commit adds support for transport=log.

The log transport ignores transport_args.

stats: event export - Add json format support

This commit adds support for format=json.

Since JSON doesn't have a native timestamp data type, one must specify
exactly one time-* format_args token.

stats: event export - Implement core functionality

The core event exporter feature.  It extends the metric { } config blocks
and adds new event_exporter { } blocks.

event_exporter EXNAME {
        format = FMT                    # required, see below
        format_args = FMTARGS           # optional, see below
        transport = TRANSPORT           # required, see below
        transport_args = TRANSPORTARGS  # optional, see below
}
metric METNAME {
        ... normal metric fields ...
        exporter = EXNAME        # required to make export happen
        exporter_include = INCS  # optional, see below
}

FMT is a string identifying which format to serialize the event into. As of
this commit, the only valid value is "none" (always the empty string).

FMTARGS is a set of tokens that tweak how certain data types are encoded. If
not specified, the format's default is used ("none" always emits empty strings
so it doesn't care what this is set to, future formats will make use of this
setting).  Currently the only possible tokens are: "time-rfc3339" and
"time-unix" - as their names imply, they format all timestamps as either
RFC3339 or Unix-style seconds since 1970-01-01 00:00:00 UTC.

TRANSPORT is a string identifying how to transport the serialized event. As
of this commit, the only valid value is "drop" which simply drops the event.

TRANSPORTARGS is a string used by the transport to tweak its behavior. The
drop transport ignores the args.

INCS is a string made up of tokens ("name", "hostname", "timestamps",
"categories", and "fields") which control what parts of an event are
exported. It can be set to any set of those (including empty set) and the
order doesn't matter.  It defaults to all 5 tokens.

lib-master: Use event_minimize() to simplify the event before sending to stats

lib: Add event_minimize()

At times, we want to simplify the structure of events before sending them to
the stats process thereby minimizing the amount of data transfered and the
amount of work the stats process has to do.  This simplification before
sending allows us to incur the CPU penalty in the (many) sending processes
instead of in the (sole & single-threaded) stats process.

Unlike the code in lib-master, this implementation flattens part of the
parent chain backwards so that parents' fields are properly overridden by
their children.  It exists in lib because it shares code with the recently
added event_flatten().

lib-master: Fix event stats test compare function arg order

The arguments were backwards.

lib: Move event filter test's event categories from stack to .data

Event categories must not be allocated on the stack.  Categories must be
accessible for the duration of the program runtime.

stats: Rename stats filter to indicate what it is for

This makes the next commit a little cleaner.

lib-master: Add a comment clarifying when events must be sent to stats

lib-master: minor refactor of stats_client_send_event()

This makes later event exporting commits cleaner.

lib: Add event_flatten() to return a flattened event

lib: replace event_copy_categories_fields() into two

It is more flexible to allow to copy only categories or only fields.

lib: fixup str_append_tabescaped()'s { placement

This makes it consistent with the rest of the file.

global: Add asserts to make static analyzers happy

doveadm dict: Make it clear that *iter_flags can't dereference NULL pointer

It's not possible to dereference it anyway, because only "doveadm dict iter"
has these iter parameters. This change fixes warnings from static analyzers.

lib-storage: Fix mail_user_home_mkdir() crash when user has no home directory

This is used only by dsync when creating lock file. It wouldn't work
without a home directory anyway.

lib: net_*() - Make sure sockaddr_union is always cleared

Fixes scan-build warnings

lib: data-stack - Make STACK_BLOCK_DATA() behavior clearer

Otherwise scan-build thinks that it's pointing outside valid memory in the
struct and gives an error:

"Memory set function accesses out-of-bound array element"

global: Change CALLBACK_TYPECHECK() to used with subtraction

This is because clang's -Wstring-plus-int gave warnings when using
"string" + CALLBACK_TYPECHECK(), but there are no warnings when using
"string" - CALLBACK_TYPECHECK(). It would have been enough to change
only the string parameters to use "-", but for consistency this commit
changes all of them.

lmtp: local: Make the local_deliver client vfunc responsible for submitting the reply.

This gives plugins more power to override delivery behavior.

lmtp: Load all globally-defined mail_plugins at client connect.

Before, this was not performed until after a user lookup was performed for a
recipient. That is not acceptable when plugins need to modify the LMTP protocol
itself.

lmtp: Install header files.

This allows creating external lmtp plugins.

lmtp: Rename commands.h to lmtp-commands.h.

lmtp: Rename client.h to lmtp-client.h.

lmtp: Make include directory available to external plugins.

lmtp: local: Create a client vfunc for local delivery.

This way,for example, the struct mail_deliver_context passed to mail_deliver()
can be adjusted by plugins.

lib-smtp: server: Add support for adding (non-standard) extra capabilities.

lib-smtp: syntax: Add new smtp_ehlo_params_are_valid().

This new version checks whether the parameters contained in the provided string
array are all valid EHLO parameters.

lib-smtp: syntax: Remame smtp_ehlo_params_are_valid() to smtp_ehlo_params_str_is_valid().

Moves it out of the way for a function that is better suited for this name;
i.e., it operates on an array of parameters.

lib-smtp: server: Add smtp_server_reply_ehlo_add_params().

lib-smtp: server: EHLO command: Move composition of individual reply lines to separate functions.

lib-smtp: server: EHLO command: Move composition of default EHLO reply to a separate public function.

lmtp: Add support for module contexts to recipient.

lmtp: Add support for module contexts to client.

lmtp: Implement client vfuncs for transaction start and free.

lmtp: Implement client vfuncs for SMTP transaction commands.

lmtp: RCPT command: Allocate lmtp_recipient object immediately.

lmtp: DATA command: Add data size to client state.

lmtp: DATA command: Put the data input stream in the client state rather than the transaction context.

lmtp: Implement basic client vfuncs.

Currently, only client_destroy can be overriden.

lmtp: Add hook for client_create().

lmtp: Remove obsolete declaration from lmtp-common.h.

lmtp: Make lmtp-common.h the primary include.

This better matches other services.

lmtp: Rename main.h to lmtp-common.h.

This better matches other services.

lmtp: Rename lmtp-common to lmtp-recipient.

fts-solr: Remove obsolete break-imap-search setting

lib-program-client: Add more detailed debug logging.

lib-program-client: Use event logging.

This also makes the overall log messages better match similar messages produced
by other parts of Dovecot.

lib-program-client: Use i_close_fd() rather than close() when error is not supposed to happen.

lib-program-client: Make debug mode for test suite optional.

It is now disabled by default.

lib-program-client: local: Cleanup any kill timeout while program client is destroyed.

lib-program-client: local: Make sure the child is dead once the program client is destroyed.

lib-program-client: Simplify disconnect handling.

Perform all of the cleanups in a separate shared function.
Always close all fds, since there is nothing left to be read or written at
disconnect.

lib-program-client: remote: Don't try to read remaining input at disconnect.

This code is no longer relevant. At disconnect, there is nothing left to be read
by definition.

lib-program-client: Use iostream-pump for streaming data from program.

lib-program-client: Destroy timeout once client is passively disconnected.

lib-program-client: remote: Initialize program_client_istream with parent FD.

This way, io_add_istream() works as expected.

lib-program-client: local: Stop immediately when child program without I/O ends.

Particularly, don't perform this by calling the input handler.