lib-smtp: client: Make sending the XCLIENT command(s) always implicit and do it only once.

For most servers, XCLIENT changes the ip:port identity of the client, causing it
to lose privileges to send more XCLIENT commands. For long XCLIENT commands
split in a series of XCLIENT commands, the ip:port parameters were sent last
already, so that did not cause problems even before this change. However, the
old code assumed it could update XCLIENT fields later on, which is often not
possible.

submission: relay backend: Don't bother updating the protocol in proxy data.

Old SMTP clients cannot use the submission service, since these cannot perform
the required authentication.

submission: Move client_create_backend_default() after smtp_server_connection_login() in client_create().

This way, the created default backend can use the HELO data provided to smtp_server_connection_login().

lib-smtp: client: Allow deferring sending the XCLIENT command until authentication or first mail transaction.

This allows updating the proxy data until the XCLIENT command actually needs to
be sent. For submission, this means that later EHLO domain changes can still be
accounted for. This change makes the simplifications in subsequent changes
easier.

lib-smtp: client: Merge smtp_client_connection_init_xclient() into smtp_client_connection_authenticate().

lib-smtp: client: Move smtp_client_connection_send_xclient() before smtp_client_connection_authenticate().

Keeps ordering of functions logical for next changes.

submission: relay backend: Provide data for the HELO and PROTO XCLIENT fields to the relay connection.

lib-smtp: server: Use the HELO domain provided to smtp_server_connection_login() immediately.

Before, it was only used when no new HELO/EHLO command was issued before MAIL.

lib-smtp: client: Remove proxy_data parameter from smtp_client_connection_send_xclient().

Use smtp_client_connection_update_proxy_data() to change fields in the proxy
data recorded in the client.

lib-smtp: client: Add smtp_client_connection_update_proxy_data().

Allows updating the proxy data after creation of the connection.

lib-smtp: client: Make smtp_client_connection_send_xclient() return void.

lib-smtp: client: Copy proxy data from settings using the new smtp_proxy_data_merge() functioṅ.

lib-smtp: common: Add smtp_proxy_data_merge().

lib-smtp: client: Drop smtp_client_command_mail_submit_after().

It is not used.

lib-smtp: client: connection: Fix copying of PROTO XCLIENT field in proxy data.

lib-smtp: syntax: Fix smtp_ehlo_line_parse() to also record the last parameter.

submission: Install header files

This allows creating external submission plugins.

lib-fs: If fs_get_metadata() isn't implemented, return internal metadata anyway

The metadata is sometimes used for transferring internal metadata within the
files. This metadata isn't stored to disk. So even if the fs driver doesn't
support metadata at all, it should still be possible to get/set the internal
metadata. Setting it was already possible, but getting wasn't.

submission: relay backend: Forward a (possibly multi-line) 421 reply from relay server to the client.

Before, it substituted a generic 421 error reply, which is far less helpful.

submission: client: Properly handle a multi-line reason string in client_disconnect().

Pass the multi-line string to smtp_server_connection_terminate(), yet log it as a single line.

lib-smtp: server: connection: Properly handle a multi-line reason in smtp_server_connection_terminate().

lib-smtp: server: connection: Properly handle a multi-line reason in smtp_server_connection_disconnect().

Convert it to a single line string.

lib-smtp: server: connection: Add smtp_server_connection_reply_lines().

This function immediately sends a reply on the connection with the indicated
status, enhanced code and text lines.

lib-smtp: server: connection: Add debug messages for protocol elements sent outside the normal reply API.

lib-smtp: reply: Add smtp_reply_get_text_lines_omit_prefix().

This returns a string array of the lines in the reply, omitting the prefix (the
first word), which is usually a "<domain>" value.

lib-smtp: reply: Make parsing enhanced status codes available as a separate function.

lib: strfuncs: Add t_str_oneline().

This puts the string on a single line by replacing all newlines with spaces and
dropping any carriage returns

lib-smtp: client: transaction: Hold a reference to the transaction while calling the RCPT command callback.

This fixes memory problems when the callback inadvertently gets the transaction destroyed.

lib-smtp: server: recipient: Hold a reference to the recipient while calling a non-destroy hook.

Prevents memory problems when the hook inadvertently gets the recipient
destroyed. Unlike the server command, this is not strictly necessary for the
recipient object, but we add this anyway to prevent future problems when the
recipient implementation becomes more complex (e.g. with additional hooks).

lib-smtp: server: recipient: Prevent reference counting from within destroy hook.

lib-smtp: server: recipient: Add reference counting.

Unlike the server command, this is not strictly necessary for the recipient
object, but we add this anyway to prevent future problems when the recipient
implementation becomes more complex.

lib-smtp: server: Make sure command object is not used after it is destroyed in hook.

lib-smtp: server: command: Hold connection reference while calling replied hook.

lib-smtp: server: command: Move core of smtp_server_command_submit_reply() into a separate function.

Makes the next changes easier.

lib-smtp: server: command: Hold a reference to the command while calling a non-destroy hook.

Prevents memory problems when the hook inadvertently gets the command destroyed.

lib-smtp: server: command: Prevent reference counting from within destroy hook.

lib-smtp: Consistently use signed integer for reference counters.

submission: relay backend: Add assertion in backend_relay_handle_relay_reply() to address compiler warning.

Assert that the error message is assinged when the result is FALSE.

submission: relay backend: In backend_relay_handle_relay_reply(): Only determine error detail when it is used.

submission: Make include directory available to external plugins.

submission: relay backend: Allow creating the client transaction with specific flags.

lib-smtp: client: Allow enabling the LMTP per-RCPT DATA reply behavior for ESMTP transactions.

This is non-standard.

submission: Add support for module contexts to backend.

submission: Allocate each backend on its own pool.

This allows allocating per-backend module data.

submission: Add support for modifying the transaction path and parameters in the trans_start backend vfunc.

To keep the changes limited to a particular backend, the server transaction
cannot be modified. Also, creating a mock server transaction and passing it on
is not a good idea, since it is not a simple container struct.

submission: Add backend flag indicating whether the backend is ready.

This flag is set just before the ready() vfunc is called.

submission: Add backend vfunc called when the backend is ready.

For a relay backend, this means that the connection is fully connected and
handshaked. For any backend it means the capabilities are known (and passed as a
parameter to the ready function).

lib-smtp: params: Explicitly allow smtp_params_*_add_extra() value parameter to be NULL.

submission: relay backend: Allow recording extra (non-standard) capabilities.

submission: relay backend: Provide access to the client connection and transaction for plugins.

lib-smtp: client: Add support for recording extra (non-standard) capabilities from server.

lib-smtp: client: connection: Consolidate capability data into a struct.

Allows clearing it reliably.

submission: Clarify the behavior of command handlers and the requirements for overriding them.

submission: Use the new smtp_server_cmd_noop_reply_success() function.

lmtp: local: Use the new smtp_server_cmd_rcpt_reply_success() function.

lib-smtp: server: NOOP command: Implement smtp_server_cmd_noop_reply_success() for sending default success reply.

lib-smtp: server: RSET command: Implement smtp_server_cmd_rset_reply_success() for sending default success reply.

lib-smtp: server: RCPT command: Implement smtp_server_cmd_rcpt_reply_success() for sending default success reply.

lib-smtp: server: MAIL command: Implement smtp_server_cmd_mail_reply_success() for sending default success reply.

submission: relay backend: Always reset the trans_started flag upon trans_free().

submission: backend: Properly reset the trans_started flag upon trans_free().

doc: example-config: Document the new submission_backend_capabilities setting.

submission,submission-login: Implicitly enable CHUNKING when submission_backend_capabilities setting includes BINARYMIME.

BINARYMIME requires CHUNKING support and we should not expect administrators to
always be aware of that fact.

submission: relay backend: VRFY command: Avoid forwarding 500 and 502 replies back to client.

These are in fact non-standard for VRFY and indicate that VRFY support is
disabled, which is not allowed by the specification. Instead, we now substitute
the default 252 response.

lib-smtp: server: VRFY command: Implement smtp_server_cmd_reply_default() for sending default reply.

submission,submission-login: Omit listing VRFY capability if the backend provides no explicit support.

submission-login: Use the submission_backend_capabilities setting to compose the EHLO reply when configured.

This way, the EHLO response prior to AUTH will better match the EHLO response after AUTH.

submission-login: Add the VRFY capability to the EHLO reply.

The post-login service does it too.

submission: relay backend: Fix non-transaction commands to work when submission_backend_capabilities is configured.

When submission_backend_capabilities is configured, the backend is not started
until the first transaction is started. But for commands that should work
outside the transaction, the backend should also be started, which was not the
case before this fix.

submission: backends: Set the started flag before calling the backend start vfunc.

This prevents recursive mishaps.

lib-fts: test-fts-tokenizer: Verify fts_tokenizer_create() return value

submission: relay backend: Handle the LMTP per-RCPT DATA reply behavior when enabled.

Without this change, enabling the per-RCPT DATA reply behavior on the server
side will not have the desired effect.

submission: relay backend: Log an error when relayed commands fail with connection-related errors.

Errors sent by the remote server are handled by the command reply handler and
are logged using i_info() where relevant.

submission: relay backend: Fix comment in RCPT command code.

submission: recipient: Add field for associating backend context.

lmtp: DATA command: Assert that the server transaction flags are correct for LMTP.

lib-smtp: server: Allow enabling the LMTP per-RCPT DATA reply behavior for ESMTP transactions.

This is non-standard.

submission: relay backend: Do not close the client connection for failure in a non-default backend.

Adjusts the backend API to remember the failure until the present transaction is
reset. In the mean time, any commands issued to the backend are failed
immediately. In contrast, failure on the default backend will cause the client
connection to be closed, like before.

submission: relay backend: Use (potentially) modified reply after backend_relay_handle_relay_reply().

Before, it sometimes still referred to the original reply struct from the client
callback.

submission: relay backend: Use smtp_reply_is_success() to evaluate reply form relay.

Before, it evaluated the reply status directly.

lib-smtp: server: Add smtp_server_command_get_reply_count().

Returns the number of replies expected to the command.

lib-smtp: client: Make smtp_client_transaction_unref(NULL) a no-op.

lib-smtp: client: Make smtp_client_transaction_destroy(NULL) a no-op.

submission: Allocate recipients for the client transaction on the server recipient pool.

lmtp: proxy: Allocate recipients for the client transaction on the server recipient pool.

lib-smtp: client: transaction: Add alternative function for adding a recipient on an application-provided pool.

This allows modifying the recipient object beyond approval. Before, it was
always moved to the transaction pool, thereby invalidating the original returned
pointer. This way, the data_calback and context can be set at a later time,
e.g. when the DATA command is being processed. This makes a choice between
LMTP-style and SMTP-style replies to the DATA command a bit easier to handle.
Also, the recipient is entirely allocated on a single pool between the client
and server side, which should improve memory consumption a little. As a bonus,
this removes the need to have dummy DATA callbacks.

lib-smtp: client: transaction: Fix and amend a few comments in the header.

lib-smtp: client: Remove unused "failed" field from struct smtp_client_transaction_mail.

submission: Fix starting secondary backends created before the server-side transaction is fully created.

Record an array of those backends and start them once the transaction is
created. Before, this was implemented using the array of approved recipients
(which each point to their backend). However, this does not work, since there
can be no approved recipients when there is no server-side transaction yet.

submission: relay backend: Properly manage the trans_started flag.

Sometimes it was not set at all. This didn't lead to problems in most cases, but
this was at least confusing while debugging. Also, the flag is set before the
client transaction is actually started, making sure (future) recursive problems
will not occur.

submission: relay backend: Set the immediate for the client transaction no matter where it is created.

Forgot a few instances.

submission: RCPT command: Move starting the backend transaction from submission-commands.c to submission-backend.c.

This way, the transaction is only started from RCPT when the backend needs it at this point.

submission: relay backend: Add support for relaying to a unix socket.

lib-smtp: client: Allow connecting to SMTP/LMTP services offered through unix sockets.

lib-smtp: client: Move creation of connection object to a separate function.

lib-smtp: server: Record the associated server command in the recipient object.

This avoids the need to do that in application code.

submission: Use the recipient index in the server recipient object rather than the submission recipient.

lmtp: Use the recipient index in the server recipient object rather than the lmtp recipient.

submission: Use the path in the server recipient object rather than the submission recipient.

It is recorded reliably on a pool from the start now

lmtp: Use the path in the server recipient object rather than the lmtp recipient.

It is recorded reliably on a pool from the start now.