submission: Allocate recipients for the client transaction on the server recipient pool.

lmtp: proxy: Allocate recipients for the client transaction on the server recipient pool.

lib-smtp: client: transaction: Add alternative function for adding a recipient on an application-provided pool.

This allows modifying the recipient object beyond approval. Before, it was
always moved to the transaction pool, thereby invalidating the original returned
pointer. This way, the data_calback and context can be set at a later time,
e.g. when the DATA command is being processed. This makes a choice between
LMTP-style and SMTP-style replies to the DATA command a bit easier to handle.
Also, the recipient is entirely allocated on a single pool between the client
and server side, which should improve memory consumption a little. As a bonus,
this removes the need to have dummy DATA callbacks.

lib-smtp: client: transaction: Fix and amend a few comments in the header.

lib-smtp: client: Remove unused "failed" field from struct smtp_client_transaction_mail.

submission: Fix starting secondary backends created before the server-side transaction is fully created.

Record an array of those backends and start them once the transaction is
created. Before, this was implemented using the array of approved recipients
(which each point to their backend). However, this does not work, since there
can be no approved recipients when there is no server-side transaction yet.

submission: relay backend: Properly manage the trans_started flag.

Sometimes it was not set at all. This didn't lead to problems in most cases, but
this was at least confusing while debugging. Also, the flag is set before the
client transaction is actually started, making sure (future) recursive problems
will not occur.

submission: relay backend: Set the immediate for the client transaction no matter where it is created.

Forgot a few instances.

submission: RCPT command: Move starting the backend transaction from submission-commands.c to submission-backend.c.

This way, the transaction is only started from RCPT when the backend needs it at this point.

submission: relay backend: Add support for relaying to a unix socket.

lib-smtp: client: Allow connecting to SMTP/LMTP services offered through unix sockets.

lib-smtp: client: Move creation of connection object to a separate function.

lib-smtp: server: Record the associated server command in the recipient object.

This avoids the need to do that in application code.

submission: Use the recipient index in the server recipient object rather than the submission recipient.

lmtp: Use the recipient index in the server recipient object rather than the lmtp recipient.

submission: Use the path in the server recipient object rather than the submission recipient.

It is recorded reliably on a pool from the start now

lmtp: Use the path in the server recipient object rather than the lmtp recipient.

It is recorded reliably on a pool from the start now.

submission: Start using the new lib-smtp/server recipient pool.

lmtp: Start using the new lib-smtp/server recipient pool.

lib-smtp: server: Create the definitive recipient object right at the reception of the RCPT command.

Before, it first allocated stuff on the command pool, which gets freed when the RCPT
command finishes. Allocating the recipient data on its own pool from the start
considerably simplifies the code and prevents very nasty bugs.

lib-smtp: server: Record the index in the list of approved recipients in the recipient object.

This avoids the need to do that in application code.

lib-smtp: server: Add hooks API for recipient.

lib-smtp: server: Allocate each recipient on its own pool.

This way, the application can associate data with the recipient, which
implicitly goes away either when the transaction is finished or the recipient is
denied.

submission: Rename struct smtp_server_recipient *trcpt variables to *rcpt.

submission: Rename struct submission_recipient *rcpt variables to *srcpt.

lmtp: Rename struct smtp_server_recipient *trcpt variables to *rcpt.

lmtp: local: Rename struct lmtp_local_recipient *rcpt variables to *llrcpt.

lmtp: proxy: Rename struct lmtp_proxy_recipient *rcpt variables to *lprcpt.

lmtp: common: Rename struct lmtp_recipient *rcpt variables to *lrcpt.

lmtp: local: Do not use array_idx() to obtain transaction recipient from lib-smtp.

It is already available in struct lmtp_recipient. Also, this call was very ugly.

lmtp: Reformat commands.h.

submission: client: Add API for adding extra (non-standard) capabilities.

lib-smtp: syntax: Add verification functions for EHLO keywords and parameters.

submission: Add support for module contexts to recipient.

submission: Add support for module contexts to client.

submission: Implement client vfuncs for transaction start and free.

submission: Implement client vfuncs for all normal SMTP commands.

submission: Implement basic client vfuncs.

Currently, only client_destroy can be overriden.

submission: Allocate each recipient object on its own pool.

This allows allocating per recipient module data.

submission: Provide ephemeral pool for transaction state.

submission: Allocate client on alloconly mempool.

lib-smtp: server: Add proper infrastructure for adding custom MAIL/RCPT command parameters.

lib-smtp: params: Add functions for dropping extra MAIL/RCPT parameters.

lib-smtp: params: Add functions for adding extra MAIL/RCPT parameters.

lib-smtp: params: Allow only specific custom parameter extensions, rather than any parameter.

Before the choice was between allowing any extension or none.

lib-smtp: params: Fix segfault occurring in smtp_param_write() when param->value == NULL.

submission: relay backend: Use SMTP client transaction API, rather than relaying individual commands.

lib-smtp: client: transaction: Add option to submit commands immediately, rather than queueing them on a zero timeout.

Also, allow interleaving other unrelated (non-transaction) commands. This is
made possible by not locking/plugging the command pipeline.

lib-smtp: client: Fully disconnect the connection upon failure before triggering failure callbacks.

lib-smtp: client: transaction: Add support for aborting a pending RCPT command.

lib-smtp: client: transaction: Add support for aborting a pending MAIL command.

lib-smtp: client: transaction: Add support for creating an empty transaction (without MAIL FROM data).

lib-smtp: client: transaction: Add support for pipelining more than a single MAIL command.

lib-smtp: client: transaction: Add infrastructure for pipelining more than a single MAIL command.

lib-smtp: client: transaction: Rename mail_from_callback/mail_from_context to mail_callback/mail_context.

lib-smtp: client: transaction: Use linked lists rather than arrays for recipients.

lib-smtp: client: transaction: Add support for ending the transaction in a graceful RSET command.

Allows running the pending transaction until RSET, without abruptly aborting
it or issuing a DATA command.

lib-smtp: client: transaction: Move initiation of command submission to a central position.

lib-smtp: client: transaction: Perform pipeline plug handling just once at top-level in smtp_client_transaction_submit_more().

lib-smtp: client: transaction: Annotate sub-parts of smtp_client_transaction_send_more() with comments.

lib-smtp: client: transaction: Move smtp_client_transaction_submit_more().

lib-smtp: client: transaction: Move initiation of command submission after starting the transaction timeout.

This is a precaution against the emergence of segfaults when command submission
somehow terminates the transaction in a future version (actually, a segfault
did emerge in an earlier version of this set of changes). Also it is a cosmetic
change: putting the most important act at the end of the function makes more
sense in this case.

lib-smtp: client: transaction: Rename smtp_client_transaction_send_rcpts() to smtp_client_transaction_submit_more().

lib-smtp: client: transaction: Move the code executed at the completion of the transaction to a separate shared function.

The transaction is complete when all RCPT replies are received and either a DATA
or a RSET command is submitted.

lib-smtp: client: transaction: Don't trigger next transaction unless all RCPT replies are received and DATA is submitted.

Triggering the next transaction when DATA submitted while not all RCPT replies
are received (as it was before) is problematic when commands are submitted
immediately by the transaction (which is added in a later commit).

lib-smtp: client: transaction: Prevent calling callbacks after smtp_client_transaction_destroy().

lib-smtp: client: transaction: Annotate sub-parts of smtp_client_transaction_fail_reply() with comments.

lib-smtp: client: transaction: Add debug message for when smtp_client_transaction_abort() is called during smtp_client_transaction_fail*().

lib-smtp: client: transaction: Make sure the transaction is finished/aborted after smtp_client_connection_destroy().

Otherwise, the transaction could be dereferenced several times too often.

lib-smtp: client: connection: Add debug messages for transaction handling.

lib-smtp: server: RCPT command: Improve replacement of (forwarded) specific error reply with generic state error.

Predictable transaction state errors were not always replaced reliably when
commands were pipelined, leading to a mix of proxy and remote errors.

lib-smtp: server: MAIL command: Improve replacement of (forwarded) specific error reply with generic state error.

Predictable transaction state errors were not always replaced reliably when
commands were pipelined, leading to a mix of proxy and remote errors.

lib-smtp: server: Add ability to determine whether command reply was created using smtp_server_reply_create_forward().

lib-smtp: server: MAIL command: Reliably start the transaction when several MAIL commands are pipelined.

lib-smtp: client: Properly manage command timeout during transaction.

lib-smtp: client: transaction: Set the number of expected DATA replies > 1 only for LMTP.

This was already OK for when all recipients were added at the time the data
command was to be sent. However, for more dynamic transactions involving
pipelining, this was not handled correctly.

lib-smtp: client: Clear command callback early to prevent mishaps.

lib-smtp: client: Add smtp_client_command_drop_callback().

lib-smtp: client: Fix memory issue caused when reconnecting.

lib-fts: replace repeated explicit hex utf8 with cleaner macro in tokeniser test

utf8 is too line-noisy, this improves readability.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - tr29 explicit-prefix parsing

Similar logic to before - any wordlike sequence that ends with a * is
considered a prefix search, and immediately begins a new token.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: test-fts-tokenizer - explicit-prefix tests

Note that the special handling of '*' only kicks in when in
"search" and "explicitprefix" mode (as passed in through the
settings), and currently, only for the simple mode, not tr29.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - simple explicit prefix search logic

Logic is that words followed by a '*' create a prefix search token.
A new token is begun immediately after that. So "foo*bar" is 2 tokens
"foo*" and "bar", when in explicit prefix search tokenisation mode.

Only active in 'simple', not 'tr29'.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - add more history to break detection

For example, going from non-word to non-word is a different type
of break (not really a break) from the transition from a word to
a non-word. Presently, that distinction isn't needed, but it will
be for explicit prefix searches.

Make the tok parameter const too, whilst there.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - recognise request for explicit prefix searching

Just store a flag in the tokenizer when the setting is seen, nothing more.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/test-fts-tokenizer - have different possible test inputs

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: generic simple tokeniser - distinguish "letters" from non-"letters"

prev_type is only compared against SINGLE_QUOTE, so there will be no
behavioural differences. However, maintaining the state that we've just
seen something we are prepared to search for (very loosely, a "letter")
rather than something that we threw away (word breaks) will be important
when it comes to explicit prefix query parsing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - move related helpers together in file

They're logically related, and not specifically simple or tr29 related,
so keep them together, so either tokeniser can use them. Cosmetic only,
no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - move state history setting into helper

We can read the value directly, but for encapsulation it's best to do
the shifting of the token type history into a helper in a similar way
as how it is done for tr29 tokenising.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokenizer-generic - rename more state variables - cosmetic

No need for a suffix now we've renamed the type variables.
Patch best viewed with: git show --color-words='[[:alnum:]_]+'

Unfortunately this is very churny, but there are no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokenizer-generic - rename state variables - cosmetic

These contain types, not letters, no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokeniser-generic: move to container_of() for type-safety

Signed-off-by: Phil Carmody <phil@dovecot.fi>

submission: backends: Add trans_start() and trans_free() vfuncs.

These are called when the SMTP transaction is started and freed respectively.

submission: Record backend used for each recipient.

This is a preparation for plugins overriding the default backend for a recipient.

submission: Record main backend for the transaction.

This is a preparation for plugins overriding the default backend for a transaction.

submission: DATA command: Pass the total size of the data stream to the backend.

submission: DATA command: Obtain the size of the buffered data from the stream position rather than using i_stream_get_size().

submission: relay backend: Use backend-specific settings rather than the generic submission service settings.

This way, several relay backends can be operated together with different
settings.

submission: relay backend: Make struct submission_backend_relay private.

submission: relay backend: Turn client_proxy_create() into a proper backend constructor.