lib-smtp: client: Add smtp_client_command_drop_callback().

lib-smtp: client: Fix memory issue caused when reconnecting.

lib-fts: replace repeated explicit hex utf8 with cleaner macro in tokeniser test

utf8 is too line-noisy, this improves readability.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - tr29 explicit-prefix parsing

Similar logic to before - any wordlike sequence that ends with a * is
considered a prefix search, and immediately begins a new token.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: test-fts-tokenizer - explicit-prefix tests

Note that the special handling of '*' only kicks in when in
"search" and "explicitprefix" mode (as passed in through the
settings), and currently, only for the simple mode, not tr29.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - simple explicit prefix search logic

Logic is that words followed by a '*' create a prefix search token.
A new token is begun immediately after that. So "foo*bar" is 2 tokens
"foo*" and "bar", when in explicit prefix search tokenisation mode.

Only active in 'simple', not 'tr29'.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - add more history to break detection

For example, going from non-word to non-word is a different type
of break (not really a break) from the transition from a word to
a non-word. Presently, that distinction isn't needed, but it will
be for explicit prefix searches.

Make the tok parameter const too, whilst there.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - recognise request for explicit prefix searching

Just store a flag in the tokenizer when the setting is seen, nothing more.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/test-fts-tokenizer - have different possible test inputs

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: generic simple tokeniser - distinguish "letters" from non-"letters"

prev_type is only compared against SINGLE_QUOTE, so there will be no
behavioural differences. However, maintaining the state that we've just
seen something we are prepared to search for (very loosely, a "letter")
rather than something that we threw away (word breaks) will be important
when it comes to explicit prefix query parsing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - move related helpers together in file

They're logically related, and not specifically simple or tr29 related,
so keep them together, so either tokeniser can use them. Cosmetic only,
no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: tokenizer-generic - move state history setting into helper

We can read the value directly, but for encapsulation it's best to do
the shifting of the token type history into a helper in a similar way
as how it is done for tr29 tokenising.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokenizer-generic - rename more state variables - cosmetic

No need for a suffix now we've renamed the type variables.
Patch best viewed with: git show --color-words='[[:alnum:]_]+'

Unfortunately this is very churny, but there are no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokenizer-generic - rename state variables - cosmetic

These contain types, not letters, no functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts/fts-tokeniser-generic: move to container_of() for type-safety

Signed-off-by: Phil Carmody <phil@dovecot.fi>

submission: backends: Add trans_start() and trans_free() vfuncs.

These are called when the SMTP transaction is started and freed respectively.

submission: Record backend used for each recipient.

This is a preparation for plugins overriding the default backend for a recipient.

submission: Record main backend for the transaction.

This is a preparation for plugins overriding the default backend for a transaction.

submission: DATA command: Pass the total size of the data stream to the backend.

submission: DATA command: Obtain the size of the buffered data from the stream position rather than using i_stream_get_size().

submission: relay backend: Use backend-specific settings rather than the generic submission service settings.

This way, several relay backends can be operated together with different
settings.

submission: relay backend: Make struct submission_backend_relay private.

submission: relay backend: Turn client_proxy_create() into a proper backend constructor.

submission: relay backend: Turn client_get_max_mail_size() into a relay backend vfunc.

submission: relay backend: Turn client_proxy_input_pre/post() into relay backend vfuncs.

submission: relay backend: Turn client_proxy_start() into a relay backend vfunc.

submission: relay backend: Turn client_proxy_destroy() into a relay backend vfunc.

submission: relay backend: Turn SMTP command functions into relay backend vfuncs.

submission: client: Create default backend in a separate function.

submission: Define generic backend API.

submission: Add submission_backend_capabilities setting.

This can be used to specify which capabilities the (relay) backend supports,
avoiding the need to query the backend explicitly before the EHLO reply is sent
to the client.

submission: commands: Expect connection setup errors from relaying commands.

Subsequent changes remove the guarantee that the connection is setup successfuly
(to gain EHLO capabilities) before commands are submitted. This means that the
callbacks from commands can thereafter return connection setup errors as well.

lib-smtp: client: Use the new smtp_capability_find_by_name() function.

lib-smtp: client: Document the forced_capabilities setting.

lib-smtp: Add utility function for finding capabilities by name.

submission: client: Simplifly calculation of max mail size.

submission: Record accepted recipients in the client object.

Allows associating context with recipients in future changes.

submission: Reformat submission-backend-relay.c.

submission: relay backend: Change almost all occurrences of 'proxy' to 'relay'.

This makes the naming consistent with the name of the backend. Only the lib-smtp
proxy_data is not renamed.

submission: relay backend: Rename client_command_handle_proxy_reply() to backend_relay_handle_relay_reply().

Also make it accept the backend rather than the client struct.

submission: relay backend: Rename *_proxy_cb() to *_callback().

submission: relay backend: Add 'relay_' prefix to command functions and structs.

submission: relay backend: Use pointer to backend rather than client in command contexts.

submission: Move relay-related client fields to separate backend struct.

submission: Move client_proxy_get_max_mail_size() to submission-backend-relay.c.

submission: Move client_proxy_input_pre/post() to submission-backend-relay.c.

submission: Move client_proxy_destroy() to submission-backend-relay.c.

submission: Move client_proxy_create() to submission-backend-relay.c.

submission: Move client_proxy_start() to submission-backend-relay.c.

submission: Split off obtaining the relay connection capabilities into a separate function.

submission: Split off corking and uncorking the relay connection in a separate function.

submission: Split off closing the relay connection in a separate function.

submission: Split off starting the relay connection in a separate function.

submission: Remove client_proxy_is_disconnected().

It is not used anywhere.

submission: Remove client_proxy_is_ready().

It is not used anywhere.

submission: Move relay part of QUIT command to submission-backend-relay.c.

submission: Move generic part of QUIT command to submission-commands.c.

submission: Move relay part of NOOP command to submission-backend-relay.c.

submission: Move generic part of NOOP command to submission-commands.c.

submission: Move relay part of VRFY command to submission-backend-relay.c.

submission: Move generic part of VRFY command to submission-commands.c.

submission: Move BURL command implementation to submission-commands.c.

submission: Move relay part of DATA command to submission-backend-relay.c.

submission: Move generic part of DATA command to submission-commands.c.

submission: Move relay part of RSET command to submission-backend-relay.c.

submission: Move generic part of RSET command to submission-commands.c.

submission: Move relay part of RCPT command to submission-backend-relay.c.

submission: Move generic part of RCPT command to submission-commands.c.

submission: Move relay part of MAIL command to submission-backend-relay.c.

submission: Move generic part of MAIL command to submission-commands.c.

submission: Move relay part of HELO/EHLO command to submission-backend-relay.c.

submission: Move generic part of HELO/EHLO command to submission-commands.c.

submission: Split the QUIT command into a generic part and a part related to relaying to an MTA.

submission: Split the NOOP command into a generic part and a part related to relaying to an MTA.

submission: Split the VRFY command into a generic part and a part related to relaying to an MTA.

submission: Split the DATA command into a generic part and a part related to relaying to an MTA.

submission: Split the RSET command into a generic part and a part related to relaying to an MTA.

submission: Split the RCPT command into a generic part and a part related to relaying to an MTA.

submission: Split the MAIL command into a generic part and a part related to relaying to an MTA.

submission: Split the EHLO command into a generic part and a part related to relaying to an MTA.

submission: Move submission_helo_reply_submit() from cmd-helo.c to submission-commands.c.

submission: Make HELO/EHLO reply submission a separate public function.

submission: Move client_command_handle_proxy_reply() to submission-backend-relay.c.

submission: client: Remove spurious forward declaration of "struct client_command_context".

lib-smtp: client: Add forward declaration for struct smtp_client_settings in smtp-client-connection.h.

lib-smtp: server: Drop pending commands and transaction at disconnect rather than destroy.

This makes sure the conn_trans_free() connection callback is called before
th conn_disconnect() callback. This makes more sense than the other way around,
which instead would be a likely cause for mishaps causing segfaults and the
like.

lib-smtp: server: Add callback for transaction start.

dict-client: Avoid excessive CPU usage while waiting commands to finish

client_dict_add_timeout() adds the timeout thinking that the dict no longer
has any work to do, so it can be freed soon. However, if other work is
added before that, the timeout just keeps getting called over and over
again. This is especially bad with the default idle timeout of 0.

push-notification: Resolve confusion about msg->seq

It's not the same seq what the mail has, but a sequence that
is used to find out UID for saved mails. So rename it to
save_idx and treat it accordingly. Note that save_idx is 0
based, and mail sequence is 1 based.

push-notification-driver-lua: Include date from MessageAppend

push-notification-event-messageappend: Include date information parsed from headers

Consistency with MessageNew

push-notification: Make sure txn messages are unique

save_count is not reliable as it's not incremented for events like
flag changes.

push-notification-driver-lua: Always use DLUA_LOG_LABEL

push-notification-driver-lua: Properly register all events

mail-lua: Fix gc code to push key first then value

Otherwise it uses nil as key, which makes no sense and leads to eventual crash.

push-notification-driver-lua: tx begin pushed mail user not username

push-notification-driver-lua: Do not push user again

User is already pushed in tx begin, and can be stored there into the context.

push-notification-driver-lua: Move event push earlier

Simplifies code

mail-lua: Add deinit_pre function

push-notification-driver-lua: Reference mail user only if initialization is successful

Will cause assert-crash otherwise if initialization fails