lib-storage: Copy all relevant TLS settings

Not just ca path and dir

lib-storage: Add all client ssl settings to mail storage settings

lib-master: Add new setting `ssl_client_require_valid_cert`

This controls whether TLS certificates are verified
for TLS CLIENT connections.

lib-smtp: server: recipient: Hold a reference to the recipient while calling a non-destroy hook.

Prevents memory problems when the hook inadvertently gets the recipient
destroyed. Unlike the server command, this is not strictly necessary for the
recipient object, but we add this anyway to prevent future problems when the
recipient implementation becomes more complex (e.g. with additional hooks).

lib-smtp: server: recipient: Prevent reference counting from within destroy hook.

lib-smtp: server: recipient: Add reference counting.

Unlike the server command, this is not strictly necessary for the recipient
object, but we add this anyway to prevent future problems when the recipient
implementation becomes more complex.

lib-smtp: server: Make sure command object is not used after it is destroyed in hook.

lib-smtp: server: command: Hold connection reference while calling replied hook.

lib-smtp: server: command: Move core of smtp_server_command_submit_reply() into a separate function.

Makes the next changes easier.

lib-smtp: server: command: Hold a reference to the command while calling a non-destroy hook.

Prevents memory problems when the hook inadvertently gets the command destroyed.

lib-smtp: server: command: Prevent reference counting from within destroy hook.

lib-smtp: Consistently use signed integer for reference counters.

submission: relay backend: Add assertion in backend_relay_handle_relay_reply() to address compiler warning.

Assert that the error message is assinged when the result is FALSE.

submission: relay backend: In backend_relay_handle_relay_reply(): Only determine error detail when it is used.

submission: Make include directory available to external plugins.

submission: relay backend: Allow creating the client transaction with specific flags.

lib-smtp: client: Allow enabling the LMTP per-RCPT DATA reply behavior for ESMTP transactions.

This is non-standard.

submission: Add support for module contexts to backend.

submission: Allocate each backend on its own pool.

This allows allocating per-backend module data.

submission: Add support for modifying the transaction path and parameters in the trans_start backend vfunc.

To keep the changes limited to a particular backend, the server transaction
cannot be modified. Also, creating a mock server transaction and passing it on
is not a good idea, since it is not a simple container struct.

submission: Add backend flag indicating whether the backend is ready.

This flag is set just before the ready() vfunc is called.

submission: Add backend vfunc called when the backend is ready.

For a relay backend, this means that the connection is fully connected and
handshaked. For any backend it means the capabilities are known (and passed as a
parameter to the ready function).

lib-smtp: params: Explicitly allow smtp_params_*_add_extra() value parameter to be NULL.

submission: relay backend: Allow recording extra (non-standard) capabilities.

submission: relay backend: Provide access to the client connection and transaction for plugins.

lib-smtp: client: Add support for recording extra (non-standard) capabilities from server.

lib-smtp: client: connection: Consolidate capability data into a struct.

Allows clearing it reliably.

submission: Clarify the behavior of command handlers and the requirements for overriding them.

submission: Use the new smtp_server_cmd_noop_reply_success() function.

lmtp: local: Use the new smtp_server_cmd_rcpt_reply_success() function.

lib-smtp: server: NOOP command: Implement smtp_server_cmd_noop_reply_success() for sending default success reply.

lib-smtp: server: RSET command: Implement smtp_server_cmd_rset_reply_success() for sending default success reply.

lib-smtp: server: RCPT command: Implement smtp_server_cmd_rcpt_reply_success() for sending default success reply.

lib-smtp: server: MAIL command: Implement smtp_server_cmd_mail_reply_success() for sending default success reply.

submission: relay backend: Always reset the trans_started flag upon trans_free().

submission: backend: Properly reset the trans_started flag upon trans_free().

doc: example-config: Document the new submission_backend_capabilities setting.

submission,submission-login: Implicitly enable CHUNKING when submission_backend_capabilities setting includes BINARYMIME.

BINARYMIME requires CHUNKING support and we should not expect administrators to
always be aware of that fact.

submission: relay backend: VRFY command: Avoid forwarding 500 and 502 replies back to client.

These are in fact non-standard for VRFY and indicate that VRFY support is
disabled, which is not allowed by the specification. Instead, we now substitute
the default 252 response.

lib-smtp: server: VRFY command: Implement smtp_server_cmd_reply_default() for sending default reply.

submission,submission-login: Omit listing VRFY capability if the backend provides no explicit support.

submission-login: Use the submission_backend_capabilities setting to compose the EHLO reply when configured.

This way, the EHLO response prior to AUTH will better match the EHLO response after AUTH.

submission-login: Add the VRFY capability to the EHLO reply.

The post-login service does it too.

submission: relay backend: Fix non-transaction commands to work when submission_backend_capabilities is configured.

When submission_backend_capabilities is configured, the backend is not started
until the first transaction is started. But for commands that should work
outside the transaction, the backend should also be started, which was not the
case before this fix.

submission: backends: Set the started flag before calling the backend start vfunc.

This prevents recursive mishaps.

auth: test-lua - Add test to ensure that values are not converted to number by mistake

auth: test-lua - Fix unit test to handle errors

auth: test-lua - Fix inconsistent whitespace

auth: db-lua - Use lua_type to detect type

Using lua_isnumber to detect numbers also considers
convertible strings as numbers.

auth: Store password with auth_set_field in Lua passdb

Makes caching work for passwords

auth: Use default scheme in Lua passdb lookup

Fixes a null pointer crash.

lib: uri-util: Add tests for URI character escape functions.

lib: uri-util: Add functions for escaping (almost) all reserved URI characters.

lib-lua: Use source instead of short_src

short_src is a limited value, and also an byte array
instead of a pointer so it should not be returned.

Found by coverity.

lib-lua: Make sure events get right file:line information

mail-lua: Fix argument number checking for mailbox#sync

push-notification-driver-lua: Perform garbage collection after transaction

Ensure Lua releases resources here.

push-notification-driver-ox: Convert to event based logging

Also fixes the logging to be standard

push-notification-driver-lua: Add events

push-notification: Emit event on transaction end

push-notification: Add event to push notification transaction

push-notification: Add event category

lib-lua: Move __gc metamethod for event to userdata

Compability for lua 5.1

lib-fts: test-fts-tokenizer: Verify fts_tokenizer_create() return value

lib-master: test-event-stats: Properly ensure cleanup of all files generated by tests.

lib-master: test-event-stats: Move launch_test_stats() to a more logical place.

lib-master: Create local .gitignore file for potential test output junk.

lib-lua: Check number of arguments

lib-lua: Add flag manipulation functions

lib-lua: Add test for event framework

lib-lua: Add event interface

lib-lua: Add events to scripts

fts: Fix search query generation when one language ignores a token

The search query was changed to "NOT ALL", even though other languages
used the token.

submission: relay backend: Handle the LMTP per-RCPT DATA reply behavior when enabled.

Without this change, enabling the per-RCPT DATA reply behavior on the server
side will not have the desired effect.

submission: relay backend: Log an error when relayed commands fail with connection-related errors.

Errors sent by the remote server are handled by the command reply handler and
are logged using i_info() where relevant.

submission: relay backend: Fix comment in RCPT command code.

submission: recipient: Add field for associating backend context.

lmtp: DATA command: Assert that the server transaction flags are correct for LMTP.

lib-smtp: server: Allow enabling the LMTP per-RCPT DATA reply behavior for ESMTP transactions.

This is non-standard.

mail-lua: Check number of arguments

lib-lua: Add DLUA_REQUIRE_ARGS(s,x) and DLUA_REQUIRE_ARGS_IN(s,x,y)

First form requires that x arguments are provided for dlua script s.

Second form requires that at least x and at most y arguments are provided
for dlua script s

Automatically returns luaL_error.

mail-lua: Make flags optional for mailbox#sync

mail-lua: Make flags optional for user#mailbox

mail-lua: Change mailbox#status API to varargs

It's much easier to use this way

lib-master: Fix test-event-stats

New stats uses gettimeofday that generated unpredictable values
for this test.

lib: event - Stop exporting ioloop time

It is not needed by stats process.

stats: Use duration field from events

lib: event - Record real duration

The old code only measured difference between successive
ioloop_time updates. The new code uses gettimeofday to
get current real time, making measurements accurate.

lib: event - Duplicate source_filename

Prevents crash on event leak when plugin that caused the leak
is unloaded.

lib: event - Rename tv_created as tv_created_ioloop

submission: relay backend: Do not close the client connection for failure in a non-default backend.

Adjusts the backend API to remember the failure until the present transaction is
reset. In the mean time, any commands issued to the backend are failed
immediately. In contrast, failure on the default backend will cause the client
connection to be closed, like before.

submission: relay backend: Use (potentially) modified reply after backend_relay_handle_relay_reply().

Before, it sometimes still referred to the original reply struct from the client
callback.

submission: relay backend: Use smtp_reply_is_success() to evaluate reply form relay.

Before, it evaluated the reply status directly.

lib-smtp: server: Add smtp_server_command_get_reply_count().

Returns the number of replies expected to the command.

lib-smtp: client: Make smtp_client_transaction_unref(NULL) a no-op.

lib-smtp: client: Make smtp_client_transaction_destroy(NULL) a no-op.

submission: Allocate recipients for the client transaction on the server recipient pool.

lmtp: proxy: Allocate recipients for the client transaction on the server recipient pool.

lib-smtp: client: transaction: Add alternative function for adding a recipient on an application-provided pool.

This allows modifying the recipient object beyond approval. Before, it was
always moved to the transaction pool, thereby invalidating the original returned
pointer. This way, the data_calback and context can be set at a later time,
e.g. when the DATA command is being processed. This makes a choice between
LMTP-style and SMTP-style replies to the DATA command a bit easier to handle.
Also, the recipient is entirely allocated on a single pool between the client
and server side, which should improve memory consumption a little. As a bonus,
this removes the need to have dummy DATA callbacks.

lib-smtp: client: transaction: Fix and amend a few comments in the header.