submission: Split the DATA command into a generic part and a part related to relaying to an MTA.

submission: Split the RSET command into a generic part and a part related to relaying to an MTA.

submission: Split the RCPT command into a generic part and a part related to relaying to an MTA.

submission: Split the MAIL command into a generic part and a part related to relaying to an MTA.

submission: Split the EHLO command into a generic part and a part related to relaying to an MTA.

submission: Move submission_helo_reply_submit() from cmd-helo.c to submission-commands.c.

submission: Make HELO/EHLO reply submission a separate public function.

submission: Move client_command_handle_proxy_reply() to submission-backend-relay.c.

submission: client: Remove spurious forward declaration of "struct client_command_context".

lib-smtp: client: Add forward declaration for struct smtp_client_settings in smtp-client-connection.h.

lib-smtp: server: Drop pending commands and transaction at disconnect rather than destroy.

This makes sure the conn_trans_free() connection callback is called before
th conn_disconnect() callback. This makes more sense than the other way around,
which instead would be a likely cause for mishaps causing segfaults and the
like.

lib-smtp: server: Add callback for transaction start.

lib-smtp: server: Change command hooks API to allow many parallel hooks with individual context.

This e.g. allows many server plugins to hook into command execution without
interfering with eachother.

LAYOUT=index: Fix rebuilding mailbox list index on force-resync

The if-check was a bit confusing because have_backend==TRUE means that there
the mailbox list index is only an index, while have_backend==FALSE means
that the mailbox list index is the only source for the list of mailboxes
(= list index is the backend).

push-notification-driver-lua: Request flags and keywords

push-notification-driver-lua: Fix comment typo

push-notification-driver-lua: Add keywords and flags to MessageAppend event

push-notification-driver-lua: Add keywords and flags to MessageNew event

push-notification-driver-lua: Rename keywords_set and keywors_clear to keywords

This is more concince since these are the keywords being operated on.

push-notification-driver-lua: Push keywords in helper function

push-notification-driver-lua: Push mail flags as array of flags

push-notification: Add flags and keywords to MessageAppend event

push-notification: Add flags and keywords to MessageNew event

m4: Remove unneeded else case from want_lz4

This causes extraneous code in configure causing it to fail

m4: Replace some if tests with AS_IF

Fixes configure on older systems

m4: Remove stray comma from want_lua.m4

m4: Remove stray AC_ARG_WITH from arc4random.m4

log: Use failure context log_prefix when available as prefix for error.

Current behaviour hides log prefix when seeing errors via doveadm log
errors, this commit will fix it.

auth: Fix auth-policy log-only warning whitespace

auth: Add auth_policy_log_only setting

When auth_policy_log_only=yes, only log what would have been done.

auth: Treat all negative responses from policy servers as drops

Otherwise negative responses that are not -1 are considered
as success, which is wrong.

auth: Log policy decisions clearly

lib-storage: Fix mail_get_headers() API comment

lib-storage: Fix error handling if mailbox list index refresh fails

The caller expects the error to be in mail_storage, not mailbox_list.

maildir: Don't crash with zlib plugin when saving is aborted

The ostream can be finished even if the saving had already failed. It gets
deleted anyway.

Fixes:
Panic: file ostream-zlib.c: line 37 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0 || zstream->ostream.error_handling_disabled)

login-proxy: Fix potential crash for delayed disconnects

This happens only with login_proxy_max_disconnect_delay.

Fixes:
Panic: file ioloop.c: line 86 (io_add): assertion failed: (fd >= 0)

lib-smtp: client: Prevent sending an empty XCLIENT command when the first parameter is long.

lib: event - Add event_set_log_prefix_callback

Fetch prefix using a callback.

lib: Fix failure_context.log_prefix_type_pos handling

The log type string was inserted into wrong location if there were multiple
log prefixes.

lib-storage: Remove MAILBOX_FEATURE_QRESYNC

This is an imap-specific feature, which doesn't need to be visible in
the lib-storage layer.

imap: Add support for ENABLE extensions

Based on patch by Aki Tuomi

imap: Change state import/export to use full feature string names

Single letter IDs wouldn't allow extensions.

imap: Add client_enabled_features()

This simplifies the following commits.

imap: Cleanup - Change client_enable() to return void

Nothing cares about its return value. With the current features it's
not even possible to fail. Possibly mailbox_enable() should be also
changed to return void in the future.

imap: Add and use imap_feature_lookup()

This simplifies the following commits.

imap: Add and use client_enabled_mailbox_features()

This simplifies the following commits.

imap: Cleanup - don't avoid calling mailbox_enable(box, 0)

This simplifies the following changes. mailbox_enable() is an efficient
function and it doesn't mind being called with features=0 parameter.

imap: Add and use client_has_enabled() wrapper

This simplifies the following commits.

imap: client_enable() API change - enable features one at a time

This simplifies the following commits.

imap: Access enabled features via new imap_client_feature_* variables

This simplifies the following commits.

m4: dovecot.m4 - Bump serial

m4: dovecot.m4 - Improve CC_CLANG

m4: dovecot.m4 - Call CC_CLANG before DC_DOVECOT_CFLAGS

So we know if we are using clang compiler

dovecot.m4: Preserve original CFLAGS/LDFLAGS

Correct flags are detected during configure, so avoid
overwriting them here by accident.

dovecot.m4: Use _DC_EOF instead of EOF

Avoids messing with other scripts

dovecot.m4: Use AS_IF macro instead of if

It's safer with m4

dovecot.m4: Call DC_DOVECOT_CFLAGS and HARDENING earlier

Before SUBST

dovecot.m4: Rename DOVECOT_CFLAGS function to DC_DOVECOT_CFLAGS

Avoid conflict with variable of same name

dovecot.m4: Use dnl instead of hash for comments

configure: Use DC_DOVECOT_HARDENING

dovecot.m4: Add DC_DOVECOT_HARDENING to check hardening options

m4: Move various compiler and linker checks to dovecot.m4

We don't want to distribute CFLAGS or LDFLAGS that break
compiler, due to lack of support.

lib-master: test-event-stats - Use PRIu64 format

Forgotten in e16ba6f

lib-master: test-event-stats - Include signal.h

Forgotten in e16ba6f

lib-master: test-event-stats: Properly ensure cleanup of all files generated by tests.

lib-master: test-event-stats: Move launch_test_stats() to a more logical place.

lib-master: Create local .gitignore file for potential test output junk.

fts: Fix search query generation when one language ignores a token

The search query was changed to "NOT ALL", even though other languages
used the token.

lib-smtp: client: Fix potential segfault occurring after receiving RCPT reply.

Could occur when RCPT reply is received befor DATA command is sent in LMTP session.

Problem found by Coverity.

lib-smtp: test-smtp-client-errors: Add tests for transaction timeouts.

lib-smtp: client: Add debug message for the moment when all RCPT replies are received.

This helps in debugging transaction state transition problems.

lib-smtp: client: Fix transaction state transition for the DATA command.

It progressed to the DATA state too early. By the looks of things, this only
affected the correctness of error and debug messages. It does not affect the
transaction itself.

lib-smtp: client: Fix segmentation fault occurring at transaction timeout.

In the DATA command callback trans->cmd_data can be NULL when the command is
aborted from smtp_client_transaction_fail_reply().

lib-smtp: client: transaction: Prevent early transaction abort in smtp_client_transaction_fail_reply().

Can happen in one of the command callbacks of aborted commands.

lib-smtp: Remove trailing whitespace in smtp-cient-transaction.c.

lib-smtp: Remove trailing whitespace in test-smtp-client-errors.c.

lib-smtp: Read input before exiting in sendmail-exit-1.sh

This avoids a Broken pipe error that fails the unit test this script
belongs to.

lib-smtp: Include test-bin in dist

lib-test: Warn if test_run or test_run_named result is not used

Ensures hopefully that unit tests do not succeed when they fail
due to wrong exit code.

global: Ensure unit tests return value

lib-auth: Fix reconnect timeout leak at deinit

lib-http: client: Notify host object about submission of request before submitting the request to the queue.

This makes sure the host idle timeout is stopped before the request is submitted
and the host object's refresh function is called. If the idle timeout is still
running at that point, the refresh function will return success without
performing a lookup, which can lead to a panic.

Panic was:

Panic: file ./http-client-private.h: line 672 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

lib-http: client: Reset ips count to zero before DNS lookup.

lib: mempool - Remove unnecessary check

The previous commit guarantees that we always have one of _ILP32 and _LP64
defined so we don't have to check ourselves.

lib: Make sure exactly one of _ILP32 and _LP64 is defined at all times

These defines are very common, but not universal.  For example, clang on
illumos and FreeBSD always defines one of them, while 32-bit Ubuntu 16.04
doesn't define either.

lib: mempool - Improve p_realloc() panic message

Most importantly, this differentiates it from the panic message that
p_malloc() prints.

lib: mempool - Centralize p_free() NULL pointer check

This changes the behavior of p_free(pool, some_null_pointer) slightly.

datastack mempools:

    Previously, the datastack frame id was checked regardless of whether or
    not the pointer was NULL.  Now, only non-NULL pointers perform this
    check.

system mempools:

    Previously, the process would SIGSEGV if a NULL pointer was freed in a
    debug binary on a system with malloc_usable_size().  Now, no SIGSEGV
    occurs.

allocfree, alloconly, and unsafe datastack:

    No change in behavior.

lib: mempool - Centralize p_realloc() NULL pointer check

Instead of each mempool implementation having to check the pointer passed in
for being NULL, we can check that the sizes are within the required bounds
in p_realloc().

lib: mempool - Centralize p_{m,re}alloc() size checks

Instead of each mempool implementation having to check the allocation sizes
for sanity, we can check that the sizes are within the required bounds in
p_malloc() and p_realloc().

Since p_malloc() and p_realloc() are static inlines, some consumers will see
a little bit of growth in binary size, but others will be able to optimize
the check away at compile time.

lib: mempool - Define a global max allocation size supported by all pools

Instead of relying on each mempool implementation to define its own limits
and checks, this commit defines a generic one that's sufficient to make any
mempool present or future happy.

lib: mempool-allocfree: Remove unused #define

This define was never actually used.

lib: mempool-datastack - Use container_of instead of casts

lib: mempool-alloconly - Use container_of instead of casts

lib: Rename a alloconly mempool helper function to make its scope obvious

pool_try_grow() makes it look like it is part of the mempool API, even
though it is an internal helper specific to the alloconly pool.

lib: Document the unsafe datastack mempool

lib: Document the system mempool

lib: Document datastack mempools

lib: Document allocfree mempools

lib: Document alloconly mempools

lib: mempool - Further reduce test code duplication

We have to use a macro because we need to pass a type as an argument.