push-notification-driver-lua: Add keywords and flags to MessageAppend event

push-notification-driver-lua: Add keywords and flags to MessageNew event

push-notification-driver-lua: Rename keywords_set and keywors_clear to keywords

This is more concince since these are the keywords being operated on.

push-notification-driver-lua: Push keywords in helper function

push-notification-driver-lua: Push mail flags as array of flags

push-notification: Add flags and keywords to MessageAppend event

push-notification: Add flags and keywords to MessageNew event

m4: Remove unneeded else case from want_lz4

This causes extraneous code in configure causing it to fail

m4: Replace some if tests with AS_IF

Fixes configure on older systems

m4: Remove stray comma from want_lua.m4

m4: Remove stray AC_ARG_WITH from arc4random.m4

lib: test-event-log - Add test for log level

lib: event - Check log level for info, warning and error

lib: event - Add event_want_level and event_want_log_level

lib: event - Add min_log_level

Determines minimum severity to log for this event

global: Really change array_idx(A, 0) to array_first(A)

Was only partially done in 27b2b51943e0f9440483abeae4c9f5805b236db9

global: Use array_last instead of array_idx

@@
expression E;
@@

-array_idx(E, array_count(E) - 1)
+array_last(E)

@@
expression E;
@@

-array_idx_modifiable(E, array_count(E) - 1)
+array_last_modifiable(E)

global: Use array_pop_back

@@
expression A;
@@

-array_delete(A, array_count(A)-1, 1)
+array_pop_back(A)

And manually fixing the few missed ones

global: Use array_pop_front

@@
expression A;
@@

-array_delete(A, 0, 1)
+array_pop_front(A)

global: Use array_push_front

@@
expression A,I;
@@

-array_insert(A, 0, I, 1)
+array_push_front(A, I)

global: Use array_push_back

@@
expression A,I;
@@

-array_append(A, I, 1)
+array_push_back(A, I)

global: Use array_first instead of array_idx

@@
expression A;
@@

-array_idx(A, 0)
+array_first(A)

@@
expression A;
@@

-array_idx_modifiable(A, 0)
+array_first_modifiable(A)

lib: array - Add helpers for dealing with some common array usecases

Adds macros for accessing first and last item, pushing and popping
and also adding/removing first item.

Note that pop and shift do not return item.

lib: array - Fix asserts to work correctly on 32-bit systems

lib-smtp: client: Fix infinite loop in XCLIENT command interaction with server.

The state regarding the fact that the XCLIENT command was already sent was not
recorded. So, after the HELO handshake, the client would send a new XCLIENT
command.

lib-smtp: client: command: Add debug message showing what commands are being sent to the server.

lib-smtp: client: Move connection to TRANSACTION state immediately when a transaction is started.

Before, it waited until the actual start handler was called from timeout, but
that causes a race condition with mtp_client_connection_abort_transaction(),
which in turn causes an assert panic.

Panic was:

Panic: file smtp-client-connection.c: line 2153 (smtp_client_connection_abort_transaction): assertion failed: (conn->state != SMTP_CLIENT_CONNECTION_STATE_READY)

lib-smtp: client: Properly reset connection state upon reconnect.

lib-smtp: client: connection: Prevent timeout leak for transaction start.

Perform timeout management in a single place. Also, always start the next
transaction only through a timeout.

log: Use failure context log_prefix when available as prefix for error.

Current behaviour hides log prefix when seeing errors via doveadm log
errors, this commit will fix it.

auth: Fix auth-policy log-only warning whitespace

auth: Add auth_policy_log_only setting

When auth_policy_log_only=yes, only log what would have been done.

auth: Treat all negative responses from policy servers as drops

Otherwise negative responses that are not -1 are considered
as success, which is wrong.

auth: Log policy decisions clearly

lmtp: Load all globally-defined mail_plugins at client connect.

Before, this was not performed until after a user lookup was performed for a
recipient. That is not acceptable when plugins need to modify the LMTP protocol
itself.

lmtp: Install header files.

This allows creating external lmtp plugins.

lmtp: Rename commands.h to lmtp-commands.h.

lmtp: Rename client.h to lmtp-client.h.

lmtp: Make include directory available to external plugins.

lmtp: local: Create a client vfunc for local delivery.

This way,for example, the struct mail_deliver_context passed to mail_deliver()
can be adjusted by plugins.

lib-smtp: server: Add support for adding (non-standard) extra capabilities.

lib-smtp: syntax: Add new smtp_ehlo_params_are_valid().

This new version checks whether the parameters contained in the provided string
array are all valid EHLO parameters.

lib-smtp: syntax: Remame smtp_ehlo_params_are_valid() to smtp_ehlo_params_str_is_valid().

Moves it out of the way for a function that is better suited for this name;
i.e., it operates on an array of parameters.

lib-smtp: server: Add smtp_server_reply_ehlo_add_params().

lib-smtp: server: EHLO command: Move composition of individual reply lines to separate functions.

lib-smtp: server: EHLO command: Move composition of default EHLO reply to a separate public function.

lmtp: Add support for module contexts to recipient.

lmtp: Add support for module contexts to client.

lmtp: Implement client vfuncs for transaction start and free.

lmtp: Implement client vfuncs for SMTP transaction commands.

lmtp: RCPT command: Allocate lmtp_recipient object immediately.

lmtp: DATA command: Add data size to client state.

lmtp: DATA command: Put the data input stream in the client state rather than the transaction context.

lmtp: Implement basic client vfuncs.

Currently, only client_destroy can be overriden.

lmtp: Add hook for client_create().

lmtp: Remove obsolete declaration from lmtp-common.h.

lmtp: Make lmtp-common.h the primary include.

This better matches other services.

lmtp: Rename main.h to lmtp-common.h.

This better matches other services.

lmtp: Rename lmtp-common to lmtp-recipient.

lib-storage: Fix mail_get_headers() API comment

master: Before child process closes log fds, switch logging to stderr

Otherwise any logging could cause the process to fail with FATAL_LOGWRITE
without writing the error message anywhere. This is especially unwanted
when using --enable-devel-checks and logging a debug message about growing
data stack.

lib-http: client: Fix panic occurring at connection failure.

In http_client_peer_connection_failed_pool(), all linked queues are notified
about the connection failure through http_client_queue_connection_failure().
That function can internally link and unlink peers to the queue, including the
calling one. This means that the peer->queues array can be modified while it is
iterated in the array_foreach() loop. The problem is fixed by making a local
copy of the peer->queues array.

lib-http: client: Fix handling of servers with several alternative IP addresses.

This also addresses an assert failure occurring with parallel clients:

Panic: file http-client-queue.c: line 518 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == peer)

lib-storage: Fix error handling if mailbox list index refresh fails

The caller expects the error to be in mail_storage, not mailbox_list.

driver-mysql: Avoid double-closing MySQL connection

Fixes double-free

maildir: Don't crash with zlib plugin when saving is aborted

The ostream can be finished even if the saving had already failed. It gets
deleted anyway.

Fixes:
Panic: file ostream-zlib.c: line 37 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0 || zstream->ostream.error_handling_disabled)

lib-smtp: client: Make sending the XCLIENT command(s) always implicit and do it only once.

For most servers, XCLIENT changes the ip:port identity of the client, causing it
to lose privileges to send more XCLIENT commands. For long XCLIENT commands
split in a series of XCLIENT commands, the ip:port parameters were sent last
already, so that did not cause problems even before this change. However, the
old code assumed it could update XCLIENT fields later on, which is often not
possible.

submission: relay backend: Don't bother updating the protocol in proxy data.

Old SMTP clients cannot use the submission service, since these cannot perform
the required authentication.

submission: Move client_create_backend_default() after smtp_server_connection_login() in client_create().

This way, the created default backend can use the HELO data provided to smtp_server_connection_login().

lib-smtp: client: Allow deferring sending the XCLIENT command until authentication or first mail transaction.

This allows updating the proxy data until the XCLIENT command actually needs to
be sent. For submission, this means that later EHLO domain changes can still be
accounted for. This change makes the simplifications in subsequent changes
easier.

lib-smtp: client: Merge smtp_client_connection_init_xclient() into smtp_client_connection_authenticate().

lib-smtp: client: Move smtp_client_connection_send_xclient() before smtp_client_connection_authenticate().

Keeps ordering of functions logical for next changes.

submission: relay backend: Provide data for the HELO and PROTO XCLIENT fields to the relay connection.

lib-smtp: server: Use the HELO domain provided to smtp_server_connection_login() immediately.

Before, it was only used when no new HELO/EHLO command was issued before MAIL.

lib-smtp: client: Remove proxy_data parameter from smtp_client_connection_send_xclient().

Use smtp_client_connection_update_proxy_data() to change fields in the proxy
data recorded in the client.

lib-smtp: client: Add smtp_client_connection_update_proxy_data().

Allows updating the proxy data after creation of the connection.

lib-smtp: client: Make smtp_client_connection_send_xclient() return void.

lib-smtp: client: Copy proxy data from settings using the new smtp_proxy_data_merge() functioṅ.

lib-smtp: common: Add smtp_proxy_data_merge().

lib-smtp: client: Drop smtp_client_command_mail_submit_after().

It is not used.

lib-smtp: client: connection: Fix copying of PROTO XCLIENT field in proxy data.

lib-smtp: syntax: Fix smtp_ehlo_line_parse() to also record the last parameter.

login-proxy: Fix potential crash for delayed disconnects

This happens only with login_proxy_max_disconnect_delay.

Fixes:
Panic: file ioloop.c: line 86 (io_add): assertion failed: (fd >= 0)

lib-smtp: client: Prevent sending an empty XCLIENT command when the first parameter is long.

lib: event - Add event_set_log_prefix_callback

Fetch prefix using a callback.

lib: Fix failure_context.log_prefix_type_pos handling

The log type string was inserted into wrong location if there were multiple
log prefixes.

lib-storage: Remove MAILBOX_FEATURE_QRESYNC

This is an imap-specific feature, which doesn't need to be visible in
the lib-storage layer.

imap: Add support for ENABLE extensions

Based on patch by Aki Tuomi

imap: Change state import/export to use full feature string names

Single letter IDs wouldn't allow extensions.

imap: Add client_enabled_features()

This simplifies the following commits.

imap: Cleanup - Change client_enable() to return void

Nothing cares about its return value. With the current features it's
not even possible to fail. Possibly mailbox_enable() should be also
changed to return void in the future.

imap: Add and use imap_feature_lookup()

This simplifies the following commits.

imap: Add and use client_enabled_mailbox_features()

This simplifies the following commits.

imap: Cleanup - don't avoid calling mailbox_enable(box, 0)

This simplifies the following changes. mailbox_enable() is an efficient
function and it doesn't mind being called with features=0 parameter.

imap: Add and use client_has_enabled() wrapper

This simplifies the following commits.

imap: client_enable() API change - enable features one at a time

This simplifies the following commits.

imap: Access enabled features via new imap_client_feature_* variables

This simplifies the following commits.

m4: dovecot.m4 - Bump serial

m4: dovecot.m4 - Improve CC_CLANG

m4: dovecot.m4 - Call CC_CLANG before DC_DOVECOT_CFLAGS

So we know if we are using clang compiler