lib-imap-client: Do not reset ips when reconnecting

Avoids infinite loop

lib-storage: Return empty value in imapc_list_get_storage_name on auth error

Avoids clobbering authentication error.

lib-storage: Do not clobber error with imapc

global: Fix imapc_client_login usage

lib-imap-client: Add login_callback setter

This way it can be set before actually calling login
which might happen some time later.

imapc: Fix memory leak in disconnected state

auth: Update default policy string to include device id and protocol

imap: Set command reason strings using the new human_args

This way the reason string is already suitable for logging, since it's
guaranteed to be valid UTF-8 without control chars.

imap: Add client_command_context.human_args

Generated with imap_write_args_for_human()

lib-imap: Add imap_write_args_for_human()

imap: Add imap_client_command_get_reason()

All the command -> reason string conversions now go through this function.

lib: Increase net_connect*() EADDRNOTAVAIL retries to 20

4 is too little, since on busy systems it's sometimes failing. These calls
should be pretty cheap, so lets try if 20 is enough.

It would be nice if this was configurable, but the only practical way right
now would be to use environment variable, which is a bit ugly. We could
try it next if 20 is still not enough.

imapc: Compiler warning fix for 32bit systems

lib-imap-client: Make authentication failures more consistent

This way they always say the same prefix, which is easier to
spot.

lib-imap-client: Call login_callback on all authentication failures

lib-imap-client: Fix reconnection

This patch fixes reconnections to actually consider
all IP addresses first and then delay for interval and
retry at most retry count times.

lib-imap-client: Remove io earlier to avoid hammering

If connection has failed and reconnection is not yet
possible, io has to be removed here, otherwise it will
keep hammering the callback.

lib-imap-client: Only LOGOUT from connected connections

lib-imap-client: Make retry count and interval configurable

lib-imap-client: Add imapc_client_try_stop

lib-sasl: Add missing input handler for xoauth2

director: Fix mail_hosts_dup() to duplicate tags correctly.

The host->tag pointed to the old hosts list. Also the new hosts list's tags
array wasn't filled.

This fixes USER-LOOKUP to return host with default configuration, which fixes
doveadm director status <user> to not show "Initial config" as empty.

doveadm: Call mailbox_set_reason with initialized mailbox

global: Add mailbox_transaction_set_reason() calls

Added to the most important places.

lib-storage: Add mailbox_transaction_set_reason()

global: Add mailbox_set_reason() calls

Added to the most important places.

lib-storage: Add mailbox_set_reason()

Use it to log a debug message when mailbox is being opened.

lib-index: Don't increase modseq for backend/dirty flag changes

These flags are used only for internal changes and they shouldn't be
triggering any modseq changes.

To avoid modseqs from unexpectedly shrinking, the new modseq counting
behavior is enabled only for newly rotated transaction log files that have
a new minor_version.

lib-index: Add macros to check if transaction log file version is new enough.

The version numbers are 8bit, so we can generate a single 16bit number out
of them.

lib-http: client: Implemented means to obtain request statistics.

lib: Fix strcasecmp mistake in var-expand

lmtp: Die at startup if config reading fails.

Although most of the time it's not strictly required for config to be read here,
one exception is SSL server settings. If this config reading fails, the SSL
initialization just crashes. So this gives a better error message than a crash.
Also config reading really isn't supposed to fail anyway.

lib-index: Assert in mail_index_append_finish_uids() to prevent UID wrapping

This should be handled better eventually, but it's better to crash earlier
now than later. This avoids a later assert:

Panic: file mail-index-transaction-finish.c: line 187 (mail_index_transaction_get_uid): assertion failed: (rec->uid != 0)

lib-fs: Add FS_METADATA_ORIG_PATH

This allows fs backends to keep track of the original filename and use it
for logging purposes and such.

lib-fs: Allow fs_set_metadata() to update already added metadata.

Previously we were just appending the metadata multiple times with different
values, which could have caused problems.

imap: Fix assert-crash when hibernation triggers during IDLE syncing

Fixes:
Panic: file cmd-idle.c: line 182 (idle_hibernate_timeout): assertion failed: (ctx->sync_ctx == NULL)

var-expand-crypt: Fix data decryption

var-expand-crypt: Add error handling for initialization

var-expand-crypt: Do not free dcrypt context twice

Found by coverity

test-var-expand: Expect error

var-expand-crypt: Remove pointless assigment

It's never used

var-expand-crypt: Fix base64 encoding

the break was missing, also removed confusing block.

var-expand-crypt: Encryption/decryption support for var-expand

Registers new encrypt and decrypt processors for
var-expand.

lib: Add tests for extensions

lib: Add extension support for var-expand

This enables loading new var-expand features
using plugins.

lib: Use error_r in var_expand_long and friends

This is aligment commit for extensions, and differs
from v2.3 so that error is reported in var_expand_with_funcs
since the public API is not changed.

lib-http: http_client_request_delay_from_response() should use per-request timeout as max

It was using the global request_timeout_msecs for the maximum timeout,
which could be different from the per-request timeout set by
http_client_request_set_attempt_timeout_msecs().

lib-http: client: Fixed request-specific attempt timeout.

This is the timeout applied to a single request attempt. Using http_client_request_set_attempt_timeout_msecs() this can be set for a specific request.
However, this was mostly ignored for requests that weren't in the process of handling response payload.
Instead, the global request_timeout_msecs client setting was used.

Also amended the (currently manual) test suite with tests that demonstated the problem and now verify the fix.

lib-index: Use time_to_local_day_start() instead of reimplementing

lib: Add time_to_local_day_start()

lib-index: Code cleanup - expand LOG_WANT_ROTATE() macro

There was no reason it had to be a macro. Also this fixes off-by-one
error when checking for log_rotate_min_size.

test: lib-http: Check write_full return value in test

Makes static analyzers happier

test: fts-squat: Ignore gettimeofday return value in test

Makes static analyzers happier

test: lib-index: Ensure conficts_seqs is created in test

Makes static analyzers happier

test: lib: Ensure item is not null

Makes static analyzers happier

test: lib-fts: Ignore uni_utf8_get_valid_data return value

Makes static analyzers happier

test: mail-crypt: Check dcrypt_id_key_private_old return value

Makes static analyzers happier

test: lib-http: Check o_stream_send return value

Makes static analyzers happier

test: lib: Check o_stream_send return value

Make static analyzers happier

driver-cassandra: Add metric for slow queries

push-notification-driver-ox: Wait for http requests to finish in deinit

This is to make sure mail_user is still usable in http response
callback.

director: Log vhost count changes and HOST-UP/DOWN

master: When logging fork() EAGAIN failure, include current ulimit -u value

doveadm dump log: Use shared lib-index code for updating modseq

When MAIL_TRANSACTION_MODSEQ_UPDATE records were seen, the printed modseqs
afterwards weren't correct.

Now that mail_transaction_update_modseq() is used, we don't need to keep
this code synchronized with it.

doveadm dump log: Cleanup - don't change hdr.size

Needed by the next commit.

doveadm dump log: Use istream for reading the file.

Cleans up the code a bit and removes the 1MB record limit.

lib-storage: Fix potential dict transaction leak on transaction rollback.

lib-dict: Keep a linked list of all transactions in dict.

This helps debugging if a transaction is leaked.

auth: Do not cache username unless it was changed by lookup

This could've caused usernames to be unexpectedly changed
because they were cached by a lookup that did not include
username in the cache key.

auth: Mark username changed if it's changes in auth_request_try_update_username

It was forgotten in by 865a82c1

lib: Add uuid support to guid

mail-log: Differentiate autoexpunges from expunges

lib-storage: Indicate mail is being autoexpunged

This way plugins, such as mail_log, can detect this.

config: Don't stop the process due to idling.

If the config process restarts, it also reloads configuration. We'd rather
want the configuration reloads to always be explicit.

cassandra: Fallback consistency fix - it wasn't used permanently

Because the "do I want to retry using primary consistency?" check was done
using the first failure timestamp, after 60 seconds that check always
returned TRUE. We should instead be checking the last timestamp for a
query that was sent with the primary consistency.

cassandra: Fallback consistency fix - max retry interval was set wrong

The maximum msecs is _MAX_RETRY_MSECS, not _FIRST_RETRY_MSECS

lib-http: client: Fix aborting a request that has a delayed error.

Caused by recent changes in delayed error handling.

imapc: Add imapc_features=delay-login

The connection to imapc_host is delayed until it's actually needed to be
performed.

imap: Remove imapc-specific "is connection valid?" code

This is now done by imapc itself in the previous patch

imapc: Fail user creation if login to imapc_host fails.

This causes imapc to actually wait for the login to succeed or fail.
Such a wait was already done by the imap code, which will be removed by
the next patch.

quota: Add backend register/unregister

This way, other mail plugins can register their own
quota backends.

lib-mail: Fix read overflow / crash in message_header_decode()

If the input string was "=?charset?Q|B?text?", the code attempted to look up
the character after it. And if it was "=", the callback was called with
size=-1, which ends up in a crash.

doc: mention no_ticket in ssl config example

imap-login: Move forward_fields updating code to login-common

This allows using the new client_add_forward_field() in e.g. plugins.

lib-storage: Fix mail_user_autoexpunge() return value to be initialized properly

lib-storage: Change mail_user_autoexpunge() to return number of autoexpunged mails

lmtp: Trigger autoexpunging only for the last RCPT TO.

Otherwise if the autoexpunging takes a long time, the LMTP client could
disconnect due to a timeout. The mails would still eventually get delivered
though, so it would result in duplicate mails being delivered.

An alternative to this would be to keep all the mail_users referenced until
the delivery is finished and then autoexpunge all of them at the end. It
increases memory usage though and complicates the code, so at least for now
it's not implemented.

lib-storage: Replace MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE with explicit mail_user_autoexpunge()

This allows better control of which users are being autoexpunged. This
patch changes behavior at least in two ways now:

1) After shared folder access, the owner user isn't autoexpunged at deinit.
Although this is a bit questionable of whether it should be or not.

2) LMTP's quota check at RCPT TO stage doesn't trigger autoexpunging.

pop3: Start autoexpunging only after client is disconnected

global: Log internal storage error on failure

lmtp: Log internal error on STATUS_CHECK_OVER_QUOTA failure

lib-storage: Add mail_storage_get_last_internal_error()

This returns the error given to mail_storage_set_critical().

quota: Add quota_max_mail_size setting

quota: Use quota_alloc_result in quota_settings.test_alloc

quota: Introduce quota_alloc_result return type

dbox: Allow ":" separator between mail_attachment_fs driver and args.

The ":" separator is nowadays commonly used elsewhere for the separator,
so it should work here as well.

lib: Fix whitespace in var-expand.c

lib-storage: Add and use default mailbox iterator

The idea is to allow mail plugins to see also the non-existent
autoboxes by feeding them thru the iterator.

Fixes problem where autocreated boxes are not seen by ACL
plugin.

lib-storage: Expose mailbox_list_init_autocreate

It is needed when backend_ctx is created on the fly

acl: Use MODULE_CONTEXT for mailbox list iterator