Makefile: Another fix for make distcheck when using scan-build

It seems to run two configures with different parameters, which results in
some of the files not being cleaned up. So this hopefully fixes:

ERROR: files left in build directory after distclean:
./src/util/tcpwrap

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_parse().

In imap_bodystructure_write(), an empty multipart part is addressed by generating an empty text/plain part.
However, when parsing that back with imap_bodystructure_parse() against a parsed message_part tree, this case needs to be considered explicitly.
Otherwise, it will not be able to match the message part hierarchies.

This adds a test suite item that tests both the write (previous commit) and parse functions.

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_write().

In that case it writes an empty text/plain part to prevent generating an invalid BODYSTRUCURE.
However, it always generated the basic BODY version without the extra fields for a full BODYSTRUCTURE.

auth: Fix compile problem with vpopmail

79fe1b28df44ba22b230326bee895583c1df5a28 forgot to remove const from table.

Makefile: Fix make distcheck when using scan-build

The _build directory shouldn't be deleted afterwards or it'll just fail.

lib-dict-sql: Try merge sets to single update

This attempts to put mergeable keys into same
update instead of using multiple SQL statements.

lib, userdb-vpopmail: Fully remove var_expand_table_build()

It was accidentally removed in master-2.2 as part of the changes in
122014ad84488d6309dc7d1572dfc988fedc18c4

This finishes up the removal as it was done in master in
79fe1b28df44ba22b230326bee895583c1df5a28

lib-imap-client: Fix reconnection

There was already code for reconnection. We just shouldn't have gone very
far in imapc_connection_connect() if we were still waiting for reconnection
delay to pass.

Released v2.2.29.

lib-imap-client: Fixes to unit test

lib-imap-client: Add unit test

Initially this tests some connection and reconnection problems.

lib-imap-client: Include "ms" in reconnect warning message

lib-imap-client: Remove hardcoded IMAPC_CONNECT_RETRY_WAIT_MSECS

We have a setting for it now.

lib-imap-client: Disconnection during LOGIN should still have state=disconnected

It's not an authentication failure, which would imply that the user or
password was wrong.

lib-imap-client: Make command tag counter externally accessible

This allows unit tests to reset it.

lib-imap-client: Call the public login callback exactly once.

Previously it was also called only once, as long as there were only a single
imap connection. (The current imapc code wouldn't create more than one
connection.) It was a bit confusing what the expectation was, so now the
callback is never called more than once.

lib-imap-client: imapc_client_deinit() didn't set client=NULL

imapc: Change imapc_connection_retry_interval default to be 1 second.

10 secs at least is too high. Usually the connection problem is very
intermittent and even an immediate reconnection would succeed.

lib-imap-client: Change connect_retry_interval_secs to _msecs

This allows caller to provide better precision.

lib-imap-client: Use struct timeval for tracking last_connect time.

This provides better accuracy when calculating how much time there's left
until reconnection.

lib-http: Improve request stats text.

It's important to know how long the request was in queue before it was sent.

Also the "n attempts in m secs" makes more sense if it was counting only the
time after the initial request was sent, not including the queuing time.

If there is more than 1 attempt, log separately how long all the attempts
were waited on vs. how long the last attempt took.

lib-http: Add http_client_request_stats.first_sent_msecs

Also rename sent_msecs to last_sent_msecs.

lib-http: Track request's first and last send attempt times separately.

example-config: Add blocking setting to dovecot-ldap.conf.ext

auth-var-expand-crypt plugin: Add missing ldflags

fts-solr: Don't double-escape headers.

auth: Fix crash in passdb imap on connection failures

lib-ssl-iostream: Don't require SSL CA certs if require_valid_cert==FALSE

This happened only when verify_remote_cert was also TRUE. But this behavior
now allows verifying the cert without actually requiring it to be valid.

auth: passdb imap: Use ssl_client_ca_* settings.

The args = ssl_ca_dir=.. setting still overrides the ssl_client_ca_dir.

global: Remove extra ';' to fix compiler errors

Sun C doesn't like them.

global: Make sure all files end with newline

Fixes compiler warnings with Sun C.

fs-posix: Fix FS_METADATA_WRITE_FNAME to preserve the path

It should only change the filename.

doveadm force-resync: Skip autocreated mailboxes that don't exist yet.

Since they don't exist, there's nothing to resync in them either.
This avoids unnecessarily creating them.

dict-sql: Fix setting $variables to iteration key when map had multiple values

example-config: Add connect/read/write_timeout to mysql connect settings

Released v2.2.29.rc1.

imapc: Remove "_sec" suffix from imapc_connection_retry_interval_secs

Its type is SET_TIME, so the value doesn't have to be in seconds.

imap-login: Retain client ID only when enabled

lib-storage: Set internal error in imapc_list_get_hierarchy_sep

imapc: Use IMAPC_COMMAND_STATE_AUTH_FAILED to indicate auth failure

lib-imap-client: Do not reset ips when reconnecting

Avoids infinite loop

lib-storage: Return empty value in imapc_list_get_storage_name on auth error

Avoids clobbering authentication error.

lib-storage: Do not clobber error with imapc

global: Fix imapc_client_login usage

lib-imap-client: Add login_callback setter

This way it can be set before actually calling login
which might happen some time later.

imapc: Fix memory leak in disconnected state

auth: Update default policy string to include device id and protocol

imap: Set command reason strings using the new human_args

This way the reason string is already suitable for logging, since it's
guaranteed to be valid UTF-8 without control chars.

imap: Add client_command_context.human_args

Generated with imap_write_args_for_human()

lib-imap: Add imap_write_args_for_human()

imap: Add imap_client_command_get_reason()

All the command -> reason string conversions now go through this function.

lib: Increase net_connect*() EADDRNOTAVAIL retries to 20

4 is too little, since on busy systems it's sometimes failing. These calls
should be pretty cheap, so lets try if 20 is enough.

It would be nice if this was configurable, but the only practical way right
now would be to use environment variable, which is a bit ugly. We could
try it next if 20 is still not enough.

imapc: Compiler warning fix for 32bit systems

lib-imap-client: Make authentication failures more consistent

This way they always say the same prefix, which is easier to
spot.

lib-imap-client: Call login_callback on all authentication failures

lib-imap-client: Fix reconnection

This patch fixes reconnections to actually consider
all IP addresses first and then delay for interval and
retry at most retry count times.

lib-imap-client: Remove io earlier to avoid hammering

If connection has failed and reconnection is not yet
possible, io has to be removed here, otherwise it will
keep hammering the callback.

lib-imap-client: Only LOGOUT from connected connections

lib-imap-client: Make retry count and interval configurable

lib-imap-client: Add imapc_client_try_stop

lib-sasl: Add missing input handler for xoauth2

director: Fix mail_hosts_dup() to duplicate tags correctly.

The host->tag pointed to the old hosts list. Also the new hosts list's tags
array wasn't filled.

This fixes USER-LOOKUP to return host with default configuration, which fixes
doveadm director status <user> to not show "Initial config" as empty.

doveadm: Call mailbox_set_reason with initialized mailbox

global: Add mailbox_transaction_set_reason() calls

Added to the most important places.

lib-storage: Add mailbox_transaction_set_reason()

global: Add mailbox_set_reason() calls

Added to the most important places.

lib-storage: Add mailbox_set_reason()

Use it to log a debug message when mailbox is being opened.

lib-index: Don't increase modseq for backend/dirty flag changes

These flags are used only for internal changes and they shouldn't be
triggering any modseq changes.

To avoid modseqs from unexpectedly shrinking, the new modseq counting
behavior is enabled only for newly rotated transaction log files that have
a new minor_version.

lib-index: Add macros to check if transaction log file version is new enough.

The version numbers are 8bit, so we can generate a single 16bit number out
of them.

lib-http: client: Implemented means to obtain request statistics.

lib: Fix strcasecmp mistake in var-expand

lmtp: Die at startup if config reading fails.

Although most of the time it's not strictly required for config to be read here,
one exception is SSL server settings. If this config reading fails, the SSL
initialization just crashes. So this gives a better error message than a crash.
Also config reading really isn't supposed to fail anyway.

lib-index: Assert in mail_index_append_finish_uids() to prevent UID wrapping

This should be handled better eventually, but it's better to crash earlier
now than later. This avoids a later assert:

Panic: file mail-index-transaction-finish.c: line 187 (mail_index_transaction_get_uid): assertion failed: (rec->uid != 0)

lib-fs: Add FS_METADATA_ORIG_PATH

This allows fs backends to keep track of the original filename and use it
for logging purposes and such.

lib-fs: Allow fs_set_metadata() to update already added metadata.

Previously we were just appending the metadata multiple times with different
values, which could have caused problems.

imap: Fix assert-crash when hibernation triggers during IDLE syncing

Fixes:
Panic: file cmd-idle.c: line 182 (idle_hibernate_timeout): assertion failed: (ctx->sync_ctx == NULL)

var-expand-crypt: Fix data decryption

var-expand-crypt: Add error handling for initialization

var-expand-crypt: Do not free dcrypt context twice

Found by coverity

test-var-expand: Expect error

var-expand-crypt: Remove pointless assigment

It's never used

var-expand-crypt: Fix base64 encoding

the break was missing, also removed confusing block.

var-expand-crypt: Encryption/decryption support for var-expand

Registers new encrypt and decrypt processors for
var-expand.

lib: Add tests for extensions

lib: Add extension support for var-expand

This enables loading new var-expand features
using plugins.

lib: Use error_r in var_expand_long and friends

This is aligment commit for extensions, and differs
from v2.3 so that error is reported in var_expand_with_funcs
since the public API is not changed.

lib-http: http_client_request_delay_from_response() should use per-request timeout as max

It was using the global request_timeout_msecs for the maximum timeout,
which could be different from the per-request timeout set by
http_client_request_set_attempt_timeout_msecs().

lib-http: client: Fixed request-specific attempt timeout.

This is the timeout applied to a single request attempt. Using http_client_request_set_attempt_timeout_msecs() this can be set for a specific request.
However, this was mostly ignored for requests that weren't in the process of handling response payload.
Instead, the global request_timeout_msecs client setting was used.

Also amended the (currently manual) test suite with tests that demonstated the problem and now verify the fix.

lib-index: Use time_to_local_day_start() instead of reimplementing

lib: Add time_to_local_day_start()

lib-index: Code cleanup - expand LOG_WANT_ROTATE() macro

There was no reason it had to be a macro. Also this fixes off-by-one
error when checking for log_rotate_min_size.

test: lib-http: Check write_full return value in test

Makes static analyzers happier

test: fts-squat: Ignore gettimeofday return value in test

Makes static analyzers happier

test: lib-index: Ensure conficts_seqs is created in test

Makes static analyzers happier

test: lib: Ensure item is not null

Makes static analyzers happier

test: lib-fts: Ignore uni_utf8_get_valid_data return value

Makes static analyzers happier

test: mail-crypt: Check dcrypt_id_key_private_old return value

Makes static analyzers happier

test: lib-http: Check o_stream_send return value

Makes static analyzers happier

test: lib: Check o_stream_send return value

Make static analyzers happier

driver-cassandra: Add metric for slow queries