quota-clone: Always update dict

ret_count and ret_bytes become zero if no quota rules
are specified, so we need to update the dict anyways.

Broken in 81d10aff29baede9ae4944d6c89790871123d11d

dsync: Add hashed_headers setting

This makes it possible to configure them

dsync: Fix typo, it's ibc not icb

dsync: Add missing space to handshake optional keys

doveadm proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

lmtp proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

auth: Avoid DNS lookup for "host" if passdb returns also "hostip"

lib: Fix compiler warning in var-expand-if

lib: Fix static analyzer warnings in var-expand-if

var-expand-if: Remove unused variable par_start

var-expand: Add tests for var_expand conditionals

var-expand: Add support for conditionals

%{if;value-a,op,value-b:true-value:false-value}

director: Remember backends' hostnames and send them in login reply.
This allows login processes to verify the remote server's hostname in SSL
certificate.

director: Run director/host changing doveadm commands only after ring is synced

If the ring sync is still pending, the doveadm command may become reverted.
This doesn't fully prevent problems caused by sending doveadm commands
simultaneously to multiple directors, but it should prevent issues when
only a single director is used for doveadm commands.

It would have been nice to enable this also for HOST/DIRECTOR-LIST commands,
but they don't support returning a ring timeout error without changing the
protocol. It's a bit too much effort to change that for now.

director: doveadm HOST-* commands now wait for ring sync before returning OK

This should make it easier for tests and maybe for scripts in general, so
they won't think the command failed when it just takes a while to finish.

director: Cleanup - Doveadm commands now return enum doveadm_director_cmd_ret

director: Cleanup - Move all doveadm commands into an array.

cassandra: Timestamp should be in microseconds, not milliseconds

cassandra: Fix paged queries to work again

When continuing the result, consistency was reset to 0 (=ANY), which caused
the queries to fail. There's no need to initialize the statement again when
continuing it. Also set result->consistency to be correct mainly for
debugging purposes.

cassandra: Disable prepared statements with protocol v3 and older

cassandra: Add support for prepared statements

cassandra: Cleanup - Create statement earlier

Simplifies the following changes

cassandra: sql_transaction_commit*() cleanup - handle multiple query failures earlier

This makes the handling same for the sync and async method. It also
simplifies code for the following commits.

cassandra: sql_transaction_commit_s() - Set query_type correctly

The queries were all sent with READ type instead of WRITE/DELETE. This
meant they were using potentially wrong consistency values. Although
synchronous commits aren't actually used anywhere, so this practically
this doesn't fix anything right now.

cassandra: sql_transaction_commit_s() - Don't allow multi-query transactions

They were already denied for asynchronous commits. Also the synchronous
commits aren't actually used anywhere, so this shouldn't break anything.

dict-sql: Use prepared statements

Create a hash table of query template -> prepared statement and fill it out
as needed. This could have been done some alternative ways that wouldn't
require building the string first, but this should still be fast enough and
much easier to implement.

dict-sql: Flush pending atomic_inc on set, and pending set on atomic_inc

dict-sql: Cleanup - change query generator functions to return statement

Instead of query+params. This is in preparation for the following changes.

dict-sql: Cleanup - Remove unnecessary code

The values are explicitly added to params. sql_dict_update_query() doesn't
add them again. Since the "diff" parameter is already a long long type,
this avoids unnecessary conversion to string and back.

dict-sql: Use sql_statement_bind_*()

dict-sql: Add signed "int" type

dict-sql: Use sql_statement_set_timestamp() instead of adding it to query

dict-sql: Initial change to use sql_statement API

sql_statement_bind_*() will be followed by later changes.

dict-sql: Remove dict_sql_build_query.inc

It's no longer useful with the current code.

lib-dict: Moved/removed explicit stack frames in dict drivers.

Added them back to dict_set/unset/atomic_inc() in dict.c. Others are
unlikely to be called many times.

dict-sql: Change "uint" type to mean 64bit instead of 32bit integer.

This is likely what is usually wanted (especially in e.g. quotas).
If someone actually wants it to be restricted to 32bit, we could add
uint32 later on.

lib-sql: Add support for prepared SQL statements.

This initial implementation doesn't use prepared statements in drivers, but
simply generates the query string internally.

lib-sql: Explicitly specify used *_vfuncs methods for drivers.

This allows adding more methods without modifying all the existing drivers.

lib: When logging I/O or timeout leak, log also raw backtrace

This can be useful when trying to figure out where the io_loop_destroy() was
called from.

lib-storage: index: Made MIME FILENAME search criterion match case-insensitively.

director: Fix flush to kick the user also when all backends are down

The user's host can't change, because there are no other hosts. So add a
new parameter to force the kick anyway.

director: Avoid "ring sync timeout" errors when all backends are down

doveadm commands were failing with it. Also pending request failures were
logged as failing due to ring sync timeout, instead of because no hosts.

director: Delay calling state_change_callback() after user kick is finished

Otherwise it can get into recursive loop and cause problems.

doveadm director: Improve logging unexpected disconnections from director socket

Previously it just logged "failed", which wasn't very understandable.

director: Fix crash when flush is run and all backends are down.

Instead of moving the users elsewhere, just kill them and flush the backend.

notify-status plugin: Use priv/status/<mailbox> for keys

priv/<mailbox>/status can't be used with dict-sql when <mailbox> has '/'.

notify-status: Remove first_unseen_seq field

The sequence number keeps changing, so it's very unlikely to be useful.
It's also not always as efficiently available as the other fields, so
better to avoid having it.

notify-status: Provide access to all easy fields

notify-status: Add notify-status plugin

This enables updating a dictionary with mailbox
status information when the mailbox changes.

It requires notify_status_dict setting for specifying
the dict where the data is stored.

One can optionally use notify_status_mailbox patterns
for specifying which box(es) the status update is done.
Subsequent patterns are notify_status_mailbox2 and so forth.

One can also specify data format using notify_status_value
plugin setting.

lib: file_lock_set_unlink_on_free() - Avoid unlink() if another process is waiting on the lock

lib-compression: Fix assert in i_stream_zlib_seek

Also fix same bug in i_stream_bzlib_seek, i_stream_lz4_seek, i_stream_lzma_seek.

master: Change service "connections are being dropped" warning interval to 1 second

When this is happening, it's often accompanied with all kinds of other errors and
these warnings drown in them. Make them easier to notice by reducing the interval
from 60 seconds to 1 second.

dsync: Fix panic if syncing fails during attribute iteration

Fixes:
Panic: file dict.c: line 104 (dict_deinit): assertion failed: (dict->iter_count == 0)

lib-storage: mail_storage_set_critical() - don't free old error_string too early

It may be used in one of the parameters.

lib-smtp: lmtp-client: Fixed handling of unexpected reply while sending RCPT TO commands.

It caused a segfault.

doveadm director kick: Fix -f parameter to work

It already worked as --passdb-field, but now it matches the usage string.

dsync: Ignore missing remote mailbox when doing unidirectional sync

If there are some folders on remote system that
are being ignored by remote brain, do not error out.

doveadm: Actually use resolved IP address(es) in director flush

It left the IP variable unitialized which caused host parameter
to be left empty causing flush all. Flushing with IP address
was not affected.

director: Make sure users gets expired even on an idle director

Normally expiring gets done while looking up users, but if nothing is doing
that on an idle director the users won't get expired. This can cause confusion
in "doveadm director status" output.

doveconf: Preserve import_environment when execing binary

This allows import_environment setting to work with doveadm and other
standalone tools.

lib-master, config: Move the responsibility of cleaning environment to doveconf

lib-master: Use master_service_import_environment() for preserving environments

lib-master: master_service_import_environment() - use a data stack frame

This way the caller doesn't have to do it.

master: Move master_set_import_environment() to lib-master

master: Append to existing DOVECOT_PRESERVE_ENVS instead of overwriting it

master: Move import_environment setting to lib-master's master_service_settings

lib-storage: Fix mailbox list notification assert-crash when mailbox is deleted

Reproduced with if IMAP NOTIFY is used for non-selected mailboxes without
MailboxName being specified. Another session then does changes to a
mailbox and immediately deletes it, which causes the crash.

Fixes:
Panic: file mailbox-list-index-notify.c: line 751: unreached

lib-index: mail_index_use_existing_permissions() - Ignore with INDEX=MEMORY

lib-index: mail_index_use_existing_permissions() - Log error if stat() unexpectedly fails

lib-http: message parser: Reject messages with invalid Date header when HTTP_MESSAGE_PARSE_FLAG_STRICT flag is enabled.

lib-http: Fixed bug in date parser: sometimes read one byte past end of input.

This caused spurious parse errors.

lib-http: test-http-response-parser: Show error message for tests of invalid responses.

*-login: Cache director_username_hash between KICK-DIRECTOR-HASH commands

This should make the kicking much faster, which is important when director
is moving thousands of users.

lib-mail: Make sure mail_user_hash() won't return 0 as the hash.

It doesn't seem to actually happen, but this makes sure of it.

lmtp: Fix for wrong session id of mail user when saving mail, quota checking on

When quota is checked mail user is allocated with custom ":quota" session id
suffix without incrementing service user session id counter

sdbox: Don't open mail files when expunging

It was done when mail_attachment_fs was non-empty (and default is
non-empty), even though mail_attachment_dir was empty.

mdbox: Use mail_storage_set_index_error() instead of poorly duplicating it

lib-storage: Add mail_storage_set_index_error()

lib-storage: index_mail_set_cache_corrupted() - Don't reset internal error string

It's already set correctly by the earlier functions.

lib-storage: mail_set_mail_cache_corrupted() - set also internal error string

lib-storage: mailbox_set_index_error() - Set internal error string to index's error

lib-storage: Fix error logging after mail_storage_set_internal_error()

The function doesn't actually set the last_internal_error and it also
doesn't update last_error_is_internal, so calling
mail_storage_get_last_internal_error() afterwards could be returning an
error for some different older error.

Since there's no parameter to set the internal error string, just reset
last_error_is_internal=FALSE.

lib-storage: Preserve messages' vsize record when rebuilding index

Since vsize is often used by quota, losing this can be very expensive.
If the vsize is wrong, it gets fixed automatically when fetching the
message body.

lib-index: Avoid opening .log.2 file if .log was reset

After a reset there's no point in trying to read the older log files.
This avoids trying to open .log.2 at least for newly created mailboxes
when trying to lookup log file sequence 1 (since due to some bug/feature
the log files start from sequence 2).

lib-settings: Escape comma in section name.

Comma is valid symbol in encoded non-ascii section names, so it
shouldn't be used as splitting symbol in section name.

global: Add/change switch case "fall through" comments

These fix warnings with gcc 7's -Wimplicit-fallthrough

lib: Add missing parenthesis to timeout_add()'s msecs parameter checks

This caused wrong results when the msecs parameter contained e.g. var?1:2

lib: Fix compiler warning about mixing boolean with multiplication

push-notification plugin: properly terminate strings

Without this fix, if the new message does not contain a from, a subject, and
a snippet the generated JSON will be malformed (the status check at the end
appended a '"' when it shouldn't have).

lib-storage: If root dir already exists as file, log better error message.

lib-storage: Try to get mailbox list index's permissions from its parent directory

This avoids stat()ing the mail/index root directory, which is especially
useful when mailbox list index is stored in tmpfs.

lib-index: Add mail_index_use_existing_permissions()

This has annoyingly lot of copy&pasting from
mailbox_list_get_permissions_stat(), but there didn't seem to be any nice
place where to share the code.

lib-storage: If ITERINDEX is set, delay checking whether mail root exists

In future this could be done even without ITERINDEX. It's not done yet,
since it might break backwards compatibility with some systems.

lib-storage: Fix INBOX notifications to set correct events

This fixes IMAP NOTIFY so it doesn't send STATUS notifications to INBOX when
it doesn't have to.

lib-storage: List index notify cleanup - move code to separate functions

No functional changes. In preparation for the next commit.

lib-storage: Remove INBOX notification checks if mailbox events aren't requested

Nothing would be done with the results of those checks.

Note that MAILBOX_LIST_NOTIFY_UIDVALIDITY can be handled using mailbox list
index, even for INBOX with mailbox_list_index_include_inbox=no.

lib-storage: Optimize INBOX notifications with mailbox_list_index_include_inbox=yes

There's no need for special INBOX checks in that case, because INBOX is
tracked in the mailbox list index the same as any other mailbox.

pop3-migration: Fail if all IMAP mails were matched by size, but POP3 had extra mails

This makes the handling same as what happens when the same situation happens
and the last mails were matched by headers. That's an error, unless
pop3_migration_ignore_*_uidls=yes.

pop3-migration: Add pop3_migration_ignore_extra_uidls=yes setting

pop3-migration: Strip away invalid header lines.

If there's no ":" in the header, remove it. Fixes matching mails with
Zimbra.