lib-index: Update per-flag modseq value a bit more correctly.

This changes the code to be similar to the per-mail modseq updating in
mail_index_modseq_update(). It probably wasn't exactly wrong previously
either, but this change is required for the following commits.

lib-index: Fix checking if modseq header is up-to-date

We were almost always assuming that it is.

lib-index: Fix modseq tracking with multiple flag updates

The earlier code was checking only the first flag record update. If the
first one had only internal flag changes but (some of) the rest didn't,
the modseq wasn't counted correctly. This was probably pretty rare.

lib-index: Fix modseq tracking for MAIL_INDEX_MAIL_FLAG_UPDATE_MODSEQ

This is used to increase modseq for mails when their private flags change.
Use an already existing MAIL_TRANSACTION_FLAG_UPDATE_IS_INTERNAL() that
does this properly.

(This change preserves another bug, which is fixed in the next commit.)

dsync: Add missing transaction flags when performing UID renumbering

The transaction didn't have MAILBOX_TRANSACTION_FLAG_SYNC or
MAILBOX_TRANSACTION_FLAG_NO_NOTIFY (with DSYNC_BRAIN_FLAG_NO_NOTIFY).

This caused replication-dsync to unnecessarily trigger another dsync
replication notification.

lib: When logging I/O or timeout leak, log also raw backtrace

This can be useful when trying to figure out where the io_loop_destroy() was
called from.

lib-storage: Panic if at mailbox_free() there are open attribute iterators.

push-notification: Switch to main ioloop while calling drivers' deinit/cleanup callbacks

Continues a44595f7b1afc7ccbd8653598753b32899d01c76 to other functions.
For example the OX backend would call http_client_wait(), which would move
the I/Os and timeouts to the current ioloop, which might not be main_ioloop
always. When that ioloop gets destroyed, I/O and timeout leaks are logged
and eventually the process crashes when calling http_client_deinit() in
cleanup() (this would happen later for another mail_user).

lib: Add asserts to make sure running ioloop is always current_ioloop

We could also switch current_ioloop to the running ioloop temporarily while
calling callbacks, but this behavior is probably clearer. All of the
existing code should already work this way.

Add the asserts after IO or timeout callback is called, so if the assert
triggers, we can find out which callback caused the change. The initial
assert in io_loop_handler_run() is enough to verify that the initial
ioloop is correct.

virtual: Sync backend flags on initial sync when UIDVALIDITY hasn't changed

Before recent fixes the UIDVALIDITY was thought to change almost every time,
so this bug wasn't visible.

virtual: Do not store recent flags to virtual index

Setting the flag here would case unnecessary index update
to clear the flag later on.

lib: If CORE_IO_LEAK environment is set, panic on IO/timeout leaks

imapc: Add imapc_features=send-id to send ID x-session-ext-id

lib-imap-client: Support sending IMAP ID command including unique x-session-ext-id

mdbox: "Inconsistency in map index" wasn't fixing itself automatically

Broken by b9da8540e665138b3cad0b637c08c0ab7d7a7eeb

doveadm: mailbox_list_index_very_dirty_syncs disabled for force-resync

prerun of cmd force-resync sets mailbox_list_index_very_dirty_syncs to
no for mail_storage_service_user befor mail_user is allocated.

lib-storage: added settings updating function for the mail_storage_service user

lazy-expunge: Log internal errors instead of just "Internal error occurred"

lib-storage: If mailbox_list_index_very_dirty_syncs=yes, still rebuild empty list index

lib-imap-client: Log an info-line when connected to remote server

Include the remote IP:port ad local IP:port. This allows matching the
connection with the remote server's logs (or e.g. haproxy logs).

lib-storage: MAIL_STORAGE_SERVICE_FLAG_NO_PLUGINS wasn't working correctly

Especially with "doveadm user" it still triggered running the plugins,
because doveadm loads all the plugins early.

auth: Escape LDAP search filter properly

This is syntaxical escaping to make ldap servers accept queries
with escapable characters, instead of erroring out.

dict-ldap: Escape LDAP search filter properly

This is syntaxical escaping to make ldap servers accept queries
with escapable characters, instead of erroring out. It is possible
that the filter could have been modified in unexpected ways
if the input comes from untrusted sources.

lib-ldap: Store error if sending request to LDAP fails

If the request cannot be sent e.g. due to bad search filter
store the error into the result.

Fixes Panic: file ldap-connection.c: line 709 (ldap_result_has_failed): assertion failed: ((result->openldap_ret == LDAP_SUCCESS) == (result->error_string == NULL))

lib-http: message parser: Reject messages with invalid Date header when HTTP_MESSAGE_PARSE_FLAG_STRICT flag is enabled.

lib-http: Fixed bug in date parser: sometimes read one byte past end of input.

This caused spurious parse errors.

lib-http: test-http-response-parser: Show error message for tests of invalid responses.

imap: Flush response to client before starting possibly long operation

Fixes Error: Timeout communicating with /var/run/dovecot/imap-master (version received)

imap: Set client created before initializing namespaces

Fixes Panic: file master-service.c: line 819 (master_service_client_connection_destroyed): assertion failed: (service->master_status.available_count < service->total_available_count)

lib-storage: Hide and rmdir \NoSelect leaf mailboxes with NO-NOSELECT

If the leaf is successfully rmdir()ed, rmdir() also its parents.

This doesn't work perfectly with if there are multiple levels of \NoSelect
mailboxes. For example with "a/b/c" the listing will already have returned
"a" and "a/b" before it reaches the "a/b/c" code, which will rmdir all of
them, but it's a bit too late at that point. It's too much work to fix
though, and the situation will be fixed on the next list anyway.

lib-storage: Add setting to disable \NoSelect mailboxes

Enabled using mail_location = ...:NO-NOSELECT

Trying to create \NoSelect "dir/" will result just creating "dir", similar
to how Maildir++ layout already did it.

Deleting a mailbox will delete all of its \NoSelect parents.

lib-storage: Mailbox rename shouldn't auto-rmdir parent index dirs with ITERINDEX

For example:
 - create a/b
 - rename a/b c

This resulted in "a" existing in mail root directory, but not in index
directory. With ITERINDEX this meant that the "a" was lost.

lib-storage: index: Made MIME FILENAME search criterion match case-insensitively.

doveadm service status: Add doveadm_stop field

This indicates whether "doveadm service stop" was used for the service.

lib-storage: If root dir already exists as file, log better error message.

lib: Fix compiler warning in var-expand-if

lib: Fix static analyzer warnings in var-expand-if

lib-storage: Try to get mailbox list index's permissions from its parent directory

This avoids stat()ing the mail/index root directory, which is especially
useful when mailbox list index is stored in tmpfs.

lib-index: Add mail_index_use_existing_permissions()

This has annoyingly lot of copy&pasting from
mailbox_list_get_permissions_stat(), but there didn't seem to be any nice
place where to share the code.

lib-storage: If ITERINDEX is set, delay checking whether mail root exists

In future this could be done even without ITERINDEX. It's not done yet,
since it might break backwards compatibility with some systems.

lib-storage: Allow LISTINDEX to point to a different directory

Most importantly because the mailbox list index is only a cache, it could be
safely pointed to e.g. tmpfs to save disk I/O.

var-expand-if: Remove unused variable par_start

lib-storage: Add mailbox_list_index_include_inbox setting

This controls whether to update INBOX's STATUS information in the mailbox
list index. It can be useful especially if LISTINDEX points to a tmpfs,
but perhaps also in other situations.

I considered adding a more generic setting to exclude other mailboxes, but
the namespace prefixes and hierarchy separators get a bit complicated with
shared mailboxes. It's probably also not very useful to change this for
anything but the INBOX.

example-config: Add mailbox_list_index_very_dirty_syncs

lib-master: Allow userdb to return postlogin socket path.

Returning "postlogin=socketpath" as userdb extra field overrides the
postlogin socket path in the service { executable } parameter.

lib-storage: If userdb returns chdir extra field, chdir() there instead of home

This can avoid unnecessary home directory accesses if indexes are stored
outside the home and there's no other reason to chdir() to home.

lib-storage: If chdir(home) fails due to EACCES, don't log two errors.

var-expand: Add tests for var_expand conditionals

var-expand: Add support for conditionals

%{if;value-a,op,value-b:true-value:false-value}

virtual: Make sure index is rewritten when new mailboxes are added

Otherwise multiple bbox->sync_mailbox_idx point to 0 and they keep overwriting
each others in the header. This causes the header to be constantly updated with
wrong contents.

lib-storage: Add UIDVALIDITY to mailbox list index on mailbox create

This avoids an unnecessary secondary write later on when opening the
mailbox.

lib-storage: Don't update INBOX's sync status to mailbox list index

It's not actually used so there's no need to update it either.
Broken by 70092709cdc803c87b8f4ef1b0548eb45515bdae

lib-sql: Remove duplicate Cassandra consistency names

virtual: Do not remove mailbox notify if the mailbox is closed

The backend mailbox close/open status is not related to
the notify API usage. The notify is removed in
virtual_mailbox_close_internal instead when we are
actually deinitializing.

virtual: Optimize mailbox_notify_changes() when there's only a single backend mailbox

lib-storage: mailbox_watch_extract_notify_fd() - give better reason if mailbox has no IOs

This happens currently with virtual mailboxes.

lib: io_loop_extract_notify_fd() - Don't crash if no notifys have been added

imap: Add %{appended} to imap_logout_format

doc: Change del to deleted in imap_logout_format default to match code

imap-client: Add %{autoexpunged} to imap_logout_format

imap-client: Add const char *disconnect_reason to client

This is to allow using reason given to client_disconnect() via timeout
context.

lib-index: Fix next_uid lookup in open transaction that has appended mails

The appended mails were used for returning an updated
mail_index_header.next_uid, but only if the mails were assigned UIDs in
mail_index_append(). It should have updated the next_uid also after
mail_index_append_finish_uids() was used to assign the UIDs.

This fixes setting first_recent_uid correctly for virtual mailboxes when the
sync finds new mails. Avoids multiple sessions from getting \Recent flags
for the same mails.

cassandra: Fix read/write buffer overflows after adding CASSANDRA_QUERY_TYPE_READ_MORE

lib-sql: Add assert to sql_result_more_s()

Should avoid a warning from static analyzer.

virtual: Stop watching notification on backend box close

Fixes Panic: file mail-index.c: line 662 (mail_index_close_nonopened): assertion failed: (index->views == NULL)

virtual: Stop notifications only if they were started

Fixes Panic: file mail-storage.c: line 1950: assertion failed: (box->opened)

pop3-migration: Add unit test for checking that trailing tabs are stripped

lib-mail: message_header_hash() - add v4 that strips tabs

This helps with Zimbra, which strips away trailing tabs in BODY[HEADER].

lib-index: Mark index deleted if index log file is missing

This fixes all kinds of errors caused by mailbox being
deleted by another process.

lib-index: Fix mail_index_get_modification_time() to work when index isn't open.

index->filepath may be NULL after a failed index open, and it's a bit unsafe
to trust that index->log->filepath isn't NULL either.  So just build the full
path from elements that are definitely non-NULL.

Also stat() only dovecot.index.log, because it's always supposed to exist.
If it doesn't, something's broken and stat()ing dovecot.index doesn't make
much sense.

This commit removes mail_transaction_log_get_mtime(), which is no longer
needed.

Fixes:
Panic: file mail-index.c: line 931 (mail_index_file_set_syscall_error): assertion failed: (filepath != NULL)

lib-storage: Don't allow removing \Recent flags with mail_update_flags()

Reverts an ancient commit 7deb24e7453249d09741641bff0f269f68165033. I don't
know why it was added in the first place. Normally \Recent flags are
removed during sync with MAIL_INDEX_SYNC_FLAG_DROP_RECENT. This should be
enough, especially since it's not even possible to remove a single \Recent
flag - only update the first_recent_uid.

The code was also wrong: It was dropping \Recent flags even when
modify_type/flags combination didn't ask for it. Even if this was fixed,
there would still be race conditions with multiple processes since this
update is done without locking.

Fixes:
Error: Recent flags state corrupted for mailbox

lib-storage: If mail_index_header.first_recent_uid shrinks, reset \Recent flags

This should never happen.

cassandra: Improve logging for multipage queries

warn_timeout is applied to both individual page requests as well as the sum
of all the page requests.

cassandra: Add page_size setting to enable paged results for queries

cassandra: Add wrapper functions in preparation for following commits

No functional changes. Shrinks the following commits.

dict-sql: Add support for sql_result_more()

lib-sql: Add API support for asynchronously iterating over rows.

sql_query() can already do an async lookup, but the full result needs
to be available immediately. This can be inefficient for large results.
Add a new SQL_RESULT_NEXT_MORE return value and sql_result_more() for
asynchronously requesting more results.

This changes the API a bit, but isn't done by default by any drivers yet.
Also callers that can't handle this are hopefully checking for "ret < 0",
which allows them to handle such an async-more request as an error
instead.

sql_result_next_row() will be changed to return enum in a separate commit to
keep backwards compatibility in v2.2.x.

imapc: Fix caching >= 32 kB mail bodies

When closing the mail, only in-memory mail bodies were stored to cache.

lib-index: Add missing colon to log text

It's added elsewhere

master: Change service "connections are being dropped" warning interval to 1 second

When this is happening, it's often accompanied with all kinds of other errors and
these warnings drown in them. Make them easier to notice by reducing the interval
from 60 seconds to 1 second.

lib-storage: mailbox_create_missing_dir() - Fix handling NULL mailbox directory

It would have caused stat(NULL), which would have failed.
Broken by 7071a02a8413fb409ade1625f6a1763c7493b66b

lib-storage: When index dir rmdir() fails with ENOTEMPTY, retry it for 1 second

This helps to avoid leaving those index directories lying around with NFS.
Hopefully within the 1 second any existing processes that have been keeping those
files open have finished their task. Especially IMAP IDLE will take 0.5 seconds
to start syncing indexes and realize that they're deleted.

lib-index: If refreshing finds dovecot.index.log gone, assume the mailbox was deleted

Don't try to recreate the log file again. It can just cause further problems.

A way to reproduce this problem with NFS when INDEX dir is specified:
 * create mailbox foo, select foo, IDLE
 * delete mailbox foo
--> foo's index is recreated back by IDLEing process

quota: Fix negative storage-based quota_warnings to work with count backend

Finishes f9362223346d10a5866b376ed227b77b26ea4292, which fixed it for
"messages" but not for "storage".

quota: When setting auto_updating to transaction, skip invisible quota roots

Skip the quota root also if the mailbox matches "ignore" quota_rule.
This is only an optimization fix so that unnecessary work isn't done for
quota roots that aren't actually used.

lib-storage: mailbox_create_missing_dir() - Handle mailbox delete race condition

Make sure the directory isn't created if the mail root directory no longer
exists. This might happen during mailbox deletion when another process is
opening the mailbox at the same time.

lib-storage: Improve MAILBOX_LIST_PROP_AUTOCREATE_DIRS related comments

lib-lda: Fix crash if syncing save destination mailbox fails

lib-index: Fix compiler warning with 32bit time_t

lib-index: Track .log.2 rotation time in index header

This avoids unnecessarily stat()ing the file. Also it's a bit better
since it's tracking the actual rotation time, not the mtime of what the
.log file happened to have at the time of rotation.

The initial rotation timestamp is written only to the dovecot.index header
without going through dovecot.index.log. This works, because the
dovecot.index is written practically always after a log rotation. For the
rare cases when it doesn't happen, the dovecot.index.log.2 just gets
deleted later after the next log rotation.

lib-index: Check .log.2 rotation only when syncing

Instead of also whenever appending transactions to .log file. This
shouldn't change the behavior much, and it's needed for the following
change to work correctly.

doveadm dump: Include "last temp file scan" in index header dump

lib-index: Use nfs_safe_stat() to avoid having to handle stat() ESTALE error

Slightly simplifies the code.

lib-http: message parser: Allow duplicate date header if HTTP_MESSAGE_PARSE_FLAG_STRICT is not set.

The last instance of the date header is used.

lib-http: Restructured the header, message, request, and response parsers to have an extensible and consistent API using flags.

Extended the test suites with a few cases that test parsing with and without the STRICT flag.

sdbox: Create missing mail directory on resync if index directory exists

This problem should be visible only with ITERINDEX enabled.

lib: Created basic test suite for ostream-buffer.

lib-storage: Remove user namespaces on hook error

If there is a hook error during namespaces added
remove the namespaces from user. This avoids attempts
to use the namespaces later on without proper initialization.

lib-storage: Ensure list index is present

Otherwise we end up with signal 11 crash later on.

lib-ssl-iostream: Fix compiler warning

~SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS makes it unsigned, so it doesn't fit
into signed 32bit long.