lib-storage: Add mail_storage.list_index_corrupted()

The actual implementation is in the next commit.

lib-index: Add mail_index_unset_fscked()

This can be used to easily remove MAIL_INDEX_HDR_FLAG_FSCKD. It takes a
transaction parameter instead of sync_ctx because some index rebuilds
are done with a separate transaction while the sync_ctx is rolled back.

lib-index: fsck now adds MAIL_INDEX_HDR_FLAG_FSCKD to header.

It can only be removed by an explicit header update.

lib-storage: Rename mailbox_list_index.corrupted to corrupted_names_or_parents

Makes it clearer what exactly the flag means.

lib-index: If index open fails with fsck, retry opening once.

The fsck should have fixed the log offsets and open should work.

lib-index: fsck: Fix log_file_head|tail_offset properly

lib-dcrypt: Add assert that vfs is initialized

lib-storage: Fail if no namespaces have list=yes

The previous check allowed all namespaces to have list=children. This
crashed later on in mail_namespaces_get_root_sep(), because it couldn't
find any list=yes namespaces.

lib-index: Compiler warning fix

lib-mail: Add randomness test to test-mail-html2text

lib-mail: Fix assert-crash in mail_html2text_more() with invalid input.

parse_data() continues forward thinking that it might have valid input,
until it has enough data and realizes that there's nothing valid. This
triggers:

Panic: file mail-html2text.c: line 312 (mail_html2text_more): assertion failed: (pos >= buf_orig_size)

lib: Clarify that buffer_write() zero-fills buffer when writing past its size

global: Code cleanup - avoid passing NULL to functions with non-null parameter

global: Avoid unnecessary unsigned integer wraps.

Avoids complains from clang -fsanitize=integer

global: Avoid loops unnecessarily decreasing below zero.

Avoids complains from clang -fsanitize=integer

lib: Mark md4/md5/sha1/sha2 code with ATTR_UNSIGNED_WRAPS

lib-index: mail_index_map_register_ext(ext_offset=-1) now sets hdr_offset=-1

It shouldn't make any difference, but this is a less confusing value.

lib: Add ATTR_UNSIGNED_WRAPS for disabling clang -fsanitize=integer

lib-index: Compiler warning fix.

lib-storage: Rotate dovecot.list.index.log* more often.

The history in these files isn't as important as in mailbox indexes.
Reduce disk space usage by rotating them more often and deleting the
.log.2 more quickly.

lib-index: Add mail_index_set_log_rotation()

lib-storage: Try harder to rename a corrupted mailbox name to its old name.

If the old name exists, use it as a prefix for the new name. This is
especially useful when restoring autocreated mailboxes. A new mailbox
could have already been autocreated, but it's still useful to have
the broken one renamed with the same prefix, so it'll be clear that
these mailboxes should be merged.

dsync: Do not try replace remote folder GUID when doing oneway sync

Oneway sync tried to replace remote folder's GUID when
running in one way mode. This causes trouble, e.g.
when running with imapc, because you can't do this.

lib-storage: Fix rotation of dovecot.list.index.log

After b9da8540e665138b3cad0b637c08c0ab7d7a7eeb the tail offsets weren't
being updated anymore when mail_index_sync_next() wasn't used to skip
over all the data. Mailbox list index wasn't doing this, and so the log
was never rotated since tail_offset was never equal to head_offset.

imapc: Fix assert that checks if mail is expunged locally.

The EXPUNGE may have been sent while imapc_sync_index() was issuing
remote imapc commands. It would end up being in delayed_expunged_uids,
so the assert needs to check that too.

Fixes:
Panic: file imapc-sync.c: line 290 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq))

imapc: Cleanup - change delayed_expunged_uids to seq_range.

This simplifies the next commit.

auth: Don't crash expanding %variables when username isn't set.

This continues the auth-policy fix in
c3d3faa4f72a676e183f34be960cff13a5a725ae

sdbox: Don't log an error if stub is added twice

There's no locking for them, so it's fine if two processes add the same
mail. The second one could be ignored, but it was a bit easier to just
let it rename over the first one.

auth: Fix auth-policy crash when username is NULL

If SASL request is invalid, or incomplete, and username
is left NULL, handle it gracefully by adding just
NUL byte in auth policy digest for username.

lib-storage: require MAIL_STORAGE_CLASS_FLAG_STUBS when caching

If we are going to be using the storage for caching, we should check that
the storage actually supports mail stubs.

lib-fts: Add randomness test to test-fts-tokenizer

lib-fts: Make sure address tokenizer can't return empty tokens.

This happened when address was a token that first looked like it could be
a valid address, but then got truncated due to reaching maxlen, followed
by truncating the UTF8-sequence and finally all the rest of the '-' or
'.' chars that were valid at the beginning of the address are stripped
away by fts_tokenizer_delete_trailing_invalid_char(), leaving nothing left.

Fixes:
Panic: file fts-tokenizer.c: line 206 (fts_tokenizer_next): assertion failed: (ret <= 0 || (*token_r)[0] != '\0')

lib-fts: Fix fts_tokenizer_delete_trailing_partial_char() unit test

lib-index: Handle invalid headers as "corruption", not "temporary error"

This is especially required for "Header's corrupted flag is set" error,
which won't get fixed otherwise.

It's a bit more questionable if we should treat major version or CPU
architecture change as corruption, but it's possible those only exist
because of corruption. It's also very unlikely that either is really
happening. Ideally there would be a hash that verifies whether the
header is corrupted or not.

dict-client: dict_lookup*() deleted the first byte of the result.

quota-clone: Flush quota-clone 10s after quota update if it's not already done

This way a long-running IMAP session can't keep the quota-clone desynced
for a long time.

quota-clone: Code cleanup - moved recursion check to quota_clone_flush()

lib-dict: Add extra NULL-check to make static analyzer happier

str_array_length() already checked NULL internally though.

lib-index: Limit mmap errors in txn log file to 1/s

lib-index: Limit mmap errors in index cache to 1/s

lib-index: Limit mmap syscall errors in index to 1/s

lib-index: Do not crash if log is missing

Fixes sigfault when index and index.log files are
corrupted.

dict-client: Server can now send command replies in any order.

This way one slow lookup doesn't block all the other ones.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict: Make sure iterate doesn't add to ostream when it's already full.

dict: Moved iterate's corking to more correct location.

Commands' input handling already corks ostream in connection.c.

dict-client: Include reconnection-status in slow dict lookup messages.

dict-client: Add warn_slow_msecs setting

This allows configuring the default 5 seconds "slow dict lookup" warning.

dict-client: Add time spent in dict-server to "slow dict lookup" messages.

This way you can see if the slowness was due to some communication problem
between dict-client/server or internally in dict server.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict-client: Code cleanup - handle tab-unescaping before callbacks.

lib-index: Revert log flooding prevention / 3c014db6f

This was intended only for mmap() errors.

fts: Fixed potential crash when indexing mails.

Normally it seems like compilers had built code that had added a NULL
after the array, but there was no guarantee for that.

imap: Fix recent flags importing when un-hibernating

The initial RECENT counter that was sent didn't include pre-hibernation
\Recent flags.

\Recent flags were also added for mails that were already expunged, which
could have caused recent counter to be wrong later on, and possibly
assert-crash with:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

lib-index: Improve errors - return reason in mail_transaction_log_refresh()

lib-index: Improve errors - return reason in mail_transaction_log_file_open()

lib-index: Add more information to "Missing middle file" error.

lib-index: mail_transaction_log_find_file() - remove wrong optimization.

When opening the index, it's possible that:

process A: .log is opened with seq=1
process B: Rotates the .log and writes a new dovecot.index with
  log_file_seq=2
process A: dovecot.index is opened. mail_transaction_log_view_set() now
  wants to file log_file_seq=2 with mail_transaction_log_find_file(), but
  because open_count==0, the .log isn't refreshed.

lib-index: Compiler warning fix

lib-index: If mmap() fails, include the attempted size in the error.

lib-storage: Fix checking stub_seq failure in mailbox_save_set_uid()

sdbox: Implement support for mail stubs

lib-storage: Add support for storing "mail stubs"

These allow treating a storage backend as a cache where the mail bodies
don't necessarily exist.

lib-storage: Fixed a boolean expression.

Problem found with clang -Wstrict-bool.

lib-storage: treat empty root_dir as an empty string

imapc: %zu isn't standard, use PRIuSIZE_T instead.

imapc: don't mix positional and designated initialization

lib: Add connection.allow_empty_args_input

This simplifies input_args() callbacks since they don't always have to check
for args[0] == NULL. This is enabled by default, because none of the current
users want it and it's somewhat unlikely there even will be those in future.

lib-storage: fix index_mail_get_headers return value

And make it more obvious that we're not setting the actual return value in
index_mail_get_first_header.

lib-index: Fix detecting whether caller synced everything in mailbox.

When mailbox_index_sync_begin() was followed by _commit(), without _next()s
in the middle actually syncing the mailbox, the tail_offset was updated to
indicate that the mailbox was fully synced. Existing code didn't rely on
this, so it probably didn't break anything.

This code hasn't worked for a long time, because log_view is always read
fully to the end in _sync_begin().

lib-storage: Add mail_storage_service_user_get_pool()

global: Replace some settings_parse_line() calls with settings_parse_keyvalue()

lib-settings: Add settings_parse_keyvalue()

lib-settings: Avoid duplicating settings' values when not needed

imapc: Use struct mail_namespace.user_set

lib-storage: Add mail_namespace_get_driver_settings() and use it.

It obsoletes mail_storage_get_driver_settings().

imapc: use serialized settings as unique_root_dir

Without this, it is not possible to instantiate multiple imapc storages.
Any attempts to will result in multiple namespaces sharing the same storage,
regardless of if that was the intention.

lib-storage: Add struct mail_namespace.user_set

lib-storage: Use mail_namespace_alloc() for mail_namespaces_init_location()

Based on patch by Jeff Sipek

lib-storage: Add mail_namespace_alloc()

This makes it easier to create new namespaces.
Based on patch by Jeff Sipek

lib-storage: Add asserts to make sure mailbox_header_lookup_ctx is used correctly.

lib-index: Added mail_index_transaction_get_highest_modseq()

lib-index: Added internal mail_index_transaction_finish_so_far()

This can be called multiple times before mail_index_transaction_finish().
It's going to perform all the work of reordering mails and dropping
unnecessary changes that can be done before changing sequences to UIDs.

This will be needed for the following patch that implements
mail_index_transaction_get_highest_modseq().

lib-index: Assert if mail_index_transaction_sort_appends() sees any uid==0

Every mail must have an UID at this stage.

configure: Fix build with old OpenSSL without SSL_clear_options

SSL_clear_options was introduced in OpenSSL 0.9.8m but may be
backported to older versions in "enterprise" OS releases, so a version
check is insufficient here.

It was originally implemented as a macro but is a function in more
recent OpenSSL versions, so a test that works for both cases is needed.

lib-index: Make sure an already-corrupted index/log isn't written

imapc: Fix assert-crash when deleting mailbox triggers mailbox_get_open_status().

For example vsize header updating triggers this.

Fixes:
Panic: file mail-storage.c: line 1683: unreached

lib-storage: Fix compiler warnings about enum mismatches

LAYOUT=index: Try to rename corrupted mailbox name during mailbox open.

lib-storage: Added struct mailbox.corrupted_mailbox_name

This allows backends that are adding lost mailboxes to mailbox list index to
indicate that they don't actually know the name of the mailbox, and the
mailbox list index should try to figure it out and rename the mailbox to its
proper name.

LAYOUT=index: Don't write corrupted mailbox names to box-name header.

This way when opening a mailbox the box-name header isn't overwritten by
a corrupted name.

Keep track of the corrupted names with MAILBOX_LIST_INDEX_FLAG_CORRUPTED_NAME
flag in list index records. The flag isn't removed until the mailbox is
renamed.

lib-storage: Preserve box-name header when rebuilding index.

doveadm dump: Add support for the new box-name index header.

LAYOUT=index: Update mailbox name to mailbox index's header when opening.

This way if the mailbox list index gets lost, a recent mailbox name is still
available.

lib-storage: Prevent renaming mailbox under itself.

This resulted earlier in a loop, which broke the mailbox index.
Note that IMAP already prevented this, so it could only be triggered by
other tools, like doveadm.

lib-storage: Prevent parent loops in mailbox list index

lib-storage: Fix invalid parents in LAYOUT=index

Previously it just kept complaining without fixing the errors.

lib-storage: Improve mailbox list index corruption errors

lib-storage: If LAYOUT=index loses mailbox names, write the generated ones to index.

Previously it just kept complaining and regenerating new names, without
actually fixing up the situation.

lib-storage: Fix handling LAYOUT=index losing mailbox names

It lost all the mailbox names.

config: Match local_name using dns-util

This way it correctly handles wildcards.

lib-dns: Add tests for dns-util