Released v2.2.27.

lib: Add hmac helpers

These run hmac for given data with given parameters
and returns stack allocated buffer. They are helpful
when doing lots of HMACs, such as the AWS4 signing
protocol.

sdbox: Rebuild index after it's been fsck'd

global: Added missing copyright notices.

lib-http: client: Fixed assert failure occurring when a new connection fails for a peer that has active connections.

Fixes: Panic: file http-client-queue.c: line 481 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == NULL)

dsync: Fix log format string broken by earlier change

dsync: Add mailbox names as well as GUIDs to log messages.

lib-storage: Fix simplifying sequence sets and UID sets.

They were being handled completely wrong. The unit tests testing them
were also completely wrong.

lib: seq_range_array_*(): Fix seq2=2^32-1 handling

Adding/merging it when it already existed added duplicated seq_range.

lib-storage: Return vsize=0 from mailbox list index for empty mailboxes.

If it's known that the mailbox has no mails, there's no reason to open the
mailbox to see that its size is 0.

dict-client: Don't timeout lookups without waiting 1sec in dict ioloop.

What could have happened was:

 - dict-client sends a request to dict-server
 - dict-client process starts doing something else
 - dict-server answers
 - dict-client process continues doing something else for over 30 seconds,
   not reading the dict-server answer
 - dict-client process gets back to dict ioloop, which runs the timeout
   before checking if there is anything available for reading.

Now we'll wait for 1 second in the last dict ioloop before assuming that
there's a timeout.

dsync: When logging "Mailbox changed caused a desync", log also the reason.

The reason is usually somewhere in the debug logs, but it's difficult to
find from there.

config: Match multiple names in local_name

This can significantly reduce memory usage when using
a UCC certificate with multiple names by only loading
the certificate and key once.

quota: Don't skip quota checks when moving mails between different quota roots.

lib-storage: Add struct mail_save_context.copy_src_mail

man: Update doveadm director flush description

lib-storage: If mailbox_create() fails, don't leave box in partially opened state.

For example with sdbox it may have opened the indexes, but not set mailbox's
GUID. A following MAILBOX_METADATA_GUID would then assert-crash because GUID
is empty.

mail-crypt: Remove dead assigment

mail-crypt: Do not try to read error from unset variable

v2.2.27.rc1 released

mail-crypt: Do not attempt to cache keys on failure

autogen: Use HTTPS for wiki

lib-dcrypt: Add error handling for dcrypt_key_id_private

mail-crypt: Add error handling for mailbox_open in tests

doveadm-mail-crypt: Skip existing keys properly

When generating new keypairs, handle existing keys
correctly when skipping them.

mail-crypt: Do not attempt to cache freed keypair

mail-crypt: Fail if key is not found and save_version less than 2

Fail if save version is set to 0 or 1, instead
of trying to use undefined value for public key.

mail-crypt: Skip undef values if OpenSSL is <1.0.2

OpenSSL 1.0.1 and earlier generate undef warnings due
to using stack as randomness source in a way that
valgrind does not like, so we disable undef value
checks for mail-crypt-plugin.

m4: Detect OpenSSL version 1.0.2

valgrind cannot work in all cases if openssl
version is 1.0.2, so we need to know this to
selectively disable valgrind.

dovecot.m4: Add NOUNDEF option to run-test.sh

Using this environment variable will disable
undefined value errors in valgrind.

lib-index: mail_transaction_log_file_sync(): Don't mix I/O errors and corruption

lib-index: Fix assert-crash after "log file shrank" error.

Fixes:
Panic: file buffer.c: line 316 (buffer_set_used_size): assertion failed: (used_size <= buf->alloc)

mail-crypt: Commit transaction before lookup in test

Key cannot be found if it's not committed before.

Add suppression for openssl leak

mail-crypt: Add manpage

mail-crypt: Add mail-crypt plugin

lib-dcrypt: Use module_dir setting

lib-dcrypt: Add module_dir setting

This is needed for unit tests that require
dcrypt, so that they can load backend
without installing it first.

lib-storage: Fix raw storage to sync mailboxes correctly.

Broken by b9da8540e665138b3cad0b637c08c0ab7d7a7eeb

lib-storage: Fix error handling in mailbox_list_index_refresh_force()

Broken by recent changes.

mkcert.sh: Use umask to create key file as 0600

Fixes a race condition between creation of the file and a later chmod.
This script was mostly meant as an example though, and not really for
production use. Especially because it generates self-signed certs.
CVE-2016-4983

mdbox: Rebuild index after it's been fsck'd

lib-storge: Call mail_storage.list_index_corrupted() when needed

The callback is called whenever mailbox list index appears to be corrupted
with LAYOUT=index. The storage is responsible for adding to the index any
mailboxes that are missing.

lib-storage: Add mail_storage.list_index_corrupted()

The actual implementation is in the next commit.

lib-index: Add mail_index_unset_fscked()

This can be used to easily remove MAIL_INDEX_HDR_FLAG_FSCKD. It takes a
transaction parameter instead of sync_ctx because some index rebuilds
are done with a separate transaction while the sync_ctx is rolled back.

lib-index: fsck now adds MAIL_INDEX_HDR_FLAG_FSCKD to header.

It can only be removed by an explicit header update.

lib-storage: Rename mailbox_list_index.corrupted to corrupted_names_or_parents

Makes it clearer what exactly the flag means.

lib-index: If index open fails with fsck, retry opening once.

The fsck should have fixed the log offsets and open should work.

lib-index: fsck: Fix log_file_head|tail_offset properly

lib-dcrypt: Add assert that vfs is initialized

lib-storage: Fail if no namespaces have list=yes

The previous check allowed all namespaces to have list=children. This
crashed later on in mail_namespaces_get_root_sep(), because it couldn't
find any list=yes namespaces.

lib-index: Compiler warning fix

lib-mail: Add randomness test to test-mail-html2text

lib-mail: Fix assert-crash in mail_html2text_more() with invalid input.

parse_data() continues forward thinking that it might have valid input,
until it has enough data and realizes that there's nothing valid. This
triggers:

Panic: file mail-html2text.c: line 312 (mail_html2text_more): assertion failed: (pos >= buf_orig_size)

lib: Clarify that buffer_write() zero-fills buffer when writing past its size

global: Code cleanup - avoid passing NULL to functions with non-null parameter

global: Avoid unnecessary unsigned integer wraps.

Avoids complains from clang -fsanitize=integer

global: Avoid loops unnecessarily decreasing below zero.

Avoids complains from clang -fsanitize=integer

lib: Mark md4/md5/sha1/sha2 code with ATTR_UNSIGNED_WRAPS

lib-index: mail_index_map_register_ext(ext_offset=-1) now sets hdr_offset=-1

It shouldn't make any difference, but this is a less confusing value.

lib: Add ATTR_UNSIGNED_WRAPS for disabling clang -fsanitize=integer

lib-index: Compiler warning fix.

lib-storage: Rotate dovecot.list.index.log* more often.

The history in these files isn't as important as in mailbox indexes.
Reduce disk space usage by rotating them more often and deleting the
.log.2 more quickly.

lib-index: Add mail_index_set_log_rotation()

lib-storage: Try harder to rename a corrupted mailbox name to its old name.

If the old name exists, use it as a prefix for the new name. This is
especially useful when restoring autocreated mailboxes. A new mailbox
could have already been autocreated, but it's still useful to have
the broken one renamed with the same prefix, so it'll be clear that
these mailboxes should be merged.

dsync: Do not try replace remote folder GUID when doing oneway sync

Oneway sync tried to replace remote folder's GUID when
running in one way mode. This causes trouble, e.g.
when running with imapc, because you can't do this.

lib-storage: Fix rotation of dovecot.list.index.log

After b9da8540e665138b3cad0b637c08c0ab7d7a7eeb the tail offsets weren't
being updated anymore when mail_index_sync_next() wasn't used to skip
over all the data. Mailbox list index wasn't doing this, and so the log
was never rotated since tail_offset was never equal to head_offset.

imapc: Fix assert that checks if mail is expunged locally.

The EXPUNGE may have been sent while imapc_sync_index() was issuing
remote imapc commands. It would end up being in delayed_expunged_uids,
so the assert needs to check that too.

Fixes:
Panic: file imapc-sync.c: line 290 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq))

imapc: Cleanup - change delayed_expunged_uids to seq_range.

This simplifies the next commit.

auth: Don't crash expanding %variables when username isn't set.

This continues the auth-policy fix in
c3d3faa4f72a676e183f34be960cff13a5a725ae

sdbox: Don't log an error if stub is added twice

There's no locking for them, so it's fine if two processes add the same
mail. The second one could be ignored, but it was a bit easier to just
let it rename over the first one.

auth: Fix auth-policy crash when username is NULL

If SASL request is invalid, or incomplete, and username
is left NULL, handle it gracefully by adding just
NUL byte in auth policy digest for username.

lib-storage: require MAIL_STORAGE_CLASS_FLAG_STUBS when caching

If we are going to be using the storage for caching, we should check that
the storage actually supports mail stubs.

lib-fts: Add randomness test to test-fts-tokenizer

lib-fts: Make sure address tokenizer can't return empty tokens.

This happened when address was a token that first looked like it could be
a valid address, but then got truncated due to reaching maxlen, followed
by truncating the UTF8-sequence and finally all the rest of the '-' or
'.' chars that were valid at the beginning of the address are stripped
away by fts_tokenizer_delete_trailing_invalid_char(), leaving nothing left.

Fixes:
Panic: file fts-tokenizer.c: line 206 (fts_tokenizer_next): assertion failed: (ret <= 0 || (*token_r)[0] != '\0')

lib-fts: Fix fts_tokenizer_delete_trailing_partial_char() unit test

lib-index: Handle invalid headers as "corruption", not "temporary error"

This is especially required for "Header's corrupted flag is set" error,
which won't get fixed otherwise.

It's a bit more questionable if we should treat major version or CPU
architecture change as corruption, but it's possible those only exist
because of corruption. It's also very unlikely that either is really
happening. Ideally there would be a hash that verifies whether the
header is corrupted or not.

dict-client: dict_lookup*() deleted the first byte of the result.

quota-clone: Flush quota-clone 10s after quota update if it's not already done

This way a long-running IMAP session can't keep the quota-clone desynced
for a long time.

quota-clone: Code cleanup - moved recursion check to quota_clone_flush()

lib-dict: Add extra NULL-check to make static analyzer happier

str_array_length() already checked NULL internally though.

lib-index: Limit mmap errors in txn log file to 1/s

lib-index: Limit mmap errors in index cache to 1/s

lib-index: Limit mmap syscall errors in index to 1/s

lib-index: Do not crash if log is missing

Fixes sigfault when index and index.log files are
corrupted.

dict-client: Server can now send command replies in any order.

This way one slow lookup doesn't block all the other ones.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict: Make sure iterate doesn't add to ostream when it's already full.

dict: Moved iterate's corking to more correct location.

Commands' input handling already corks ostream in connection.c.

dict-client: Include reconnection-status in slow dict lookup messages.

dict-client: Add warn_slow_msecs setting

This allows configuring the default 5 seconds "slow dict lookup" warning.

dict-client: Add time spent in dict-server to "slow dict lookup" messages.

This way you can see if the slowness was due to some communication problem
between dict-client/server or internally in dict server.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict-client: Code cleanup - handle tab-unescaping before callbacks.

lib-index: Revert log flooding prevention / 3c014db6f

This was intended only for mmap() errors.

fts: Fixed potential crash when indexing mails.

Normally it seems like compilers had built code that had added a NULL
after the array, but there was no guarantee for that.

imap: Fix recent flags importing when un-hibernating

The initial RECENT counter that was sent didn't include pre-hibernation
\Recent flags.

\Recent flags were also added for mails that were already expunged, which
could have caused recent counter to be wrong later on, and possibly
assert-crash with:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

lib-index: Improve errors - return reason in mail_transaction_log_refresh()

lib-index: Improve errors - return reason in mail_transaction_log_file_open()

lib-index: Add more information to "Missing middle file" error.

lib-index: mail_transaction_log_find_file() - remove wrong optimization.

When opening the index, it's possible that:

process A: .log is opened with seq=1
process B: Rotates the .log and writes a new dovecot.index with
  log_file_seq=2
process A: dovecot.index is opened. mail_transaction_log_view_set() now
  wants to file log_file_seq=2 with mail_transaction_log_find_file(), but
  because open_count==0, the .log isn't refreshed.

lib-index: Compiler warning fix