lib: Add hmac helpers

These run hmac for given data with given parameters
and returns stack allocated buffer. They are helpful
when doing lots of HMACs, such as the AWS4 signing
protocol.

lib: add tests for HMAC-SHA256 from RFC 4231

mail-crypt: Do not attempt to cache keys on failure

autogen: Use HTTPS for wiki

lib-dcrypt: Add error handling for dcrypt_key_id_private

mail-crypt: Add error handling for mailbox_open in tests

doveadm-mail-crypt: Skip existing keys properly

When generating new keypairs, handle existing keys
correctly when skipping them.

mail-crypt: Do not attempt to cache freed keypair

mail-crypt-acl: Use mailbox_get_last_error instead of error

mail-crypt: Fail if key is not found and save_version less than 2

Fail if save version is set to 0 or 1, instead
of trying to use undefined value for public key.

mail-crypt: Skip undef values if OpenSSL is <1.0.2

OpenSSL 1.0.1 and earlier generate undef warnings due
to using stack as randomness source in a way that
valgrind does not like, so we disable undef value
checks for mail-crypt-plugin.

m4: Detect OpenSSL version 1.0.2

valgrind cannot work in all cases if openssl
version is 1.0.2, so we need to know this to
selectively disable valgrind.

dovecot.m4: Add NOUNDEF option to run-test.sh

Using this environment variable will disable
undefined value errors in valgrind.

lib-index: mail_transaction_log_file_sync(): Don't mix I/O errors and corruption

acl: Fix compiler warning

acl-plugin: remove acl_defaults_from_inbox option

INBOX ACLs will be used by default from now on.

lib-index: Fix assert-crash after "log file shrank" error.

Fixes:
Panic: file buffer.c: line 316 (buffer_set_used_size): assertion failed: (used_size <= buf->alloc)

Add suppression for openssl leak

mail-crypt: Add manpage

mail-crypt: Add mail-crypt plugin

lib-dcrypt: Use module_dir setting

lib-dcrypt: Add module_dir setting

This is needed for unit tests that require
dcrypt, so that they can load backend
without installing it first.

lib-http: client: Fixed assert failure occurring when a new connection fails for a peer that has active connections.

Fixes: Panic: file http-client-queue.c: line 481 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == NULL)

global: Added missing copyright notices.

lib-storage: Fix raw storage to sync mailboxes correctly.

Broken by b9da8540e665138b3cad0b637c08c0ab7d7a7eeb

lib-storage: Fix error handling in mailbox_list_index_refresh_force()

Broken by recent changes.

mkcert.sh: Use umask to create key file as 0600

Fixes a race condition between creation of the file and a later chmod.
This script was mostly meant as an example though, and not really for
production use. Especially because it generates self-signed certs.
CVE-2016-4983

mdbox: Rebuild index after it's been fsck'd

sdbox: Rebuild index after it's been fsck'd

lib-storge: Call mail_storage.list_index_corrupted() when needed

The callback is called whenever mailbox list index appears to be corrupted
with LAYOUT=index. The storage is responsible for adding to the index any
mailboxes that are missing.

lib-storage: Add mail_storage.list_index_corrupted()

The actual implementation is in the next commit.

lib-index: Add mail_index_unset_fscked()

This can be used to easily remove MAIL_INDEX_HDR_FLAG_FSCKD. It takes a
transaction parameter instead of sync_ctx because some index rebuilds
are done with a separate transaction while the sync_ctx is rolled back.

lib-index: fsck now adds MAIL_INDEX_HDR_FLAG_FSCKD to header.

It can only be removed by an explicit header update.

lib-storage: Rename mailbox_list_index.corrupted to corrupted_names_or_parents

Makes it clearer what exactly the flag means.

lib-index: If index open fails with fsck, retry opening once.

The fsck should have fixed the log offsets and open should work.

lib-index: fsck: Fix log_file_head|tail_offset properly

lib-dcrypt: Add assert that vfs is initialized

lib-storage: Fail if no namespaces have list=yes

The previous check allowed all namespaces to have list=children. This
crashed later on in mail_namespaces_get_root_sep(), because it couldn't
find any list=yes namespaces.

lib-index: Compiler warning fix

lib-mail: Add randomness test to test-mail-html2text

lib-mail: Fix assert-crash in mail_html2text_more() with invalid input.

parse_data() continues forward thinking that it might have valid input,
until it has enough data and realizes that there's nothing valid. This
triggers:

Panic: file mail-html2text.c: line 312 (mail_html2text_more): assertion failed: (pos >= buf_orig_size)

lib: Clarify that buffer_write() zero-fills buffer when writing past its size

global: Code cleanup - avoid passing NULL to functions with non-null parameter

global: Avoid unnecessary unsigned integer wraps.

Avoids complains from clang -fsanitize=integer

global: Avoid loops unnecessarily decreasing below zero.

Avoids complains from clang -fsanitize=integer

lib: Mark md4/md5/sha1/sha2 code with ATTR_UNSIGNED_WRAPS

lib-index: mail_index_map_register_ext(ext_offset=-1) now sets hdr_offset=-1

It shouldn't make any difference, but this is a less confusing value.

lib: Add ATTR_UNSIGNED_WRAPS for disabling clang -fsanitize=integer

lib-index: Compiler warning fix.

lib-storage: Rotate dovecot.list.index.log* more often.

The history in these files isn't as important as in mailbox indexes.
Reduce disk space usage by rotating them more often and deleting the
.log.2 more quickly.

lib-index: Add mail_index_set_log_rotation()

lib-storage: Try harder to rename a corrupted mailbox name to its old name.

If the old name exists, use it as a prefix for the new name. This is
especially useful when restoring autocreated mailboxes. A new mailbox
could have already been autocreated, but it's still useful to have
the broken one renamed with the same prefix, so it'll be clear that
these mailboxes should be merged.

dsync: Do not try replace remote folder GUID when doing oneway sync

Oneway sync tried to replace remote folder's GUID when
running in one way mode. This causes trouble, e.g.
when running with imapc, because you can't do this.

lib-storage: Fix rotation of dovecot.list.index.log

After b9da8540e665138b3cad0b637c08c0ab7d7a7eeb the tail offsets weren't
being updated anymore when mail_index_sync_next() wasn't used to skip
over all the data. Mailbox list index wasn't doing this, and so the log
was never rotated since tail_offset was never equal to head_offset.

imapc: Fix assert that checks if mail is expunged locally.

The EXPUNGE may have been sent while imapc_sync_index() was issuing
remote imapc commands. It would end up being in delayed_expunged_uids,
so the assert needs to check that too.

Fixes:
Panic: file imapc-sync.c: line 290 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq))

imapc: Cleanup - change delayed_expunged_uids to seq_range.

This simplifies the next commit.

auth: Don't crash expanding %variables when username isn't set.

This continues the auth-policy fix in
c3d3faa4f72a676e183f34be960cff13a5a725ae

sdbox: Don't log an error if stub is added twice

There's no locking for them, so it's fine if two processes add the same
mail. The second one could be ignored, but it was a bit easier to just
let it rename over the first one.

auth: Fix auth-policy crash when username is NULL

If SASL request is invalid, or incomplete, and username
is left NULL, handle it gracefully by adding just
NUL byte in auth policy digest for username.

lib-storage: require MAIL_STORAGE_CLASS_FLAG_STUBS when caching

If we are going to be using the storage for caching, we should check that
the storage actually supports mail stubs.

lib-fts: Add randomness test to test-fts-tokenizer

lib-fts: Make sure address tokenizer can't return empty tokens.

This happened when address was a token that first looked like it could be
a valid address, but then got truncated due to reaching maxlen, followed
by truncating the UTF8-sequence and finally all the rest of the '-' or
'.' chars that were valid at the beginning of the address are stripped
away by fts_tokenizer_delete_trailing_invalid_char(), leaving nothing left.

Fixes:
Panic: file fts-tokenizer.c: line 206 (fts_tokenizer_next): assertion failed: (ret <= 0 || (*token_r)[0] != '\0')

lib-fts: Fix fts_tokenizer_delete_trailing_partial_char() unit test

lib-index: Handle invalid headers as "corruption", not "temporary error"

This is especially required for "Header's corrupted flag is set" error,
which won't get fixed otherwise.

It's a bit more questionable if we should treat major version or CPU
architecture change as corruption, but it's possible those only exist
because of corruption. It's also very unlikely that either is really
happening. Ideally there would be a hash that verifies whether the
header is corrupted or not.

dict-client: dict_lookup*() deleted the first byte of the result.

quota-clone: Flush quota-clone 10s after quota update if it's not already done

This way a long-running IMAP session can't keep the quota-clone desynced
for a long time.

quota-clone: Code cleanup - moved recursion check to quota_clone_flush()

lib-dict: Add extra NULL-check to make static analyzer happier

str_array_length() already checked NULL internally though.

lib-index: Limit mmap errors in txn log file to 1/s

lib-index: Limit mmap errors in index cache to 1/s

lib-index: Limit mmap syscall errors in index to 1/s

lib-index: Do not crash if log is missing

Fixes sigfault when index and index.log files are
corrupted.

dict-client: Server can now send command replies in any order.

This way one slow lookup doesn't block all the other ones.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict: Make sure iterate doesn't add to ostream when it's already full.

dict: Moved iterate's corking to more correct location.

Commands' input handling already corks ostream in connection.c.
ostream's flush callback corks the ostream automatically.
So the only place left for corking is in dict iterate callback.

dict-client: Include reconnection-status in slow dict lookup messages.

dict-client: Add warn_slow_msecs setting

This allows configuring the default 5 seconds "slow dict lookup" warning.

dict-client: Add time spent in dict-server to "slow dict lookup" messages.

This way you can see if the slowness was due to some communication problem
between dict-client/server or internally in dict server.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict-client: Code cleanup - handle tab-unescaping before callbacks.

lib-index: Revert log flooding prevention / 3c014db6f

This was intended only for mmap() errors.

fts: Fixed potential crash when indexing mails.

Normally it seems like compilers had built code that had added a NULL
after the array, but there was no guarantee for that.

imap: Fix recent flags importing when un-hibernating

The initial RECENT counter that was sent didn't include pre-hibernation
\Recent flags.

\Recent flags were also added for mails that were already expunged, which
could have caused recent counter to be wrong later on, and possibly
assert-crash with:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

lib-index: Improve errors - return reason in mail_transaction_log_refresh()

lib-index: Improve errors - return reason in mail_transaction_log_file_open()

lib-index: Add more information to "Missing middle file" error.

lib-index: mail_transaction_log_find_file() - remove wrong optimization.

When opening the index, it's possible that:

process A: .log is opened with seq=1
process B: Rotates the .log and writes a new dovecot.index with
  log_file_seq=2
process A: dovecot.index is opened. mail_transaction_log_view_set() now
  wants to file log_file_seq=2 with mail_transaction_log_find_file(), but
  because open_count==0, the .log isn't refreshed.

lib-index: Compiler warning fix

lib-index: If mmap() fails, include the attempted size in the error.

lib-storage: Fix checking stub_seq failure in mailbox_save_set_uid()

sdbox: Implement support for mail stubs

lib-storage: Add support for storing "mail stubs"

These allow treating a storage backend as a cache where the mail bodies
don't necessarily exist.

imapc: %zu isn't standard, use PRIuSIZE_T instead.

lib: Add connection.allow_empty_args_input

This simplifies input_args() callbacks since they don't always have to check
for args[0] == NULL. This is enabled by default, because none of the current
users want it and it's somewhat unlikely there even will be those in future.

lib-storage: fix index_mail_get_headers return value

And make it more obvious that we're not setting the actual return value in
index_mail_get_first_header.

lib-index: Fix detecting whether caller synced everything in mailbox.

When mailbox_index_sync_begin() was followed by _commit(), without _next()s
in the middle actually syncing the mailbox, the tail_offset was updated to
indicate that the mailbox was fully synced. Existing code didn't rely on
this, so it probably didn't break anything.

This code hasn't worked for a long time, because log_view is always read
fully to the end in _sync_begin().

lib-storage: Add mail_storage_service_user_get_pool()

global: Replace some settings_parse_line() calls with settings_parse_keyvalue()

lib-settings: Add settings_parse_keyvalue()

lib-settings: Avoid duplicating settings' values when not needed

imapc: Use struct mail_namespace.user_set