dsync: Improve process title during initialization

If something is hanging, this should make it clear what exactly it is.

doveadm-server: Show UNIX socket connections as <local> in process title

Earlier they were shown as empty string.

doveadm: Add global doveadm_verbose_proctitle setting.

This previously existed only for doveadm-server, but adding it to doveadm
CLI makes it easier to do process title updates for it as well.

doveadm: When connecting to doveadm-server via TCP, use 30s timeout

Should be enough, and better than the kernel's default, which might be a lot
more.

lib-storage: Do not try to recover missing list index

Fixes Panic: file mailbox-list-index.c: line 342 (mailbox_list_index_parse_records): assertion failed: (node != NULL)

configure: Fix some implicit function declarations

Some configure tests fail unexpectedly if the compiler flag
-Werror=implicit-function-declarations is enabled, which can result
in the wrong implementations being used.

This compiler flag is now enabled by default in Fedora Rawhide:
https://fedoraproject.org/wiki/Changes/Fedora26CFlags

<stdlib.h> is needed for exit()
<string.h> is needed for strcpy()

openssl: Clear error queue after an incomplete SSL_shutdown

If the SSL_shutdown-call fails (e.g. because the underlaying socket has
already been closed) OpenSSL puts the corresponding error into the
queue. We don't care about details so we need to clear the queue.

Otherwise the error will be pulled while error checking the next OpenSSL
call of an unrelated connection.

imapc: Don't send NOOP immediately after SELECT

NOOP is normally used by mailbox syncing to check if there are any changes
done by other concurrent IMAP sessions. But doing it immediately after
SELECT is unnecessary, because nothing could have changed.

config: Avoid excessive data stack usage when matching local_name

Moved config_filter_match_local_name() to its own function to make
adding the data stack frame easier.

Based on patch by J. Nick Koston

doveadm-server: http: Fixed temp_path_prefix for iostream-temp.

The temp_path_prefix was "/tmp", which is extended to "/tmp<hostname>.<pid>.<random>" by safe_mkstemp.

Obviously, mortal users cannot create a file like that, causing this error:
doveadm: Error: safe_mkstemp(/tmp) failed: Permission denied

The temp_path_prefix should have been "/tmp/doveadm.", as it is elsewhere as well.

lib: add t_strfgmtime and t_strftime

lib: Improve seq_range_array_invert() unit tests

Try all possible combinations for seq=0..7 and seq=4294967288..4294967295
and make sure they're inverted correctly.

lib-storage: Add test for inversion of n->max

In mail-search-simplify-args, ensure that
ALL NOT UID 3:* becomes UID 1:2

lib-storage: Fix typo in function name

lib: Comment seq_range_array_invert() that its values must be within min_seq..max_seq

lib: Fix seq_range_array_invert() when input contains 2^32-1

This caused next_min_seq to be wrapped to 0, which was handled wrong later
on.

Fixes:
Panic: file mail-index-map.c: line 549 (mail_index_map_lookup_seq_range): assertion failed: (first_uid > 0)

configure: Moved pandoc check to m4/dovecot.m4

cassandra: Treat "Request timed out" also as SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN

CASS_ERROR_SERVER_WRITE_TIMEOUT is "Write timeout" as reported by Cassandra
server, while CASS_ERROR_LIB_REQUEST_TIMED_OUT is timeout as reported by the
Cassandra library.

configure: Fix HAVE_MYSQL_SSL_CIPHER check

plugins: mail-crypt - fix static analysis pedantry

Clang cannot see that ret is -1, 0, or 1 upon assigment, and therefore
-1 or 0 upon entry into the if block. Therefore it considers ret==0
not to be a tautology if ret!=-1, and thus falsifiable. It concludes
that bad things can later happen.

The easiest way to persuade it otherwise and make it clear to a human
that things are sane is to make the first error check to be for any
negative ret value, which forces the else path to explicitly imply
ret==0, which means that clause can also be removed. Just removing the
ret==0 doesn't make it so clear to the human that there's no third case.

The final change is simply to mimic the ret==-1 to ret<0 change earlier.

clang's error message:

doveadm-mail-crypt.c:290:14: error: variable 'pubid' is used uninitialized whenever '&&' condition is false [-Werror,-Wsometimes-uninitialized]
  } else if (ret == 0 &&
             ^~~~~~~~
doveadm-mail-crypt.c:304:35: note: uninitialized use occurs here
   res->id = p_strdup(_ctx->pool, pubid);
                                  ^~~~~
doveadm-mail-crypt.c:290:14: note: remove the '&&' if its condition is always true
  } else if (ret == 0 &&
             ^~~~~~~~~~~

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/macros.h - protect old compilers from use of modern features

no_sanitize(integer) is not in 3.5 (debian stable's version), but is
documented in 3.9. Exactly when it appeared isn't immediately obvious.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

configure: Fix building without OpenSSL

AM_CONDITIONAL() needs to be part of the code path that is always run,
or it fails with:

configure: error: conditional "SSL_VERSION_GE_102" was never defined.

dsync: Fixed boolean expression in dsync_mailbox_import_deinit().

Found with Clang -Wstrict-bool.

dsync: Fix log format string broken by earlier change

lib-storage: Fix simplifying sequence sets and UID sets.

They were being handled completely wrong. The unit tests testing them
were also completely wrong.

lib: seq_range_array_*(): Fix seq2=2^32-1 handling

Adding/merging it when it already existed added duplicated seq_range.

lib-storage: Return vsize=0 from mailbox list index for empty mailboxes.

If it's known that the mailbox has no mails, there's no reason to open the
mailbox to see that its size is 0.

dict-client: Don't timeout lookups without waiting 1sec in dict ioloop.

What could have happened was:

 - dict-client sends a request to dict-server
 - dict-client process starts doing something else
 - dict-server answers
 - dict-client process continues doing something else for over 30 seconds,
   not reading the dict-server answer
 - dict-client process gets back to dict ioloop, which runs the timeout
   before checking if there is anything available for reading.

Now we'll wait for 1 second in the last dict ioloop before assuming that
there's a timeout.

dsync: Add mailbox names as well as GUIDs to log messages.

dsync: When logging "Mailbox changed caused a desync", log also the reason.

The reason is usually somewhere in the debug logs, but it's difficult to
find from there.

config: Match multiple names in local_name

This can significantly reduce memory usage when using
a UCC certificate with multiple names by only loading
the certificate and key once.

quota: Don't skip quota checks when moving mails between different quota roots.

lib-storage: Add struct mail_save_context.copy_src_mail

man: Update doveadm director flush description

lib-storage: If mailbox_create() fails, don't leave box in partially opened state.

For example with sdbox it may have opened the indexes, but not set mailbox's
GUID. A following MAILBOX_METADATA_GUID would then assert-crash because GUID
is empty.

mail-crypt: Remove dead assigment

lib: Add test for hmac helper

lib: Add hmac helpers

These run hmac for given data with given parameters
and returns stack allocated buffer. They are helpful
when doing lots of HMACs, such as the AWS4 signing
protocol.

lib: add tests for HMAC-SHA256 from RFC 4231

mail-crypt: Do not attempt to cache keys on failure

autogen: Use HTTPS for wiki

lib-dcrypt: Add error handling for dcrypt_key_id_private

mail-crypt: Add error handling for mailbox_open in tests

doveadm-mail-crypt: Skip existing keys properly

When generating new keypairs, handle existing keys
correctly when skipping them.

mail-crypt: Do not attempt to cache freed keypair

mail-crypt-acl: Use mailbox_get_last_error instead of error

mail-crypt: Fail if key is not found and save_version less than 2

Fail if save version is set to 0 or 1, instead
of trying to use undefined value for public key.

mail-crypt: Skip undef values if OpenSSL is <1.0.2

OpenSSL 1.0.1 and earlier generate undef warnings due
to using stack as randomness source in a way that
valgrind does not like, so we disable undef value
checks for mail-crypt-plugin.

m4: Detect OpenSSL version 1.0.2

valgrind cannot work in all cases if openssl
version is 1.0.2, so we need to know this to
selectively disable valgrind.

dovecot.m4: Add NOUNDEF option to run-test.sh

Using this environment variable will disable
undefined value errors in valgrind.

lib-index: mail_transaction_log_file_sync(): Don't mix I/O errors and corruption

acl: Fix compiler warning

acl-plugin: remove acl_defaults_from_inbox option

INBOX ACLs will be used by default from now on.

lib-index: Fix assert-crash after "log file shrank" error.

Fixes:
Panic: file buffer.c: line 316 (buffer_set_used_size): assertion failed: (used_size <= buf->alloc)

Add suppression for openssl leak

mail-crypt: Add manpage

mail-crypt: Add mail-crypt plugin

lib-dcrypt: Use module_dir setting

lib-dcrypt: Add module_dir setting

This is needed for unit tests that require
dcrypt, so that they can load backend
without installing it first.

lib-http: client: Fixed assert failure occurring when a new connection fails for a peer that has active connections.

Fixes: Panic: file http-client-queue.c: line 481 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == NULL)

global: Added missing copyright notices.

lib-storage: Fix raw storage to sync mailboxes correctly.

Broken by b9da8540e665138b3cad0b637c08c0ab7d7a7eeb

lib-storage: Fix error handling in mailbox_list_index_refresh_force()

Broken by recent changes.

mkcert.sh: Use umask to create key file as 0600

Fixes a race condition between creation of the file and a later chmod.
This script was mostly meant as an example though, and not really for
production use. Especially because it generates self-signed certs.
CVE-2016-4983

mdbox: Rebuild index after it's been fsck'd

sdbox: Rebuild index after it's been fsck'd

lib-storge: Call mail_storage.list_index_corrupted() when needed

The callback is called whenever mailbox list index appears to be corrupted
with LAYOUT=index. The storage is responsible for adding to the index any
mailboxes that are missing.

lib-storage: Add mail_storage.list_index_corrupted()

The actual implementation is in the next commit.

lib-index: Add mail_index_unset_fscked()

This can be used to easily remove MAIL_INDEX_HDR_FLAG_FSCKD. It takes a
transaction parameter instead of sync_ctx because some index rebuilds
are done with a separate transaction while the sync_ctx is rolled back.

lib-index: fsck now adds MAIL_INDEX_HDR_FLAG_FSCKD to header.

It can only be removed by an explicit header update.

lib-storage: Rename mailbox_list_index.corrupted to corrupted_names_or_parents

Makes it clearer what exactly the flag means.

lib-index: If index open fails with fsck, retry opening once.

The fsck should have fixed the log offsets and open should work.

lib-index: fsck: Fix log_file_head|tail_offset properly

lib-dcrypt: Add assert that vfs is initialized

lib-storage: Fail if no namespaces have list=yes

The previous check allowed all namespaces to have list=children. This
crashed later on in mail_namespaces_get_root_sep(), because it couldn't
find any list=yes namespaces.

lib-index: Compiler warning fix

lib-mail: Add randomness test to test-mail-html2text

lib-mail: Fix assert-crash in mail_html2text_more() with invalid input.

parse_data() continues forward thinking that it might have valid input,
until it has enough data and realizes that there's nothing valid. This
triggers:

Panic: file mail-html2text.c: line 312 (mail_html2text_more): assertion failed: (pos >= buf_orig_size)

lib: Clarify that buffer_write() zero-fills buffer when writing past its size

global: Code cleanup - avoid passing NULL to functions with non-null parameter

global: Avoid unnecessary unsigned integer wraps.

Avoids complains from clang -fsanitize=integer

global: Avoid loops unnecessarily decreasing below zero.

Avoids complains from clang -fsanitize=integer

lib: Mark md4/md5/sha1/sha2 code with ATTR_UNSIGNED_WRAPS

lib-index: mail_index_map_register_ext(ext_offset=-1) now sets hdr_offset=-1

It shouldn't make any difference, but this is a less confusing value.

lib: Add ATTR_UNSIGNED_WRAPS for disabling clang -fsanitize=integer

lib-index: Compiler warning fix.

lib-storage: Rotate dovecot.list.index.log* more often.

The history in these files isn't as important as in mailbox indexes.
Reduce disk space usage by rotating them more often and deleting the
.log.2 more quickly.

lib-index: Add mail_index_set_log_rotation()

lib-storage: Try harder to rename a corrupted mailbox name to its old name.

If the old name exists, use it as a prefix for the new name. This is
especially useful when restoring autocreated mailboxes. A new mailbox
could have already been autocreated, but it's still useful to have
the broken one renamed with the same prefix, so it'll be clear that
these mailboxes should be merged.

dsync: Do not try replace remote folder GUID when doing oneway sync

Oneway sync tried to replace remote folder's GUID when
running in one way mode. This causes trouble, e.g.
when running with imapc, because you can't do this.

lib-storage: Fix rotation of dovecot.list.index.log

After b9da8540e665138b3cad0b637c08c0ab7d7a7eeb the tail offsets weren't
being updated anymore when mail_index_sync_next() wasn't used to skip
over all the data. Mailbox list index wasn't doing this, and so the log
was never rotated since tail_offset was never equal to head_offset.

imapc: Fix assert that checks if mail is expunged locally.

The EXPUNGE may have been sent while imapc_sync_index() was issuing
remote imapc commands. It would end up being in delayed_expunged_uids,
so the assert needs to check that too.

Fixes:
Panic: file imapc-sync.c: line 290 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq))

imapc: Cleanup - change delayed_expunged_uids to seq_range.

This simplifies the next commit.

auth: Don't crash expanding %variables when username isn't set.

This continues the auth-policy fix in
c3d3faa4f72a676e183f34be960cff13a5a725ae

sdbox: Don't log an error if stub is added twice

There's no locking for them, so it's fine if two processes add the same
mail. The second one could be ignored, but it was a bit easier to just
let it rename over the first one.

auth: Fix auth-policy crash when username is NULL

If SASL request is invalid, or incomplete, and username
is left NULL, handle it gracefully by adding just
NUL byte in auth policy digest for username.

lib-storage: require MAIL_STORAGE_CLASS_FLAG_STUBS when caching

If we are going to be using the storage for caching, we should check that
the storage actually supports mail stubs.

lib-fts: Add randomness test to test-fts-tokenizer

lib-fts: Make sure address tokenizer can't return empty tokens.

This happened when address was a token that first looked like it could be
a valid address, but then got truncated due to reaching maxlen, followed
by truncating the UTF8-sequence and finally all the rest of the '-' or
'.' chars that were valid at the beginning of the address are stripped
away by fts_tokenizer_delete_trailing_invalid_char(), leaving nothing left.

Fixes:
Panic: file fts-tokenizer.c: line 206 (fts_tokenizer_next): assertion failed: (ret <= 0 || (*token_r)[0] != '\0')

lib-fts: Fix fts_tokenizer_delete_trailing_partial_char() unit test