lib: Compiler warning fix for 32bit systems

global: Make sure *_malloc() calculations won't cause integer overflows.

global: Change string position/length from unsigned int to size_t

Mainly to avoid truncating >4GB strings, which might potentially cause
some security holes. Normally there are other limits, which prevent such
excessive strings from being created in the first place.

I'm sure this didn't find everything. Maybe everything could be found with
compiler warnings. -Wconversion kind of does it, but it gives way too many
unnecessary warnings.

These were mainly found with:

grep " = strlen"
egrep "unsigned int.*(size|len)"

lib: Optimization - p_strconcat() doesn't need to allocate from data stack

Various other parts of the code already rely on p_malloc() not overwriting
t_buffer_get()'ed data. p_strconcat() can do that as well.

lib: *_new(): Use the new MALLOC_MULTIPLY() macro to avoid overflows

Cast the sizeof() result to unsigned int, because it's definitely always
enough and in many cases this allows optimizing away the wrap-check.

lib: Add MALLOC_MULTIPLY() and MALLOC_ADD()

These can be used for calculating memory allocation sizes. If there's an
overflow, the macro panics.

lib: Remove t_buffer_*_type()

The t_buffer_*() shouldn't normally be used anyway except in some low-level
string/buffer manipulation code, so there's not much point in trying to make
easier to use versions of them.

master: Removed unused process_exec(extra_args) parameter

Removes unnecessarily complicated code marked with @UNSAFE.

lib-storage: Make dovecot.list.index's filename configurable.

This is useful when there are multiple namespaces pointing to the same mail
root directory. For example mdbox with lazy-expunge:

namespace {
  prefix = Expunged/
  location = mdbox:~/mdbox:MAILBOXDIR=expunged:LISTINDEX=expunged.list.index
  ..
}

lib-storage: Deduplicate code into mailbox_list_settings_init_defaults()

director: Fix crash when using director_flush_socket

Broken accidentally when merging b44033e45e9f48f8a6e1ac5905234fec5de6d6cc

director: Fix USER-KICK and USER-KICK-ALT forwarding

The internal IPC command was prefixed, which caused the remote director
to reject the commands and disconnect:

director(...): Command proxy: Unknown command proxy
director(...): Remote sent invalid protocol data recently, waiting 57 secs before allowing further communication

director: doveadm command handling was missing USER-KICK-ALT

imap: Fix STORE UNCHANGEDSINCE to work with >32bit modseqs.

lib-storage: Fix "*" in SEARCH seqset/uidset

4294967295 is used for "*", which matches the last existing message.
Which we don't know what it is at the time of search args simplification,
so avoid making any assumptions about it.

It's a bit ugly that 4294967295 can't be used as a valid UID, but this
restriction has already existed since the beginning of Dovecot. A future
alternative might be to add MAIL_SEARCH_ARG_FLAG_SEQSET_WITH_STAR, but
that's a bit complicated change.

imapc: Don't allow "*" in SEARCH replies

Doesn't fix anything, but makes the parsing a bit more correct.

fts-squat: Use file_cache_new_path() for squat indexes

lib-index: Use file_cache_new_path() for dovecot.index.cache

lib: Add file_cache_new_path() to include path in error messages.

driver-mysql: Do not hex-encode again

Use correct syntax to provide data to
mysql in hex format, without recoding
it in hex format again.

lib-storage: Fix crash in obox's dsync-merge

auth: Don't log errors when cache_key expansion finds unknown %variables

mail-crypt: Treat empty values correctly

If mail_crypt_curve or mail_crypt_save_version
is left empty, disable the plugin. Don't error
out.

mail-crypt: Skip tests if dcrypt cannot be initialized

Avoids breaking tests on system without working
ECC keys.

auth-policy: Allow unsupported attributes in response

Do not choke if we receive unsupported attributes in
response. This allows better interoperability with
different systems that are getting signals from
auth policy server that are not (yet) supported by
dovecot.

sha3: Fix typo in ifdef

The code was supposed to be used with big endian
machines.

Reported by than@redhat.com

lib-test: Change test_fatal_func_t to take unsigned int stage as parameter.

It could never be -1, so this makes it clearer. It also removes annoying
casts when comparing stage to e.g. N_ELEMENTS().

lib-test: test_run_with_fatals() now takes a const array

lib-test: Introduce test_fatal_func_t as typedef and comment how it works.

auth: silence var_expand_with_funcs in db-ldap

This needs to be silenced since it's logging errors of variable
expansions that are not meant to be successful. The function is used
here just for filling the attr_names array in ldap_field_find_context
and the resulting string is not used.

doveadm-mail: Set exit code to EX_TEMPFAIL on timeout

When running `doveadm save` command on proxy/director
and the remote command execution times out, exit code
must be set to EX_TEMPFAIL.

Fixes Panic: file doveadm-mail.c: line 405 (doveadm_mail_next_user):
assertion failed: (ctx->exit_code != 0)

doveadm-save: Set exit code to EX_TEMPFAIL on open error

Prevents potential crash on doveadm_mail_next_user

lib-imap: imap-bodystructure: Prevent writing erroneous whitespace between items in an envelope address list.

Both imap_bodystructure_write() and imap_body_parse_from_bodystructure() produced such invalid output.
This caused an RFC 3501 violation in IMAP FETCH BODY and BODYSTRUCTURE responses.

Test suite is amended to test this situation.

lib-index: Add mail_index_revert_changes()

This can be used to revert changes done in a transaction to the specified
existing mail.

mail-crypt: Ensure array is created before accessing it

Fixes segmentation fault on fs-crypt when keys are not
configured.

doveadm-director: Show tag field from response

Fix off-by-one in doveadm director dump

acl: Don't set acl_defaults_from_inbox=yes as default after all.

Reverts b56d462fff46511b7efa0ccf254ba93d72322920 and removes the FIXME.
Some people might actually want to give someone else access to their INBOX
but not to all the other mailboxes. We should make it possible to use the
"" mailbox name as the default ACL instead.

imap: Fix assert when waiting for input on SEARCH/SORT

Set cmd->state to CLIENT_COMMAND_STATE_WAIT_EXTERNAL
because we are not expecting input or output.

Fixes Panic: file imap-client.c: line 854 (client_check_command_hangs): assertion failed: (client->io != NULL || (client->output_cmd_lock != NULL && client->output_cmd_lock != client->input_lock))

dsync: Fix .dovecot-sync.lock timeout checking

Whenever the lock file was recreated, the lock timeout was reset. Switched
to using file_create_locked(), which already solves this problem and has
compatible locking.

dsync: Improve process title during initialization

If something is hanging, this should make it clear what exactly it is.

doveadm-server: Show UNIX socket connections as <local> in process title

Earlier they were shown as empty string.

doveadm: Add global doveadm_verbose_proctitle setting.

This previously existed only for doveadm-server, but adding it to doveadm
CLI makes it easier to do process title updates for it as well.

doveadm: When connecting to doveadm-server via TCP, use 30s timeout

Should be enough, and better than the kernel's default, which might be a lot
more.

lib-storage: Do not try to recover missing list index

Fixes Panic: file mailbox-list-index.c: line 342 (mailbox_list_index_parse_records): assertion failed: (node != NULL)

configure: Fix some implicit function declarations

Some configure tests fail unexpectedly if the compiler flag
-Werror=implicit-function-declarations is enabled, which can result
in the wrong implementations being used.

This compiler flag is now enabled by default in Fedora Rawhide:
https://fedoraproject.org/wiki/Changes/Fedora26CFlags

<stdlib.h> is needed for exit()
<string.h> is needed for strcpy()

openssl: Clear error queue after an incomplete SSL_shutdown

If the SSL_shutdown-call fails (e.g. because the underlaying socket has
already been closed) OpenSSL puts the corresponding error into the
queue. We don't care about details so we need to clear the queue.

Otherwise the error will be pulled while error checking the next OpenSSL
call of an unrelated connection.

imapc: Don't send NOOP immediately after SELECT

NOOP is normally used by mailbox syncing to check if there are any changes
done by other concurrent IMAP sessions. But doing it immediately after
SELECT is unnecessary, because nothing could have changed.

config: Avoid excessive data stack usage when matching local_name

Moved config_filter_match_local_name() to its own function to make
adding the data stack frame easier.

Based on patch by J. Nick Koston

doveadm-server: http: Fixed temp_path_prefix for iostream-temp.

The temp_path_prefix was "/tmp", which is extended to "/tmp<hostname>.<pid>.<random>" by safe_mkstemp.

Obviously, mortal users cannot create a file like that, causing this error:
doveadm: Error: safe_mkstemp(/tmp) failed: Permission denied

The temp_path_prefix should have been "/tmp/doveadm.", as it is elsewhere as well.

lib: add t_strfgmtime and t_strftime

lib: Improve seq_range_array_invert() unit tests

Try all possible combinations for seq=0..7 and seq=4294967288..4294967295
and make sure they're inverted correctly.

lib-storage: Add test for inversion of n->max

In mail-search-simplify-args, ensure that
ALL NOT UID 3:* becomes UID 1:2

lib-storage: Fix typo in function name

lib: Comment seq_range_array_invert() that its values must be within min_seq..max_seq

lib: Fix seq_range_array_invert() when input contains 2^32-1

This caused next_min_seq to be wrapped to 0, which was handled wrong later
on.

Fixes:
Panic: file mail-index-map.c: line 549 (mail_index_map_lookup_seq_range): assertion failed: (first_uid > 0)

configure: Moved pandoc check to m4/dovecot.m4

cassandra: Treat "Request timed out" also as SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN

CASS_ERROR_SERVER_WRITE_TIMEOUT is "Write timeout" as reported by Cassandra
server, while CASS_ERROR_LIB_REQUEST_TIMED_OUT is timeout as reported by the
Cassandra library.

configure: Fix HAVE_MYSQL_SSL_CIPHER check

plugins: mail-crypt - fix static analysis pedantry

Clang cannot see that ret is -1, 0, or 1 upon assigment, and therefore
-1 or 0 upon entry into the if block. Therefore it considers ret==0
not to be a tautology if ret!=-1, and thus falsifiable. It concludes
that bad things can later happen.

The easiest way to persuade it otherwise and make it clear to a human
that things are sane is to make the first error check to be for any
negative ret value, which forces the else path to explicitly imply
ret==0, which means that clause can also be removed. Just removing the
ret==0 doesn't make it so clear to the human that there's no third case.

The final change is simply to mimic the ret==-1 to ret<0 change earlier.

clang's error message:

doveadm-mail-crypt.c:290:14: error: variable 'pubid' is used uninitialized whenever '&&' condition is false [-Werror,-Wsometimes-uninitialized]
  } else if (ret == 0 &&
             ^~~~~~~~
doveadm-mail-crypt.c:304:35: note: uninitialized use occurs here
   res->id = p_strdup(_ctx->pool, pubid);
                                  ^~~~~
doveadm-mail-crypt.c:290:14: note: remove the '&&' if its condition is always true
  } else if (ret == 0 &&
             ^~~~~~~~~~~

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/macros.h - protect old compilers from use of modern features

no_sanitize(integer) is not in 3.5 (debian stable's version), but is
documented in 3.9. Exactly when it appeared isn't immediately obvious.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

configure: Fix building without OpenSSL

AM_CONDITIONAL() needs to be part of the code path that is always run,
or it fails with:

configure: error: conditional "SSL_VERSION_GE_102" was never defined.

dsync: Fixed boolean expression in dsync_mailbox_import_deinit().

Found with Clang -Wstrict-bool.

dsync: Fix log format string broken by earlier change

lib-storage: Fix simplifying sequence sets and UID sets.

They were being handled completely wrong. The unit tests testing them
were also completely wrong.

lib: seq_range_array_*(): Fix seq2=2^32-1 handling

Adding/merging it when it already existed added duplicated seq_range.

lib-storage: Return vsize=0 from mailbox list index for empty mailboxes.

If it's known that the mailbox has no mails, there's no reason to open the
mailbox to see that its size is 0.

dict-client: Don't timeout lookups without waiting 1sec in dict ioloop.

What could have happened was:

 - dict-client sends a request to dict-server
 - dict-client process starts doing something else
 - dict-server answers
 - dict-client process continues doing something else for over 30 seconds,
   not reading the dict-server answer
 - dict-client process gets back to dict ioloop, which runs the timeout
   before checking if there is anything available for reading.

Now we'll wait for 1 second in the last dict ioloop before assuming that
there's a timeout.

dsync: Add mailbox names as well as GUIDs to log messages.

dsync: When logging "Mailbox changed caused a desync", log also the reason.

The reason is usually somewhere in the debug logs, but it's difficult to
find from there.

config: Match multiple names in local_name

This can significantly reduce memory usage when using
a UCC certificate with multiple names by only loading
the certificate and key once.

quota: Don't skip quota checks when moving mails between different quota roots.

lib-storage: Add struct mail_save_context.copy_src_mail

man: Update doveadm director flush description

lib-storage: If mailbox_create() fails, don't leave box in partially opened state.

For example with sdbox it may have opened the indexes, but not set mailbox's
GUID. A following MAILBOX_METADATA_GUID would then assert-crash because GUID
is empty.

mail-crypt: Remove dead assigment

lib: Add test for hmac helper

lib: Add hmac helpers

These run hmac for given data with given parameters
and returns stack allocated buffer. They are helpful
when doing lots of HMACs, such as the AWS4 signing
protocol.

lib: add tests for HMAC-SHA256 from RFC 4231

mail-crypt: Do not attempt to cache keys on failure

autogen: Use HTTPS for wiki

lib-dcrypt: Add error handling for dcrypt_key_id_private

mail-crypt: Add error handling for mailbox_open in tests

doveadm-mail-crypt: Skip existing keys properly

When generating new keypairs, handle existing keys
correctly when skipping them.

mail-crypt: Do not attempt to cache freed keypair

mail-crypt-acl: Use mailbox_get_last_error instead of error

mail-crypt: Fail if key is not found and save_version less than 2

Fail if save version is set to 0 or 1, instead
of trying to use undefined value for public key.

mail-crypt: Skip undef values if OpenSSL is <1.0.2

OpenSSL 1.0.1 and earlier generate undef warnings due
to using stack as randomness source in a way that
valgrind does not like, so we disable undef value
checks for mail-crypt-plugin.

m4: Detect OpenSSL version 1.0.2

valgrind cannot work in all cases if openssl
version is 1.0.2, so we need to know this to
selectively disable valgrind.

dovecot.m4: Add NOUNDEF option to run-test.sh

Using this environment variable will disable
undefined value errors in valgrind.

lib-index: mail_transaction_log_file_sync(): Don't mix I/O errors and corruption

acl: Fix compiler warning

acl-plugin: remove acl_defaults_from_inbox option

INBOX ACLs will be used by default from now on.

lib-index: Fix assert-crash after "log file shrank" error.

Fixes:
Panic: file buffer.c: line 316 (buffer_set_used_size): assertion failed: (used_size <= buf->alloc)

Add suppression for openssl leak

mail-crypt: Add manpage

mail-crypt: Add mail-crypt plugin

lib-dcrypt: Use module_dir setting

lib-dcrypt: Add module_dir setting

This is needed for unit tests that require
dcrypt, so that they can load backend
without installing it first.

lib-http: client: Fixed assert failure occurring when a new connection fails for a peer that has active connections.

Fixes: Panic: file http-client-queue.c: line 481 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == NULL)

global: Added missing copyright notices.