lib: istream-sized - set stream_errno=EPIPE if stream is too small

lib: istream-sized - remove explicit i_error() logging

The stream_errno is set, so it's the caller's responsibility to log the
error. There's no need to log it twice.

lib-compression: istream-{bzlib|lz4} - set stream_errno=EPIPE on unexpected EOF

lib-mail: istream-qp-decoder: set stream_errno=EPIPE on unexpected EOF

lib-fs: istream-metawrap - set stream_errno=EPIPE on unexpected EOF

lib-storage: istream-mail - Use EPIPE if istream is too small

lib-mail: Improve istream-attachment-extractor unit test for EIO errors

lib-mail: istream-attachment-extractor - use EIO for internal errors

These happen only if the attachment writing failed for some reason.
The input stream itself can't have any errors, so EINVAL isn't proper.

lib-mail: istream-attachment-extractor - remove unnecessary code

It's enough to set the stream_errno.

lib: istream-jsonstr - return EPIPE if end-of-string quote isn't seen

lib: Add istream-jsonstr unit test.

lib: istream-jsonstr - minor code cleanup

If ret==0 here, it means dest wasn't changed, which must mean that i==0.
Make it clear to avoid confusion.

lib: istream-base64-decoder - use stream_errno=EPIPE for unexpected EOF

global: Use const for all test_functions[] arrays

lib-test: test_run*() - use const for test_functions[] array

global: Use "static const" for all struct tests[] arrays

lib-test: test_run_named*() - use const for tests[] array

*-login, imapc: Fix new lib-sasl API usage

Forgot to include these in a669d351502e15802b121e1a0bd83f27d1d95f01

lib-index: Fix assert-crash if .log creation unexpectedly fails at the end

Pretty much the only reason for this to happen is if the index directory
was deleted while another process still had the index open. Even this
doesn't normally trigger this crash, because there are other checks earlier
that usually catch it. So it crashes only in some race conditions.

Fixes:
Error: rename(.../dovecot.index.log.newlock, .../dovecot.index.log) failed: No such file or directory
Panic: file mail-transaction-log-file.c: line 105 (mail_transaction_log_file_free): assertion failed: (!file->locked)

stats: use o_stream_nsend in client-export

fs-randomfail: Fix failure handling for fs_read()

lib-index: Fix checking if cache file becomes >4GB

imap: use o_stream_nsend when not checking failure

replication: ignore o_stream_send errors in doveadm-connection

lib-mail: message_binary_part_deserialize(): Return error if body line count is too large

The input was unsigned int, so output must also fit into unsigned int.

dovecot.service.in: Improve [service] examples

Move them inside [service] section so that simply uncommenting them works.
Also give a better example of how Environment might be used.

replication plugin: Error handling code cleanup

The old code happened to work in all cases, but it was more of an accident.

lib-sasl: API change - use size_t type for input/output lengths

It's highly unlikely that the length is ever >4GB, but this avoids any
potential problems with integer truncation.

lib-fts: Change fts_icu_*() to use ARRAY_TYPE(icu_utf16) for UTF16 input.

This makes it clearer how the API is intended to be used.

Fix compiling when compiler doesn't support typeof()

lib-index: Make sure buffer is not null before freeing

Fixes signal 11 crash under stress.

configure: Define __STDC_LIMIT_MACROS for CXXFLAGS

Fixes SIZE_MAX being undefined when building fts-lucene.

master: Update assert to make sure optind != 0

Hopefully prevents Coverity warning about "doubleops[optind]" access being
uninitialized.

lib: Remove dead code from unit test

lib: Allow only known %chars in printf_format_fix_noalloc()

Otherwise if some libc adds a new unsupported character, our %n check might
break.

lib: Fix %n detection in printf_format_fix_noalloc()

It's undefined how flags, precision or length modifiers are handled with %n,
so make sure we catch all of them to detect an unwanted %n.

lib: Optimize printf_format_fix_noalloc()

Using strchr() is faster than looping through the characters manually.
Since this function is being called a lot, it's worth optimizing.

lib-imap-client: Fixed boolean vs integer mixup in debug message format argument.

Found with Clang -Wstrict-bool.

lib-http: client: Added test for premature connection loss to test-http-client-errors.

lib-http: client: Added test for normal connection backoff behavior to test-http-client-errors.

lib-http: client: Treat connections that get disconnected prematurely as connection failures.

This means that the backoff time is increased when this happens.
A premature disconnection happens when the connection is disconnected before any data is received from the server.

lib-http: client: Consolidated connection loss handling into a single function.

lib-http: client: Moved connection backoff timer management to separate functions.

lib-http: client: Prevent infinite event loop involving the request handler.

Could happen when a backoff time is active.

master: PROCESS-STATUS output was duplicated many times

imapc: Log server disconnection error only once.

imapc: Minor debug logging improvement

imapc: Don't retry a failed reconnection before 10 secs have passed

This mainly avoids a lot of unnecessary connect attempts within a short
time period, for example if the caller attempts to perform some work for
all the mailboxes.

imapc: Fix infinite reconnect loop to remote server that is down

This happened only in some situations. Usually there would have bene some
command in the queue, which would cause the reconnect-check to fail.

lib: Compiler warning fix for 32bit systems

global: Make sure *_malloc() calculations won't cause integer overflows.

global: Change string position/length from unsigned int to size_t

Mainly to avoid truncating >4GB strings, which might potentially cause
some security holes. Normally there are other limits, which prevent such
excessive strings from being created in the first place.

I'm sure this didn't find everything. Maybe everything could be found with
compiler warnings. -Wconversion kind of does it, but it gives way too many
unnecessary warnings.

These were mainly found with:

grep " = strlen"
egrep "unsigned int.*(size|len)"

lib: Optimization - p_strconcat() doesn't need to allocate from data stack

Various other parts of the code already rely on p_malloc() not overwriting
t_buffer_get()'ed data. p_strconcat() can do that as well.

lib: *_new(): Use the new MALLOC_MULTIPLY() macro to avoid overflows

Cast the sizeof() result to unsigned int, because it's definitely always
enough and in many cases this allows optimizing away the wrap-check.

lib: Add MALLOC_MULTIPLY() and MALLOC_ADD()

These can be used for calculating memory allocation sizes. If there's an
overflow, the macro panics.

lib: Remove t_buffer_*_type()

The t_buffer_*() shouldn't normally be used anyway except in some low-level
string/buffer manipulation code, so there's not much point in trying to make
easier to use versions of them.

master: Removed unused process_exec(extra_args) parameter

Removes unnecessarily complicated code marked with @UNSAFE.

lib-storage: Make dovecot.list.index's filename configurable.

This is useful when there are multiple namespaces pointing to the same mail
root directory. For example mdbox with lazy-expunge:

namespace {
  prefix = Expunged/
  location = mdbox:~/mdbox:MAILBOXDIR=expunged:LISTINDEX=expunged.list.index
  ..
}

lib-storage: Deduplicate code into mailbox_list_settings_init_defaults()

director: Fix crash when using director_flush_socket

Broken accidentally when merging b44033e45e9f48f8a6e1ac5905234fec5de6d6cc

director: Fix USER-KICK and USER-KICK-ALT forwarding

The internal IPC command was prefixed, which caused the remote director
to reject the commands and disconnect:

director(...): Command proxy: Unknown command proxy
director(...): Remote sent invalid protocol data recently, waiting 57 secs before allowing further communication

director: doveadm command handling was missing USER-KICK-ALT

imap: Fix STORE UNCHANGEDSINCE to work with >32bit modseqs.

lib-storage: Fix "*" in SEARCH seqset/uidset

4294967295 is used for "*", which matches the last existing message.
Which we don't know what it is at the time of search args simplification,
so avoid making any assumptions about it.

It's a bit ugly that 4294967295 can't be used as a valid UID, but this
restriction has already existed since the beginning of Dovecot. A future
alternative might be to add MAIL_SEARCH_ARG_FLAG_SEQSET_WITH_STAR, but
that's a bit complicated change.

imapc: Don't allow "*" in SEARCH replies

Doesn't fix anything, but makes the parsing a bit more correct.

fts-squat: Use file_cache_new_path() for squat indexes

lib-index: Use file_cache_new_path() for dovecot.index.cache

lib: Add file_cache_new_path() to include path in error messages.

driver-mysql: Do not hex-encode again

Use correct syntax to provide data to
mysql in hex format, without recoding
it in hex format again.

lib-storage: Fix crash in obox's dsync-merge

auth: Don't log errors when cache_key expansion finds unknown %variables

mail-crypt: Treat empty values correctly

If mail_crypt_curve or mail_crypt_save_version
is left empty, disable the plugin. Don't error
out.

mail-crypt: Skip tests if dcrypt cannot be initialized

Avoids breaking tests on system without working
ECC keys.

auth-policy: Allow unsupported attributes in response

Do not choke if we receive unsupported attributes in
response. This allows better interoperability with
different systems that are getting signals from
auth policy server that are not (yet) supported by
dovecot.

sha3: Fix typo in ifdef

The code was supposed to be used with big endian
machines.

Reported by than@redhat.com

lib-test: Change test_fatal_func_t to take unsigned int stage as parameter.

It could never be -1, so this makes it clearer. It also removes annoying
casts when comparing stage to e.g. N_ELEMENTS().

lib-test: test_run_with_fatals() now takes a const array

lib-test: Introduce test_fatal_func_t as typedef and comment how it works.

auth: silence var_expand_with_funcs in db-ldap

This needs to be silenced since it's logging errors of variable
expansions that are not meant to be successful. The function is used
here just for filling the attr_names array in ldap_field_find_context
and the resulting string is not used.

doveadm-mail: Set exit code to EX_TEMPFAIL on timeout

When running `doveadm save` command on proxy/director
and the remote command execution times out, exit code
must be set to EX_TEMPFAIL.

Fixes Panic: file doveadm-mail.c: line 405 (doveadm_mail_next_user):
assertion failed: (ctx->exit_code != 0)

doveadm-save: Set exit code to EX_TEMPFAIL on open error

Prevents potential crash on doveadm_mail_next_user

lib-imap: imap-bodystructure: Prevent writing erroneous whitespace between items in an envelope address list.

Both imap_bodystructure_write() and imap_body_parse_from_bodystructure() produced such invalid output.
This caused an RFC 3501 violation in IMAP FETCH BODY and BODYSTRUCTURE responses.

Test suite is amended to test this situation.

lib-index: Add mail_index_revert_changes()

This can be used to revert changes done in a transaction to the specified
existing mail.

mail-crypt: Ensure array is created before accessing it

Fixes segmentation fault on fs-crypt when keys are not
configured.

doveadm-director: Show tag field from response

Fix off-by-one in doveadm director dump

acl: Don't set acl_defaults_from_inbox=yes as default after all.

Reverts b56d462fff46511b7efa0ccf254ba93d72322920 and removes the FIXME.
Some people might actually want to give someone else access to their INBOX
but not to all the other mailboxes. We should make it possible to use the
"" mailbox name as the default ACL instead.

imap: Fix assert when waiting for input on SEARCH/SORT

Set cmd->state to CLIENT_COMMAND_STATE_WAIT_EXTERNAL
because we are not expecting input or output.

Fixes Panic: file imap-client.c: line 854 (client_check_command_hangs): assertion failed: (client->io != NULL || (client->output_cmd_lock != NULL && client->output_cmd_lock != client->input_lock))

dsync: Fix .dovecot-sync.lock timeout checking

Whenever the lock file was recreated, the lock timeout was reset. Switched
to using file_create_locked(), which already solves this problem and has
compatible locking.

dsync: Improve process title during initialization

If something is hanging, this should make it clear what exactly it is.

doveadm-server: Show UNIX socket connections as <local> in process title

Earlier they were shown as empty string.

doveadm: Add global doveadm_verbose_proctitle setting.

This previously existed only for doveadm-server, but adding it to doveadm
CLI makes it easier to do process title updates for it as well.

doveadm: When connecting to doveadm-server via TCP, use 30s timeout

Should be enough, and better than the kernel's default, which might be a lot
more.

lib-storage: Do not try to recover missing list index

Fixes Panic: file mailbox-list-index.c: line 342 (mailbox_list_index_parse_records): assertion failed: (node != NULL)

configure: Fix some implicit function declarations

Some configure tests fail unexpectedly if the compiler flag
-Werror=implicit-function-declarations is enabled, which can result
in the wrong implementations being used.

This compiler flag is now enabled by default in Fedora Rawhide:
https://fedoraproject.org/wiki/Changes/Fedora26CFlags

<stdlib.h> is needed for exit()
<string.h> is needed for strcpy()

openssl: Clear error queue after an incomplete SSL_shutdown

If the SSL_shutdown-call fails (e.g. because the underlaying socket has
already been closed) OpenSSL puts the corresponding error into the
queue. We don't care about details so we need to clear the queue.

Otherwise the error will be pulled while error checking the next OpenSSL
call of an unrelated connection.

imapc: Don't send NOOP immediately after SELECT

NOOP is normally used by mailbox syncing to check if there are any changes
done by other concurrent IMAP sessions. But doing it immediately after
SELECT is unnecessary, because nothing could have changed.

config: Avoid excessive data stack usage when matching local_name

Moved config_filter_match_local_name() to its own function to make
adding the data stack frame easier.

Based on patch by J. Nick Koston

doveadm-server: http: Fixed temp_path_prefix for iostream-temp.

The temp_path_prefix was "/tmp", which is extended to "/tmp<hostname>.<pid>.<random>" by safe_mkstemp.

Obviously, mortal users cannot create a file like that, causing this error:
doveadm: Error: safe_mkstemp(/tmp) failed: Permission denied

The temp_path_prefix should have been "/tmp/doveadm.", as it is elsewhere as well.

lib: add t_strfgmtime and t_strftime

lib: Improve seq_range_array_invert() unit tests

Try all possible combinations for seq=0..7 and seq=4294967288..4294967295
and make sure they're inverted correctly.