fs-randomfail: Fixed assert-crash in fs_write_stream_abort_error()

imap-hibernate: Increased imap-master communication timeout from 5s to 30s

Looks like 5s isn't enough in loaded environments. It's also not really a
problem if the timeout is large, it's just going to take a while longer to
restore the connection. When timeout is reached the client would just get
disconnected anyway.

lib-storage: Fixed accessing user as root when user has no uid.

This shouldn't normally be done, but might as well fix it. Fixes:

Fatal: mail-storage-service: seteuid(4294967295) failed: Invalid argument

lib-index: Fixed mail_index_modseq_get_next_log_offset() when accessing .log.2

file->sync_offset was set only after header, so sync_highest_modseq was also
same as initial_modseq. The previous code then just returned offset pointing
to sync_offset, which was too early.

lib-index: Make sure new dovecot.index.log files start tracking modseqs.

This will make mail_index_modseq_get_next_log_offset() work correctly even
if modseqs haven't been explicitly enabled.

lib-storage: Code cleanup for mailbox_get_expunge*()

The previous code did actually work as well, but it wasn't very obvious that
it did.

imap: When hibernating, wait for old imap process to cleanup before creating new ones.

This fixes stats errors:

stats: Error: FIFO input error: CONNECT: Duplicate session ID Y7Q6E4U7xO1/AAAB for user testuser service imap
stats: Warning: Couldn't find session ID: Y7Q6E4U7xO1/AAAB

lib-fs: Moved fs_write_stream_abort_parent() to fs-api-private.h

Only fs wrapper drivers are supposed to call it.

lib-index: limit mail_index error prints to one per ioloop_time

This is to prevent log flooding.

lib-test: Added missing va_end() call.

lib-test: test_expect_errors() now works for the entire log string, not just format parameter

lib-test: test-exit helper to stop valgrind complaining about fork()s

fork()s that want to _exit() will cause valgrind's full memory leak
checker to complain a lot - this performs a quick cleanup first.

Before:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  ==19576==   total heap usage: 4 allocs, 0 frees, 17,858 bytes allocated
  istream unix ......................................................... : ok
  0 / 1 tests failed
  ==19575==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

After:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  istream unix ......................................................... : ok
  ==4993==   total heap usage: 4 allocs, 4 frees, 17,858 bytes allocated
  0 / 1 tests failed
  ==4992==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: enable naming of tests, such that only a subset is run

How to use these will become clear in a subsequent patch. Even if you
don't want to name tests, the macros can reduce redundancy in the code,
as the list of test function prototypes and the list of test functions
to call become the same lists, expanded through 2 different macros.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: improve expected error handling

If we expect a specific error string, then when we see it, suppress it.

We do not suppress errors expected by count, because if we get unexpected
errors, then we do not want them suppressed, and we have no way of
distinguishing between the expected and unexpected errors.

This of course favours the use of the expected string version of the helper,
but alas that's not always usable, as you can only expect one at a time.

Additionally, if we failed to see an expected message, then when we no longer
expect to see it, reset the expected message state to not cascade further
test assertion failures.

Signed-off-by: Phil Carmody <phil@dovecot.fi>
Conflicts:
src/lib-test/test-common.c

stats: Include PIDs in "Duplicate session ID" errors.

lib-index: mail_index_modseq_get_next_log_offset() shouldn't return offset beyond view's head

This also allows removing the same workaround from dsync code.

imap: Avoid wrongly assert-crashing in client_check_command_hangs()

Fixes assert:

Panic: file imap-client.c: line 837 (client_check_command_hangs): assertion failed: (client->io != NULL)

stats plugin: Don't send any stats before CONNECT was successfully sent.

After stats write failures this fixes warnings like:
Warning: stats: Couldn't find session ID: smqAXQE8pIp/AAAB

lib-stats: stats_connection_send() now returns whether it succeeded or not

doveadm flags: Sync mailbox after committing transaction.

lmtp: Always read settings before dropping privs

If lmtp is ran explicitly as root, settings were not read.

imap: Fixed assert-crash if un-hibernation failed to initialize user.

master_service_client_connection_destroyed() was also being called in
imap_master_client_destroy() so it was done twice.

Fixes:
Panic: file master-service.c: line 775 (master_service_client_connection_destroyed): assertion failed: (service->total_available_count > 0)

fs-api: Retrieve errno before dest->copy_output is NULL'ed

CID 10144: When aborting output, errno retrieval
is attempted after dest->copy_output has already
been unreffed. Found by coverity.

lib-storage: Check that UID is set before caching

lib-imap-storage: Check that UID is assigned before caching

zlib-plugin: Check that UID is assigned

When caching, code has to check whether UID is
assigned to avoid reusing cache for different
email since they all have UID = 0 before they
are actually committed.

quota: Flush quota after recalc

Correctly fix issue where the dict commit
is left unfinished.

lib-dict: Discard result when callback is NULL on async call

lib-dcrypt: Avoid infinite loop if istream header is too large.

We'll return an error now instead. We can't just return -2 here, because nothing
was actually being returned to the caller. Attempting to do that would just trigger
an assert:

Panic: file istream.c: line 182 (i_stream_read): assertion failed: (_stream->skip != _stream->pos)

dcrypt: Test for stream prefetch

dcrypt: Allow stream prefetch

We might get stream that has already been buffered, so we
must try read it in case buffer is full.

Fix control flow and T_BEGIN/T_END hygiene

You mustn't goto, break, continue, or return from out of a
T_BEGIN {...} T_END block, as that will lose a t_pop().
This has been seen in the wild: Panic: Leaked t_pop() call

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Do not abort parent of parent

doveadm-server: Reset error code between calls

stats: Reset nearly all global mail stats

We leave num_connected_sessions alone.

stats: Fix user login counters

Before we would count all users twice,
because the same counters would get increment
in both CONNECT and ADD-USER. Now we do not
increment them at all on ADD-USER.

lib-master: don't leak config path

The config path can already be non-NULL thanks to the default config path
code or the CONFIG_PATH environmental variable.

lib-fs: abort parent in fs_file_write_stream_abort_parent

imap: Track how much time was spent on waiting for locks.

dict-client: In slow query warnings, log time spent in ioloop and lock waits.

Possibly we want to remove the warnings entirely if most of the time has been
spent on lock waits (or alternatively: not spent in ioloop).

lib: Track how much time has been spent on waiting for locks.

imap: Fixed expunge handling when un-hiberanting

Fixes these errors:

Failed to import client state: Message count mismatch after handling expunges
Message UIDs CRC32 mismatch

lib-fts: Add missing include

lib-fs: Fixes to previous fs_write_stream_abort*() changes.

lib-storage: Fixed istream-attachment-extractor error handling.

lib-mail: Clarify istream-attachment-extractor's error handling API usage.

lib-fs: Add fs_write_stream_abort_parent and use it

Will do all the things abort_error does, but leaves
error untouched. You are expected to set one yourself.

lib-storage: Added mailbox_recent_flags_expunge_uid()

For storage backends where it's useful.

lib-fts: Change normalizer filter to use new truncate.

lib-fts: Cut overlong strings in lowercase filter.

Added new common truncate function for filters. It also removes any partial
characters, that would remain from plain truncation.

lib-fts: Add max_length to common filter struct. Reorder fields.

The latter is for for imaginary alignment enhancements.

fs-api: Add and use fs_write_stream_abort_error

This lets caller to specify error instead of setting it
with fs_error. Doing it like this lets us percolate the
error upwards.

quota-dict: Make sure all transactions complete

pop3: Fix deleted_count expansion

lmtp: Support %{userdb:*} variables in mail_log_prefix

quota, last-login: Disable "slow dict commit" warnings

Anything (especially long lock waits) can happen between the commit and when
we read their replies.

lib-dict: Added dict_transaction_no_slowness_warning()

dict-client: Keep transaction's pointer in command until it's finished.

dict-client: Improve "slow dict operation" warnings in error conditions.

There's no need to log both an error and a warning.

imap-hibernate: fix input_pending check in client_unhibernate_cmp

Check c2->input_pending instead of c1->input_pending when calculating
comparison value for c2.

lib-dcrypt: Fixed accessing out-of-bounds data in istream.

Also some small cleanups to make it clearer what's actually happening.

lib-dcrypt: Fixed partial reads in header and limit header's max size.

Also fixes test-stream to actually test nonblocking reads correctly.

fts-squat: Ensure child is not NULL

Makes static analysers happy

lib-master: Check for NULL in input/output

Makes static analysers happy

auth: Ensure username can't be left unset in APOP

Makes static analysers happy

imapc: Make sure imail.stream is not NULL

Makes static analysers happy

lib-storage: Make sure data->stream isn't NULL

Makes static analysers happy

auth: Check for NULL auth token

Makes static analysers happy

lib: Fix SENTRY_CHAR to different kind of number

Makes static analysers happier

lib-http: Ensure fstream is not NULL in test

Makes static analysers happier

lib-index: Do not do pointless memmove

Makes static analysers happier, since moving the data
when days is 0 or days is 8 is effectively non-op.

test-priorityq: Ensure item is not NULL

Makes static analysers happy

md5: Initialize block

Makes static analysers happy

lib-storage: If chdir to home doesn't work, chdir to root instead.

Most importantly this fixes unlink_directory() when current directory
after dropping privileges can't be open()ed.

lib-storage: Minor error message fix

lib-mail: Compiling fix for message-snippet change - U'x' isn't standard.

fts-squat: fix Corrupted squat uidlist bug

lib-mail: Fix snippet generation

Now we won't add leading whitespace for no reason, and also
strip BOM when found.

dcrypt: Fix encrypted test keys

dcrypt: Update v2 sample

dcrypt: Retrieve key length correctly

lib: Avoid compiler warning if off_t has the same size as ssize_t.

dsync: Further fixes to received_timestamp and virtual_size parsing (-t and -S parameters)

dsync: Added missing fields to ibc-stream.

lib: Implemented i_stream_create_copy_from_data().

Unlike i_stream_create_from_data(), this function makes a copy of the provided data block. This way, the application does not need to worry about keeping it allocated for the lifetime of the stream.
The copied data is allocated durably on the system pool and freed once the stream is destroyed.

lib,lib-test: stop calling memcmp and memcpy with NULL in tests

lib-mail: stop calling str_append_n and memcmp with NULL in tests

lib-storage: don't crash when pop3c-client timeouts

doveadm-dump: Add missing include

-Wstrict-bool warning fixes

doveadm sync: Fixed -S parameter parsing to actually work.

doveadm sync/backup: Added -S <max size> parameter to skip too large mails.

auth-db-dict: Allow key name expansion

This allows expansion of dictionary keys based on userdb
variables on dict lookup mapping. Example:
key userdb {
  key = %{userdb:nspace:default}/userdb
  format = json
}

openssl: Fix v1.1 compability

OpenSSL: link against OpenSSL libs explicitly

doveadm: add doveadm-dump-dcrypt-key

quota: If quota lookup updates vsize header, lock it earlier to avoid a deadlock.

quota: Fixed handling when mail size lookup fails due to mail already being expunged.

We don't want to fail it as a quota allocation failure, but just pass
through the "mail is expunged" error to the original caller.

dict-client: Improved timeout error message.

lib: Added connection_input_timeout_reason()