lib-fs: fs_write() didn't update stats.write_count correctly.
If backend implemented asynchronous write(), the write_count was updated multiple
times. If backend didn't implement write(), then it was counted twice.

dsync: Fixed syncing a recursive delete of mailbox with children.
For example if 1/2/3 exists in both sides and then 1/2/3, 1/2 and 1 are
deleted from one side, the next dsync would delete 1/2/3, but leave 1/2 and
1 undeleted.

dsync: If mailbox is already deleted locally, don't attempt to delete it again.
This only caused an unnecessary desync warning / exit code.

pop3: Added pop3_delete_type setting with values "default", "expunge" or "flag".
This is related to pop3_deleted_flag setting. The main behefit here is that
you can now hide messages from POP3 by setting pop3_deleted_flag, but
without changing the actual deletion behavior by setting
pop3_delete_type=expunge.

lib-fts: Install headers on make install.

rawlog: Removed unnecessary/duplicate 'o' from getopt_args
This caused assert-crash at startup after ff17864ba6e0.

lda: Removed unnecessary/duplicate 'k' from getopt_args
This caused assert-crash at startup after ff17864ba6e0.

man: doveadm-import -s description updated
The previously mentioned subscriptions-file is specific to Maildir format.

doveadm: Make sure we can't accidentally add duplicate getopt args.

lib-master: Make sure we can't accidentally add duplicate getopt args.

stats: Added session=<ID> filter to doveadm dump session|command

dsync: Renamed -F parameter to -O to avoid a conflict
doveadm mail commands already had a generic -F parameter.

fts-solr: "highest UID for mailbox" lookup was actually returning "highest UID for user"
If the default operator was OR instead of AND. This affected indexing mails
in newly created mailboxes.

lib: istream-timeout could have triggered timeout too early after long-running code.

fts: If Tika returns 500, retry it a couple of times and then fallback to ignoring the problem.

lib-storage: Make sure tryagain_r is never randomly set in mailbox_search_next_nonblock()
This infinite looping in some fts plugin failure situations.

stats: If process was used for multiple sessions, some of the fields weren't set correctly.
For example the second user's disk_output was increased at startup by the
same amount as what the previous user's last disk_output value was.

lib-storage: escape_char and broken_char settings weren't copied on mailbox_list_create()

lib-storage: Another fix for doing multiple changes via mailbox_attribute_set/unset

lib-mail: Fixed message_part_to_idx()

pop3-migration: Compiling fix in some systems

lib-storage: Fixed doing multiple changes via mailbox_attribute_set/unset()
Only the last change was committed and the earlier changes were just leaking
memory.

pop3-migration: Fetch physical sizes instead of virtual sizes so pop3c uses LIST
4bebfbb32410 caused the fetching to break entirely.

pop3-migration: Use LIST instead of RETRs to get the messages' sizes.

lib-mail: Updated test-message-header-parser unit test

pop3-migration: Truncate header if there's line containing only CR(s).
This fixes matching IMAP <-> POP3 messages when the servers behave
differently.

pop3-migration: Show the first message's number and UIDL which wasn't found from IMAP.

lib-storage: If mailboxes' vsizes are used, keep them updated also in mailbox list index.
This allows looking them up quickly without opening the actual mailbox
indexes.

quota: Use MAILBOX_METADATA_PHYSICAL_SIZE for recalculating mailbox's size.

lib-storage: Added MAILBOX_METADATA_PHYSICAL_SIZE
If backend always uses the same virtual and physical sizes, this is
implemented via the MAILBOX_METADATA_VIRTUAL_SIZE code. Otherwise it
searches all the messages and sums up their physical sizes.

lib-storage: Moved vsize_hdr_ext_id to struct mailbox for more global access.

lib-storage: Renamed struct index_vsize_header to struct mailbox_index_vsize
Also moved the struct to mail-storage-private.h for more global access.

lib-storage: Moved mailbox vsize calculation code to its own file.
No functional differences.

quota: Even if quota counting fails, commit the mailbox transaction.
The only changes in the transaction are changes to dovecot.index.cache file
and we don't want to rollback those.

quota: Fixed error handling in quota counting code.
Errors weren't logged and some error checking was missing.

mdbox: Make sure rebuilding doesn't try to add a copy of the message too many times.
Currently it just silently overflowed the 16bit refcount, which caused
problems later.

istream-zlib: Don't overwrite parent istream's error on gz header/trailer read errors.

doveadm: Added doveadm_username to specify the username for authentication.
The default is still "doveadm" and the server side doesn't currently support
anything except "doveadm".

istream filters: If parent's i_stream_stat() fails, copy the stream_errno.
This doesn't actually change any functionality yet, since most
i_stream_stat() callers aren't using i_stream_get_error().

lib: istream_file.stat() fails, set stream_errno and error string.
For now we'll also keep logging the error since everybody isn't using
i_stream_get_error().

master: When sending SIGTERM/SIGKILL to processes, log which services they were sent to.

imap/pop3-login: If auth failure reason already begins with [resp-code], don't prefix it with another one.

lib: Fixed unit test with big-endian CPUs.
Patch by Michal Hlavinka / Redhat

lib: Fixed read buffer overflow in wildcard_match*()
Patch by Hanno Böck.

Note that input to wildard_match*() is always coming only from trusted
sources, like config file or doveadm commands.

indexer: Properly fix crashing at deinit when there are pending requests.

indexer: Reverted 5945ba000a45 - it didn't really help

indexer: Fixed crash at deinit if there were still queued requests.

imapc: Fixed check to see if prefix!="" in previous commit.

lib-storage: Set MAILBOX_SELECT/NONEXISTENT for namespace prefix even if no flags are wanted.
This fixes doveadm commands attempting to access such nonexistent mailbox
prefixes.

imapc: Don't return mailbox list entries that would result in name="".
So basically don't return namespace prefix if imapc_list_prefix="".

imapc: If login is aborted at deinit, don't log an error.

imapc: Don't automatically login to IMAP server for list=no namespaces.

lib-http: http_client_request_send() failure returned already-freed error string.

fs-posix: Hide temporary files from fs_iter_*()
Those could exist just because another process is just using them to create
new files to the directory. Although they could also be older files caused
by earlier crashes. It would probably be a good idea to have fs_iter_*()
delete the old temporary files automatically.

virtual: virtual_uids weren't always set to all mails, causing missing mails and crashes in search.

virtual: Added more asserts when DEBUG is enabled.

virtual: Added more asserts.

fts-solr: Avoid sending too large queries to Solr due to listing wanted mailboxes.
This is mainly a problem if there are a lot of mailboxes and "All Mails"
virtual mailbox. For now hardcoded to send max 10 mailboxes in the query,
afterwards it just returns matches in all the mailboxes and we'll filter out
the unwanted mailboxes.

fts-solr: Removed assert to fix indexing multiple mailboxes.
fts plugin may want to do last-uid lookup for a new mailbox while we still
have posting open for the previous one.

fts-tika: Fixed crashes when indexing larger attachments with fts-solr.
We were mixing ioloops without switching back to the original ioloop in the
middle. Also io_remove() at deinit caused another timeout to be added, so
this needs to be done while original ioloop is active or we'll just leak the
just-added timeout in io_loop_destroy() and crash later.

lib-fs: Removed redundant o_stream_nfinish() calls

lib-fs: Call o_stream_nfinish() automatically for all backends in fs_write_stream_finish()
Otherwise each backend needs to do it internally. fs-metawrap for example
was missing this and causing assert-crashes.

lib: test-data-stack - simplify #if-ing out of DEBUG-only fatal test
With no canaries, nothing can be tested, so just reduce this to a trivial
1-line return on the non-DEBUG case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - ensure t_push() and t_pop() are balanced in fatal tests
If the t_pop() unexpectedly succeeds, we won't want to do another one upon
entering the function again.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: Added allow_real_nets setting.
The difference to allow_nets is that it matches against the connection's
"real IP" rather than what the connection told was the original client's IP
address (%{rip} vs %{real_rip})

lib: Added unix_client_connect_msecs setting to connection API.

lib: Compiler warning fix for test-ostream-failure-at.

lib-fs: Added "randomfail" driver.
Using this in front of fs drivers allows randomly injecting failures. For
example:

mail_attachment_fs = randomfail:all=10,read=30,read-range=2000-3000:sis posix

This means that all FS operations have a 10% chance of failing, except reads
have a 30% chance of failing. If the read fails, it'll fail somewhere
between offsets 2000-3000 (the default is 0, so it'll fail at the start of
file).

The supported operations are: wait metadata prefetch read write lock exists
stat copy rename delete iter. "all" applies to all of them.

The supported ranges are: read-range, write-range, iter-range.

lib: Added o_stream_create_failure_at() to inject EIO at given offset in ostream

lib: Added i_stream_create_failure_at() to inject EIO at given offset in istream.

dsync: If we stop because of a signal, log a warning about it.

doveadm: Added doveadm_killed_signo()

fts: Avoid expanding mail_search_args multiple times (for optimization & crash-avoidance)
Primarily this fixes the crash:

index-search-result.c: line 132 (index_search_result_update_flags):
assertion failed: (result->search_args->args == &search_arg)

It could be triggered by:
a search return (update) body body seen
b store 1 +flags \seen
c store 1 -flags \seen

fs-posix: fs_copy() didn't work with prefix= parameter

lib-stats: fix tristate-int vs. bool return value confusion
-1 was being silently converted to true. However, this was an error condition.

The callers don't need anything more complex than a bool, so kill the int.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: use NULL rather than 0 to shut up sparse
Signed-off-by: Phil Carmody <phil@dovecot.fi>

director: explicitly mark _disconnect() helper static to match proto
No functional change, compiler would not have exported the symbol, this
just shuts up sparse.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fs-metawrap: If written file unexpectedly shrinks, return error instead of assert-crash.
This shouldn't be happening, but we can't fully control it so an error is
better.

fs-metawrap: Don't assert-crash when writing an empty file.

lib-fts: Fix comment in fts-filter.h

lib: test-failures - tests get/set handlers and the various log levels
Also indirectoy tests the new lib-test test_expect* family.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: test_expect_error_string() to match a single known message
This gives us very fine control over what is acceptable as an expected warning.
Alas you have to do it for each message individually.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: let tests invoke i_warning/i_error behaviour
Error-handling paths should be testable too. Permit a test case to register
that a known number of warnings/errors are to be expected, and to verify
that those warnings did occur afterwards. Too many messages will fail the
test exactly as it did in the past, they're unexpected messages. However,
too few messages will also cause the test case to fail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: flush test-assert failure messages
Diagnostic output to stderr may overtake these stdout logs if the streams
are combined by the shell or on the console. fflush() might help realign
them.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - permit array_swap with uninitialised arrays
Before initialisation, all fields are blank, so the element_size field
is not the actual size, and the i_assert would fire.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: Added mail_index_ext_register_resize_defaults()

cassandra: Commit failures returned an already freed error string.

lib-fts: Removed unnecessary data stack frames from test-fts-filter.
They are already added by lib-test/test-common.c

config: Added hook_config_parser_end for plugins.

doveadm mailbox delete -r: Delete all mailboxes when empty mailbox name is given.

lib-fts: Don't crash if fts_icu_*() are used after fts_icu_deinit()

lib-index: Avoid writing tail offset update to transaction log if it's not necessary.
This should avoid extra writes that do nothing but update the tail offset.
mdbox's map requires this behavior, so disable it for it. For others it
might cause the next sync to read more data unnecessarily, but it should be
worth the extra cost of write most of the times.

doveadm fetch: Added "refcount" field.

cassandra: Error handling cleanup.
Probably doesn't fix any actual bugs.

cassandra: Minor code cleanup to make sure we don't try to access freed transaction memory.

cassandra: Don't access freed memory when doing an assert-check.

doveadm fs delete -R: More fixes to handling errors without crashing.

lmtp: Fixed assert-crash on anvil lookup failures.
If anvil_client_query() fails, it immediately calls the callback and returns
NULL. So we need to increase anvil_queries even before calling
anvil_client_query()

doveadm fs delete -R: Fixed hang when some of the deletions failed.

cassandra: If log_level=debug/trace, log each query and its result.