virtual: Added more asserts when DEBUG is enabled.

virtual: Added more asserts.

fts-solr: Avoid sending too large queries to Solr due to listing wanted mailboxes.
This is mainly a problem if there are a lot of mailboxes and "All Mails"
virtual mailbox. For now hardcoded to send max 10 mailboxes in the query,
afterwards it just returns matches in all the mailboxes and we'll filter out
the unwanted mailboxes.

fts-solr: Removed assert to fix indexing multiple mailboxes.
fts plugin may want to do last-uid lookup for a new mailbox while we still
have posting open for the previous one.

fts-tika: Fixed crashes when indexing larger attachments with fts-solr.
We were mixing ioloops without switching back to the original ioloop in the
middle. Also io_remove() at deinit caused another timeout to be added, so
this needs to be done while original ioloop is active or we'll just leak the
just-added timeout in io_loop_destroy() and crash later.

lib-fs: Removed redundant o_stream_nfinish() calls

lib-fs: Call o_stream_nfinish() automatically for all backends in fs_write_stream_finish()
Otherwise each backend needs to do it internally. fs-metawrap for example
was missing this and causing assert-crashes.

lib: test-data-stack - simplify #if-ing out of DEBUG-only fatal test
With no canaries, nothing can be tested, so just reduce this to a trivial
1-line return on the non-DEBUG case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - ensure t_push() and t_pop() are balanced in fatal tests
If the t_pop() unexpectedly succeeds, we won't want to do another one upon
entering the function again.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: Added allow_real_nets setting.
The difference to allow_nets is that it matches against the connection's
"real IP" rather than what the connection told was the original client's IP
address (%{rip} vs %{real_rip})

lib: Added unix_client_connect_msecs setting to connection API.

lib: Compiler warning fix for test-ostream-failure-at.

lib-fs: Added "randomfail" driver.
Using this in front of fs drivers allows randomly injecting failures. For
example:

mail_attachment_fs = randomfail:all=10,read=30,read-range=2000-3000:sis posix

This means that all FS operations have a 10% chance of failing, except reads
have a 30% chance of failing. If the read fails, it'll fail somewhere
between offsets 2000-3000 (the default is 0, so it'll fail at the start of
file).

The supported operations are: wait metadata prefetch read write lock exists
stat copy rename delete iter. "all" applies to all of them.

The supported ranges are: read-range, write-range, iter-range.

lib: Added o_stream_create_failure_at() to inject EIO at given offset in ostream

lib: Added i_stream_create_failure_at() to inject EIO at given offset in istream.

dsync: If we stop because of a signal, log a warning about it.

doveadm: Added doveadm_killed_signo()

fts: Avoid expanding mail_search_args multiple times (for optimization & crash-avoidance)
Primarily this fixes the crash:

index-search-result.c: line 132 (index_search_result_update_flags):
assertion failed: (result->search_args->args == &search_arg)

It could be triggered by:
a search return (update) body body seen
b store 1 +flags \seen
c store 1 -flags \seen

fs-posix: fs_copy() didn't work with prefix= parameter

lib-stats: fix tristate-int vs. bool return value confusion
-1 was being silently converted to true. However, this was an error condition.

The callers don't need anything more complex than a bool, so kill the int.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: use NULL rather than 0 to shut up sparse
Signed-off-by: Phil Carmody <phil@dovecot.fi>

director: explicitly mark _disconnect() helper static to match proto
No functional change, compiler would not have exported the symbol, this
just shuts up sparse.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fs-metawrap: If written file unexpectedly shrinks, return error instead of assert-crash.
This shouldn't be happening, but we can't fully control it so an error is
better.

fs-metawrap: Don't assert-crash when writing an empty file.

lib-fts: Fix comment in fts-filter.h

lib: test-failures - tests get/set handlers and the various log levels
Also indirectoy tests the new lib-test test_expect* family.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: test_expect_error_string() to match a single known message
This gives us very fine control over what is acceptable as an expected warning.
Alas you have to do it for each message individually.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: let tests invoke i_warning/i_error behaviour
Error-handling paths should be testable too. Permit a test case to register
that a known number of warnings/errors are to be expected, and to verify
that those warnings did occur afterwards. Too many messages will fail the
test exactly as it did in the past, they're unexpected messages. However,
too few messages will also cause the test case to fail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: flush test-assert failure messages
Diagnostic output to stderr may overtake these stdout logs if the streams
are combined by the shell or on the console. fflush() might help realign
them.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - permit array_swap with uninitialised arrays
Before initialisation, all fields are blank, so the element_size field
is not the actual size, and the i_assert would fire.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: Added mail_index_ext_register_resize_defaults()

cassandra: Commit failures returned an already freed error string.

lib-fts: Removed unnecessary data stack frames from test-fts-filter.
They are already added by lib-test/test-common.c

config: Added hook_config_parser_end for plugins.

doveadm mailbox delete -r: Delete all mailboxes when empty mailbox name is given.

lib-fts: Don't crash if fts_icu_*() are used after fts_icu_deinit()

lib-index: Avoid writing tail offset update to transaction log if it's not necessary.
This should avoid extra writes that do nothing but update the tail offset.
mdbox's map requires this behavior, so disable it for it. For others it
might cause the next sync to read more data unnecessarily, but it should be
worth the extra cost of write most of the times.

doveadm fetch: Added "refcount" field.

cassandra: Error handling cleanup.
Probably doesn't fix any actual bugs.

cassandra: Minor code cleanup to make sure we don't try to access freed transaction memory.

cassandra: Don't access freed memory when doing an assert-check.

doveadm fs delete -R: More fixes to handling errors without crashing.

lmtp: Fixed assert-crash on anvil lookup failures.
If anvil_client_query() fails, it immediately calls the callback and returns
NULL. So we need to increase anvil_queries even before calling
anvil_client_query()

doveadm fs delete -R: Fixed hang when some of the deletions failed.

cassandra: If log_level=debug/trace, log each query and its result.

cassandra: Added extra asserts and sanity checks to make sure query errors are caught.

cassandra: Don't crash on failed queries.

dict-sql: Don't try to optimize finding a matching map by using the previous match.
In some setups multiple maps can match and it's important that the matching
is done in the same order always, otherwise the results could become
somewhat random.

man: doveadm-pw.1: Fix typo.

man: doveadm-pw.1: Added a note about quoting password hashes.

fts: lib-fts search arg expansion wasn't done for non-TEXT/BODY searches when fts_enforced=no

fts: Added "doveadm fts expand" to show lib-fts search query expanded.

lib-storage: Added mail_search_args_to_cmdline()
This isn't entirely correct yet, but it's only going to be used for
debugging for now.

fts: Added "doveadm fts lookup" command.
This is mainly useful for debugging lib-fts. It doesn't perform any of the
lib-fts tokenization / filtering so you can do raw lookups.

lib-fts: fts_tokenizer_reset() didn't reset the entire state.

indexer: Improved handling multiple indexing requests to the same mailbox.
If a request arrives for a mailbox that we were already indexes, the
previous code simply sent the indexing request to the existing worker
process. This could have caused a lot of requests to be buffered to the same
mailbox if the indexing took a long time, which could have taken a while to
process even though they weren't really doing anything indexing work.

The new code instead just keeps track in memory that when the earlier
indexing is finished, it's done again once to finish any pending changes.

indexer: Try to always flush as many requests from queue as possible.
I don't think this changes the behavior much. It's mainly a code cleanup.

indexer: Use array.h API instead of writing our own.
The space savings aren't worth the extra complexity.

fts: If mail indexing fails, don't log a "BUG: Unknown internal error"

fts: If reading mail fails, log an error.

lib-lda: Fixed crash in mail_deliver_get_log_var_expand_table().
Discovered by clang static analyzer. This caused crashes with older versions
of Pigeonhole.

lib-fts: Added "english-possessive" filter.

lib-fts: Use UTF8_IS_START_SEQ()

lib: Added UTF8_IS_START_SEQ() helper macro

lib-fts: fts-filter API changed to have a non-pointer vfuncs variable.
The main benefit being that the fts-filter implementations can save a few
lines of code.

lib-fts: fts-lowercase can now use the default destroy function.

lib-fts: Implemented default create/destory functions for fts-filters.

lib-fts: Moved IS_APOSTROPHE() to fts-common.h

example-config: Updated deliver_log_format comments

lib-lda: Added %{to_envelope} to deliver_log_format

lib-fts: Compiling fix without libicu

lib-fts: Avoid compiler warning when building without libicu

imapc: If auth fails due to connection failure, don't treat it the same as failed login.

lib-fts: Fixed compiling without libicu

lib-fts: Added more supported languages.
This includes now all the ones that are currently supported by both snowball
and exttextcat.

lib-fts: Optimized truncation of partial trailing UTF-8 characters in tokenizers.

lib-fts: Use fts_icu_lcase() for fts-filter-lowercase if possible.

lib-fts: Added string_t *token to struct fts_filter
This makes the work a bit easier for simple filters that don't need any
state but want to use a string_t.

lib-fts: Added fts_icu_lcase()

lib-fts: Do all the ICU cleanup in fts_icu_deinit().

lib-fts: Include fts-filter.h in fts-filter-private.h
This avoids having to always include them both.

lib-fts: Renamed variable.
This is a lowercase-filter, not a normalizer.

lib-fts: Removed unnecessary array.h include from fts-filter.h

lib-fts: Fixed tr29 tokenizer to delete last character correctly when it's preceded by non-ASCII

pop3-login: Added support for Zimbra proxy's XOIP command.

fts: If we fail while indexing headers, return failure immediately.

fts: Error logging fix.
1) We were logging the error after it was already freed from data stack.
2) We were logging uninitialized error string when fts indexing was the one
that failed.

fts: Fixed memory leak at deinit when using multiple fts plugins at the same time using libfts.

lib-fts: Correct comment in filter internal API.

lib-fts: Call libicu u_cleanup.

various: use new uni_utf8_get_char*() interface
No need for additional uni_utf8_char_bytes() calls if you can parse and
know the size with one call.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: Use new uni_utf8_get_char*() interface

lib: Improved unit test for uni_utf8_get_char() return value check.

lib: API change - have uni_utf8_get_char*() return _char_bytes
Often the two functions are called in close proximity (both ways round). As
_get_char*() calls _char_bytes() early on the success path, we may as well
return that value to the caller for immediate use.

The callers which call _char_bytes() first are simply rejecting the truncated
case quickly - all other invalid cases still call both functions, and all
other valid cases (which should be the fast path) likewise call both.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fts-solr: laxer check of uni_utf8_get_char_n() return value
If uni_utf8_get_char*() were changed to return the number of bytes in the
character on success, then all we care about is it being > 0 (i.e. not
error, not truncated).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-unichar - test invalid utf8 encodings
Chop trailing characters off valid encodings, and watch them fail.
(There's no need to do this on most of the test characters, as they're
truncated to the same byte sequence - only do 1 in 64.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-unichar - streamline the unichars test
It's doing 2 kinds of tests, split them into separate test cases.

And the first part has started to get expensive, so just make sure
all code paths are tested by skipping most values. Only 3 from each
set of 64 (lowest 6 bits) are tested.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: Added unit testing for unicode apostrophe handling.

lib-fts: tokenizers - Fixed removal of trailing character in truncated tokens.
If the token is truncated, we don't want to remove the trailing character
since it's not actually there.

Also we don't want to remove trailing apostrophes from a truncated word,
because they're not actually at the end of the (untruncated) token there.
This doesn't make a big difference, but it's slightly more correct.

lib-fts: Optimize tokenizers - Rewrite of apostrophe handling.
We parse through the UTF8 characters only once now, not twice.