lib-fts: Do all the ICU cleanup in fts_icu_deinit().

lib-fts: Include fts-filter.h in fts-filter-private.h
This avoids having to always include them both.

lib-fts: Renamed variable.
This is a lowercase-filter, not a normalizer.

lib-fts: Removed unnecessary array.h include from fts-filter.h

lib-fts: Fixed tr29 tokenizer to delete last character correctly when it's preceded by non-ASCII

pop3-login: Added support for Zimbra proxy's XOIP command.

fts: If we fail while indexing headers, return failure immediately.

fts: Error logging fix.
1) We were logging the error after it was already freed from data stack.
2) We were logging uninitialized error string when fts indexing was the one
that failed.

fts: Fixed memory leak at deinit when using multiple fts plugins at the same time using libfts.

lib-fts: Correct comment in filter internal API.

lib-fts: Call libicu u_cleanup.

various: use new uni_utf8_get_char*() interface
No need for additional uni_utf8_char_bytes() calls if you can parse and
know the size with one call.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: Use new uni_utf8_get_char*() interface

lib: Improved unit test for uni_utf8_get_char() return value check.

lib: API change - have uni_utf8_get_char*() return _char_bytes
Often the two functions are called in close proximity (both ways round). As
_get_char*() calls _char_bytes() early on the success path, we may as well
return that value to the caller for immediate use.

The callers which call _char_bytes() first are simply rejecting the truncated
case quickly - all other invalid cases still call both functions, and all
other valid cases (which should be the fast path) likewise call both.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fts-solr: laxer check of uni_utf8_get_char_n() return value
If uni_utf8_get_char*() were changed to return the number of bytes in the
character on success, then all we care about is it being > 0 (i.e. not
error, not truncated).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-unichar - test invalid utf8 encodings
Chop trailing characters off valid encodings, and watch them fail.
(There's no need to do this on most of the test characters, as they're
truncated to the same byte sequence - only do 1 in 64.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-unichar - streamline the unichars test
It's doing 2 kinds of tests, split them into separate test cases.

And the first part has started to get expensive, so just make sure
all code paths are tested by skipping most values. Only 3 from each
set of 64 (lowest 6 bits) are tested.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fts: Added unit testing for unicode apostrophe handling.

lib-fts: tokenizers - Fixed removal of trailing character in truncated tokens.
If the token is truncated, we don't want to remove the trailing character
since it's not actually there.

Also we don't want to remove trailing apostrophes from a truncated word,
because they're not actually at the end of the (untruncated) token there.
This doesn't make a big difference, but it's slightly more correct.

lib-fts: Optimize tokenizers - Rewrite of apostrophe handling.
We parse through the UTF8 characters only once now, not twice.

lib-fts: tr29 tokenizer - rename variable in preparation for the next patch

lib-fts: tokenizers - don't include removed apostrophes as part of the token size

lib-fts: simple tokenizer minor cleanup - removed unnecessary token length > 0 check
fts_tokenizer_generic_simple_current_token() will check it in any case.

lib-fts: tr29 tokenizer cleanup - Avoid unnecessary goto.

lib-fts: simple tokenizer optimization - don't check unicode word breaks for ASCII chars.

lib-fts: simple tokenizer cleanup - make prev_letter updating more explicit.
It was now hidden inside one of the functions, which didn't make the
prev_letter very consistent when a word break was found. It didn't actually
matter what the prev_letter was at that point, but now the behavior is more
consistent.

lib-fts: simple tokenizer cleanup - removed unnecessary variables

lib-fts: tr29 cleanup - consistently call valid chars "token" and "non-token" chars.
Instead of word/token/text.

lib-fts: tr29 cleanup - Avoid i++ in the for loop to avoid extra calculations

lib-fts: tr29 cleanup - token can never be empty by the time it's being returned.

lib-fts: Optimization for tr29 - we don't need to track last_size explicitly

lib-fts: Correct internal helper function for tr29.

lib-fts: Fix unit tests for TR29 full stop change.

lib-fts: Change TR29 tokenizer to break at full stop (and others).
Diverge from the TR29 rules and always break at MidNumLet letters.
This fixes tokenizing first.last@domain.tld email addresses.

auth: Added %{passdb:field} and %{userdb:field} variables
The field expands to either the passdb or userdb extra field.

You can also use %{passdb:field:defaultvalue} where if field doesn't exist,
it's expanded to defaultvalue. Note that an empty value means that the field
still exists and it's not expanded to defaultvalue.

auth: Added unit test for auth %variable expansion.

auth: Make sure %{mech} and %{session} is escaped in %var expansion.
%{mech} is already very trusted and %{session} should be only from trusted
sources as well, so this doesn't fix any actual security holes. They are
also unlikely to have ever even been used in anything that requires
escaping.

auth: Moved var_expand() related code to its own file.

cassandra: Added log_level parameter to connect_string.
Available values are critical, error, warn (default), info, debug and trace.

lib-fs: Updated fs_write_stream_*() comments related to ostream corking and nfinish.

lib-fs: fs_write_stream_abort() now ignores missing o_stream_nfinish() call

fts: If precaching fails, stop precaching the rest of the mails.
If there are a lot of mails to be precached, this could mean that the
precaching is attempted for a long time and every one of them fails the same
way.

dovecot.m4: If run-test.sh fails, print the failing command to stderr.
Currently otherwise the way Dovecot tests are run it's not clearly visible.

dovecot.m4: If NOVALGRIND environment is set, don't run tests via valgrind in "make check"

lib-fs: fs_write_stream() now automatically corks the ostream and uncorks at _finish().

fts: If last-uid lookup fails, return "Internal error" instead of "BUG" to client.

lib: Avoid race conditions in mkdir*() if directory is being deleted at the same time.
Mainly this allows the call to return failure silently without logging
unnecessary errors.

log: read() errors weren't logged.

systemd service: Fixed typos in the comment section.
The settings for the file descriptor limit is LimitNOFILE.
Removed quotes around the value infinity. Otherwise systemd will
fail to parse that resource value.

systemd: Small improvements to the unit configuration file:

   * Added Documentation URIs
   * Added ExecReload, to reload the config instead of restarting
   * Added a comment for modifying/extending the unit file.

doveadm user: Don't change privileges when looking up users.
We don't need to and it might fail.

lib-storage: If no namespaces were defined, the autocreated namespace settings were a bit wrong.

lib-storage: If session_id isn't given, generate a new one.
This is useful for tracking logs written by services that aren't directly
related to any specific user session.

lib-index: Unit test fix.

lib: file_lock_try_update() comment updated.
It should possibly be removed entirely from the API.

lib: file_create_locked() lock method is now configurable

lib: file_create_locked() was leaking fds and locks.

lib: file_create_locked() no longer logs an error if temp file is deleted under it.

lib: file_create_locked() wasn't deleting the temp file after successful link()

lib: Added file_create_locked()

auth: Don't crash if trying to add password with TAB or LF to auth cache.
This would happen only if the passwords were stored as plaintext in passdb
and the valid password actually contained TAB or LF.

lib-index: Added asserts to make sure invalid extension records aren't written to log.

fts: Fixed fts_enforced=yes when it has to wait for indexing to finish

fts: Added fts_enforced setting to disable fallbacking to slow search on errors.

lib-fts: ICU normalization changes some characters to spaces - remove them.
We don't really want to add spaces to our index. It would be nice if the
words between spaces were actually split to different tokens, but that's
more of the fts-tokenizer's job and at filter stage that's probably not
wanted anymore.

lib: Cork connection output while handling input

lib-fts: Fixed handling tokens that contain only apostrophes

lib-fts: Fix simple tokenizer apostrophe handling.
Apostrophes and quotation marks are now treated as word breaks,
except U+0027 between non-wordbrek characters. The characters
U+2019 and U+FF07 are transformed to U+0027 before processing.

lib-fts: Fix tr29 tokenizer apostrophe handling.
U+0027, which is called Single Quote in tr29, was not properly
handled as a word boundary.

lib-fts: Partially reverted d097a9779c37 - don't use lib_atexit()
Because fts is loaded as plugin lib_atexit() is called after the plugin is
already unloaded, so it crashes.

director: Added "up" vs "down" states and doveadm director up/down commands.
These commands are intended to be used by automated watchdogs that detect if
backends are up or down. This way the vhost count doesn't get forgotten
after server goes down. It also means that admin can manually take down a
server by setting its vhost count to 0 without the watchdog automatically
bringing it back up.

lib-charset: test-charset unit test - Don't use invalid UTF-8 text in source code

lib-fts: Fixed memory leaks in test-fts-filter unit test

lib-fts: Call u_clean() at deinit to free up all of libicu's memory.

lib-fts: test-fts-icu memory leak fix

fts + lib-fts: Fixed crash with some search queries that contained uninitialized search args.

lib-storage: Added mail_search_init/deinit_arg()
For forcibly initializing/deinitializing search args.

lib-storage: Cleanup - separate search arg values that are set by mail_search_init()

lib-mail: Make sure iconv state is reset between MIME parts.

lib-fts: Rewrite ICU handling functions.
Some of the changes:
 - Use buffers instead of allocating everything from data stack.
 - Optimistically attempt to write the data directly to the buffers without
first calculating their size. Grow the buffer if it doesn't fit first.
 - Use u_strFromUTF8Lenient() instead of u_strFromUTF8(). Our input is
already supposed to be valid UTF-8, although we don't check if all code
points are valid, while u_strFromUTF8() does check them and return failures.
We don't really care about if code points are valid or not and
u_strFromUTF8Lenient() passes through everything.

Added unit tests to make sure all the functions work as intended and all the
UTF-8 input passes through them successfully.

lib: Added buffer_get_writable_size()

fts: Avoid excessive data stack usage with lib-fts

lib-charset: Fixed compile warning caused by earlier commit.
This UNICODE_REPLACEMENT_CHAR_UTF8 part of the change was actually supposed
to be a separate commit..

lib: Added UNICODE_REPLACEMENT_CHAR_UTF8

lib: Added p_memdup()

lib-charset: Added a minimal unit test

imap: Fixed crash in FETCH RFC822* caused by earlier commit

replication plugin: s/transction/transaction/ in debug log messages

doveadm director flush: Unless -F parameter is used, do the flush by moving users.
User moving causes the users to be properly kicked out of the old backends
before new connections are made to the new backends. This way the user isn't
accessed simultaneously by different backends.

lib-master: Added data stack frames to handling IPC input.

director: Added HOST-RESET-USERS command to move users to their hash-assigned hosts.

director: Moving a user to another host sometimes caused the move to fail.
It could have given "User hash .. is being redirected to two hosts" error
and afterwards moved the user back to its original host.

imap: Added %{deleted}, %{expunged} and %{trashed} to imap_logout_format

Added %{fetch_hdr/body_count/bytes} variables to imap_logout_format

lib-imap-storage: Added imap_msgpart_contains_body()

Added signature for changeset 917d027836d0

Added tag 2.2.18 for changeset 917d027836d0

Released v2.2.18.

replication plugin: Fixed handling EAGAIN errors when writing to replication-pipe.