auth: Added %{passdb:field} and %{userdb:field} variables
The field expands to either the passdb or userdb extra field.

You can also use %{passdb:field:defaultvalue} where if field doesn't exist,
it's expanded to defaultvalue. Note that an empty value means that the field
still exists and it's not expanded to defaultvalue.

auth: Added unit test for auth %variable expansion.

auth: Make sure %{mech} and %{session} is escaped in %var expansion.
%{mech} is already very trusted and %{session} should be only from trusted
sources as well, so this doesn't fix any actual security holes. They are
also unlikely to have ever even been used in anything that requires
escaping.

auth: Moved var_expand() related code to its own file.

cassandra: Added log_level parameter to connect_string.
Available values are critical, error, warn (default), info, debug and trace.

lib-fs: Updated fs_write_stream_*() comments related to ostream corking and nfinish.

lib-fs: fs_write_stream_abort() now ignores missing o_stream_nfinish() call

fts: If precaching fails, stop precaching the rest of the mails.
If there are a lot of mails to be precached, this could mean that the
precaching is attempted for a long time and every one of them fails the same
way.

dovecot.m4: If run-test.sh fails, print the failing command to stderr.
Currently otherwise the way Dovecot tests are run it's not clearly visible.

dovecot.m4: If NOVALGRIND environment is set, don't run tests via valgrind in "make check"

lib-fs: fs_write_stream() now automatically corks the ostream and uncorks at _finish().

fts: If last-uid lookup fails, return "Internal error" instead of "BUG" to client.

lib: Avoid race conditions in mkdir*() if directory is being deleted at the same time.
Mainly this allows the call to return failure silently without logging
unnecessary errors.

log: read() errors weren't logged.

systemd service: Fixed typos in the comment section.
The settings for the file descriptor limit is LimitNOFILE.
Removed quotes around the value infinity. Otherwise systemd will
fail to parse that resource value.

systemd: Small improvements to the unit configuration file:

   * Added Documentation URIs
   * Added ExecReload, to reload the config instead of restarting
   * Added a comment for modifying/extending the unit file.

doveadm user: Don't change privileges when looking up users.
We don't need to and it might fail.

lib-storage: If no namespaces were defined, the autocreated namespace settings were a bit wrong.

lib-storage: If session_id isn't given, generate a new one.
This is useful for tracking logs written by services that aren't directly
related to any specific user session.

lib-index: Unit test fix.

lib: file_lock_try_update() comment updated.
It should possibly be removed entirely from the API.

lib: file_create_locked() lock method is now configurable

lib: file_create_locked() was leaking fds and locks.

lib: file_create_locked() no longer logs an error if temp file is deleted under it.

lib: file_create_locked() wasn't deleting the temp file after successful link()

lib: Added file_create_locked()

auth: Don't crash if trying to add password with TAB or LF to auth cache.
This would happen only if the passwords were stored as plaintext in passdb
and the valid password actually contained TAB or LF.

lib-index: Added asserts to make sure invalid extension records aren't written to log.

fts: Fixed fts_enforced=yes when it has to wait for indexing to finish

fts: Added fts_enforced setting to disable fallbacking to slow search on errors.

lib-fts: ICU normalization changes some characters to spaces - remove them.
We don't really want to add spaces to our index. It would be nice if the
words between spaces were actually split to different tokens, but that's
more of the fts-tokenizer's job and at filter stage that's probably not
wanted anymore.

lib: Cork connection output while handling input

lib-fts: Fixed handling tokens that contain only apostrophes

lib-fts: Fix simple tokenizer apostrophe handling.
Apostrophes and quotation marks are now treated as word breaks,
except U+0027 between non-wordbrek characters. The characters
U+2019 and U+FF07 are transformed to U+0027 before processing.

lib-fts: Fix tr29 tokenizer apostrophe handling.
U+0027, which is called Single Quote in tr29, was not properly
handled as a word boundary.

lib-fts: Partially reverted d097a9779c37 - don't use lib_atexit()
Because fts is loaded as plugin lib_atexit() is called after the plugin is
already unloaded, so it crashes.

director: Added "up" vs "down" states and doveadm director up/down commands.
These commands are intended to be used by automated watchdogs that detect if
backends are up or down. This way the vhost count doesn't get forgotten
after server goes down. It also means that admin can manually take down a
server by setting its vhost count to 0 without the watchdog automatically
bringing it back up.

lib-charset: test-charset unit test - Don't use invalid UTF-8 text in source code

lib-fts: Fixed memory leaks in test-fts-filter unit test

lib-fts: Call u_clean() at deinit to free up all of libicu's memory.

lib-fts: test-fts-icu memory leak fix

fts + lib-fts: Fixed crash with some search queries that contained uninitialized search args.

lib-storage: Added mail_search_init/deinit_arg()
For forcibly initializing/deinitializing search args.

lib-storage: Cleanup - separate search arg values that are set by mail_search_init()

lib-mail: Make sure iconv state is reset between MIME parts.

lib-fts: Rewrite ICU handling functions.
Some of the changes:
 - Use buffers instead of allocating everything from data stack.
 - Optimistically attempt to write the data directly to the buffers without
first calculating their size. Grow the buffer if it doesn't fit first.
 - Use u_strFromUTF8Lenient() instead of u_strFromUTF8(). Our input is
already supposed to be valid UTF-8, although we don't check if all code
points are valid, while u_strFromUTF8() does check them and return failures.
We don't really care about if code points are valid or not and
u_strFromUTF8Lenient() passes through everything.

Added unit tests to make sure all the functions work as intended and all the
UTF-8 input passes through them successfully.

lib: Added buffer_get_writable_size()

fts: Avoid excessive data stack usage with lib-fts

lib-charset: Fixed compile warning caused by earlier commit.
This UNICODE_REPLACEMENT_CHAR_UTF8 part of the change was actually supposed
to be a separate commit..

lib: Added UNICODE_REPLACEMENT_CHAR_UTF8

lib: Added p_memdup()

lib-charset: Added a minimal unit test

imap: Fixed crash in FETCH RFC822* caused by earlier commit

replication plugin: s/transction/transaction/ in debug log messages

doveadm director flush: Unless -F parameter is used, do the flush by moving users.
User moving causes the users to be properly kicked out of the old backends
before new connections are made to the new backends. This way the user isn't
accessed simultaneously by different backends.

lib-master: Added data stack frames to handling IPC input.

director: Added HOST-RESET-USERS command to move users to their hash-assigned hosts.

director: Moving a user to another host sometimes caused the move to fail.
It could have given "User hash .. is being redirected to two hosts" error
and afterwards moved the user back to its original host.

imap: Added %{deleted}, %{expunged} and %{trashed} to imap_logout_format

Added %{fetch_hdr/body_count/bytes} variables to imap_logout_format

lib-imap-storage: Added imap_msgpart_contains_body()

Added signature for changeset 917d027836d0

Added tag 2.2.18 for changeset 917d027836d0

Released v2.2.18.

replication plugin: Fixed handling EAGAIN errors when writing to replication-pipe.

replication plugin: Added debug logging when mail_debug=yes

replication plugin: A small optimization to check the user's "dsyncing" status only once.

pgsql: Don't crash at disconnect/deinit if there's an unfinished query.

pgsql: Log a warning if DNS lookup takes too long. Don't include it in connect timeout.

Reverted d592417ec815 which added unnecessary code to Makefiles.
The original problem it tried to solve was properly fixed by 46969c4cc57e.
make will actually wait for processes to finish creating files before it
continues to the next program that wants to access the file. As long as the
dependencies are correct.

quota: Fixed dependency tracking in Makefile
The earlier fix attempt was done by creating a .tmp file first, but that
didn't really solve anything.

sdbox: When hardlink-copying a mail in alt storage, keep it within the alt storage.
Also make sure that the alt-flag is set correctly no matter where we copy
the mail.

lib: Use /dev/zero instead of /dev/stderr in test-istream-unix unit test
Some distros don't seem to allow opening stderr.

lib-imap: Fixed crash in IDLE for non-TCP connections.

lib-fts: Fixed test-fts-filter when building without libstemmer

configure: Use consistent quotation for AC_DEFINEs as per autoconf recommendations.
Also fix one minor typo.

pgsql: Include connect state string on connect failure errors.

lib-lda: Added missing include file.
This fixes building Pigeonhole in some systems.

director: UNIX auth sockets were wrongly detected as doveadm or ring sockets.
A workaround would be to use login/director-auth socket name instead of
login/director.

fts-lucene: Removed dead code
Found by Coverity

lib-fts: Makefile compiling dependency fix

Added signature for changeset 166106aaefc5

Added tag 2.2.17 for changeset 166106aaefc5

Released v2.2.17.

lib-lda: Don't crash if postmaster_address is given as command line parameter.

mbox: If we notice our internal state is wrong, avoid further corruption by returning error.

mbox: Fixed corruption in some usage patterns.
Something like:
 - first mail is being expunged
 - other mails are being rewritten and they get their space from the
   expunged mail
 - there's not enough space for the last mail to get space
 - we add more space
 - we'll now need to use up the space. We can't just decide to mark the
   mails dirty.

fts-solr: Fixed memory leak at user deinit.

fts-solr: Crashfixes

fts-solr: Don't update "last indexed UID" if we couldn't actually add the mails to Solr.

director: Added "authreply" socket type.
This allows defining a socket, which receives auth replies. Director then
adds the "host" field to it if it's missing and returns back the original
string. The idea is that eventually a director ring could be running
independently from Dovecot proxies.

director: Removed accidentally committed debug log message

lib-master: If executing doveconf, use master_service_settings_input.service for filter
Instead of hardcoding to the master_service->name, which may be different.
This fixes reading protocol sieve {} settings when if managesieve was
reading settings via doveconf (= executed from command line).

director: Cleanup for director socket type configuration.
It's now possible to use any type of a socket for inet listeners by
specifying the name for the listener. The available types are: auth
(default), userdb, ring (= director<->director connection), admin/doveadm.
This change should be backwards compatible with previous configuration.
This setting also deprecates director_doveadm_port setting.

lib-master: Added master_service_get_socket_name()

director: Minor code cleanup - allow access to auth connection's ostream directly.

director: Reverted previous e178413a905d commit after all - do it a bit differently.

Added quota-clone plugin.

lib-sql: sqlite and cassandra libs were mixed up in the Makefile

director: Added a new DIRECTOR-LOOKUP command that auth connections can use.
The parameters are the same as what auth lookup would receive from auth
process. So the idea is that a proxy could do an auth lookup, then forward
the reply to director, which would return back the updated reply with the
host field added.