lib-fts: test-fts-icu memory leak fix

fts + lib-fts: Fixed crash with some search queries that contained uninitialized search args.

lib-storage: Added mail_search_init/deinit_arg()
For forcibly initializing/deinitializing search args.

lib-storage: Cleanup - separate search arg values that are set by mail_search_init()

lib-mail: Make sure iconv state is reset between MIME parts.

lib-fts: Rewrite ICU handling functions.
Some of the changes:
 - Use buffers instead of allocating everything from data stack.
 - Optimistically attempt to write the data directly to the buffers without
first calculating their size. Grow the buffer if it doesn't fit first.
 - Use u_strFromUTF8Lenient() instead of u_strFromUTF8(). Our input is
already supposed to be valid UTF-8, although we don't check if all code
points are valid, while u_strFromUTF8() does check them and return failures.
We don't really care about if code points are valid or not and
u_strFromUTF8Lenient() passes through everything.

Added unit tests to make sure all the functions work as intended and all the
UTF-8 input passes through them successfully.

lib: Added buffer_get_writable_size()

fts: Avoid excessive data stack usage with lib-fts

lib-charset: Fixed compile warning caused by earlier commit.
This UNICODE_REPLACEMENT_CHAR_UTF8 part of the change was actually supposed
to be a separate commit..

lib: Added UNICODE_REPLACEMENT_CHAR_UTF8

lib: Added p_memdup()

lib-charset: Added a minimal unit test

imap: Fixed crash in FETCH RFC822* caused by earlier commit

replication plugin: s/transction/transaction/ in debug log messages

doveadm director flush: Unless -F parameter is used, do the flush by moving users.
User moving causes the users to be properly kicked out of the old backends
before new connections are made to the new backends. This way the user isn't
accessed simultaneously by different backends.

lib-master: Added data stack frames to handling IPC input.

director: Added HOST-RESET-USERS command to move users to their hash-assigned hosts.

director: Moving a user to another host sometimes caused the move to fail.
It could have given "User hash .. is being redirected to two hosts" error
and afterwards moved the user back to its original host.

imap: Added %{deleted}, %{expunged} and %{trashed} to imap_logout_format

Added %{fetch_hdr/body_count/bytes} variables to imap_logout_format

lib-imap-storage: Added imap_msgpart_contains_body()

Added signature for changeset 917d027836d0

Added tag 2.2.18 for changeset 917d027836d0

Released v2.2.18.

replication plugin: Fixed handling EAGAIN errors when writing to replication-pipe.

replication plugin: Added debug logging when mail_debug=yes

replication plugin: A small optimization to check the user's "dsyncing" status only once.

pgsql: Don't crash at disconnect/deinit if there's an unfinished query.

pgsql: Log a warning if DNS lookup takes too long. Don't include it in connect timeout.

Reverted d592417ec815 which added unnecessary code to Makefiles.
The original problem it tried to solve was properly fixed by 46969c4cc57e.
make will actually wait for processes to finish creating files before it
continues to the next program that wants to access the file. As long as the
dependencies are correct.

quota: Fixed dependency tracking in Makefile
The earlier fix attempt was done by creating a .tmp file first, but that
didn't really solve anything.

sdbox: When hardlink-copying a mail in alt storage, keep it within the alt storage.
Also make sure that the alt-flag is set correctly no matter where we copy
the mail.

lib: Use /dev/zero instead of /dev/stderr in test-istream-unix unit test
Some distros don't seem to allow opening stderr.

lib-imap: Fixed crash in IDLE for non-TCP connections.

lib-fts: Fixed test-fts-filter when building without libstemmer

configure: Use consistent quotation for AC_DEFINEs as per autoconf recommendations.
Also fix one minor typo.

pgsql: Include connect state string on connect failure errors.

lib-lda: Added missing include file.
This fixes building Pigeonhole in some systems.

director: UNIX auth sockets were wrongly detected as doveadm or ring sockets.
A workaround would be to use login/director-auth socket name instead of
login/director.

fts-lucene: Removed dead code
Found by Coverity

lib-fts: Makefile compiling dependency fix

Added signature for changeset 166106aaefc5

Added tag 2.2.17 for changeset 166106aaefc5

Released v2.2.17.

lib-lda: Don't crash if postmaster_address is given as command line parameter.

mbox: If we notice our internal state is wrong, avoid further corruption by returning error.

mbox: Fixed corruption in some usage patterns.
Something like:
 - first mail is being expunged
 - other mails are being rewritten and they get their space from the
   expunged mail
 - there's not enough space for the last mail to get space
 - we add more space
 - we'll now need to use up the space. We can't just decide to mark the
   mails dirty.

fts-solr: Fixed memory leak at user deinit.

fts-solr: Crashfixes

fts-solr: Don't update "last indexed UID" if we couldn't actually add the mails to Solr.

director: Added "authreply" socket type.
This allows defining a socket, which receives auth replies. Director then
adds the "host" field to it if it's missing and returns back the original
string. The idea is that eventually a director ring could be running
independently from Dovecot proxies.

director: Removed accidentally committed debug log message

lib-master: If executing doveconf, use master_service_settings_input.service for filter
Instead of hardcoding to the master_service->name, which may be different.
This fixes reading protocol sieve {} settings when if managesieve was
reading settings via doveconf (= executed from command line).

director: Cleanup for director socket type configuration.
It's now possible to use any type of a socket for inet listeners by
specifying the name for the listener. The available types are: auth
(default), userdb, ring (= director<->director connection), admin/doveadm.
This change should be backwards compatible with previous configuration.
This setting also deprecates director_doveadm_port setting.

lib-master: Added master_service_get_socket_name()

director: Minor code cleanup - allow access to auth connection's ostream directly.

director: Reverted previous e178413a905d commit after all - do it a bit differently.

Added quota-clone plugin.

lib-sql: sqlite and cassandra libs were mixed up in the Makefile

director: Added a new DIRECTOR-LOOKUP command that auth connections can use.
The parameters are the same as what auth lookup would receive from auth
process. So the idea is that a proxy could do an auth lookup, then forward
the reply to director, which would return back the updated reply with the
host field added.

director: Don't send DIRECTOR command infinitely in loop if that director got disconnected.

director: Include useful statistics in process title.

director: Fixed crash if director sent invalid data too early.

director: If we disconnect a director, pass the reason all the way to deinit's debug logging.

director: Improved debug logging about connecting to another director.

Make static analyzer happier.

Added signature for changeset 2c1ce55de520

Added tag 2.2.17.rc2 for changeset 2c1ce55de520

Released v2.2.17.rc2.

lib: connection API: Added delayed_unix_client_connected_callback setting.
092a51d80bad commit changed this functionality first to fix lib-http code,
but it broke other code. 1fac17a2bc53 reversed the original behavior.
This change allows either behavior optionally.

doveadm fs: Improved error message logging.

doveadm dict iter: Added -1 parameter to enable DICT_ITERATE_FLAG_EXACT_KEY

dict-sql: Fixed non-recursive iteration.
If path has e.g. "a/$var/b/$var2" and we're iterating "a/", we shouldn't
return anything under "a/*/b/".

cassandra: Leave consistency to default if it's not specified in config.

lib: connection API was unnecessarily delaying client_connected() calls for UNIX sockets.

doveadm: Register builtin dict drivers always at init

lib-dict: Allow registering builtin dict drivers multiple times.

lib-sql: Don't crash in Cassandra if connection to it failed.

lib-fts: ICU normalizer code cleanup.

Fold some long lines. Rename the internal struct to be more
aligned with the other filters.

lib-fts: autogenerate C arrays using perl

The sh script had bashisms, the awk script crashed mawk, so let's try perl...

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fs-compress: Added NOPLUGIN_LDFLAGS to Makefile for helping with linking

lib-fts: .sh scripts weren't executable - changed them to be run via bash directly.
Better to avoid relying on the executable bit.

lib-fts: Reverted e80969ea8684 which replaced .sh scripts with awk
Bugs in older awk versions (used at least by Debian squeeze & wheezy) caused
awk to crash while processing the script.

Makefile: Fixed build concurrency issues with lib-fts

lib-fts: Replaced word-boundary/break-data.sh with more portable awk scripts
Patch by Michael Grimm.

lib-sql: Added support for Cassandra CQL as lib-sql backend.
Implemented using DataStax's cpp-driver.

Many things are still unimplemented. Column name specific functionality
isn't even  supported by the Cassandra library. So this can currently mainly
be used as one of the dict backends for some simple functionality.

dict-sql: If DICT_ITERATE_FLAG_EXACT_KEY is used, use only the first found map.

lib-dict: Added DICT_ITERATE_FLAG_EXACT_KEY flag.
This is mainly useful with SQL for iterating through a result that has
multiple rows.

lib-fts: Fixed/improved test-fts-filter unit tests for previous changes.

lib-fts: normalizer-icu no longer returns empty tokens.

lib-fts: Added assert to fts_filter_filter() to make sure input token isn't empty

lib-fts: Fixed assert-crash in fts-tokenizer-generic

lib-fts: Test trailing "number." for TR29 in test-fts-tokenizer

lib-fts: Improved test-fts-tokenizer to run multiple text inputs

lmtp: Earlier compiler warning fix broke compiling completely..

lib-fts: Added asserts to make sure we don't return empty tokens.

Compiler warning fixes

lmtp: chdir() to base_dir shouldn't fail - log an error if it does

lib-index: If header is corrupted after syncing, log the reason why.

fts: Fixed crash when not using lib-fts