imap: Fixed assert-crash if client disconnected at a specific command state.
If there was a command with state=CLIENT_COMMAND_STATE_WAIT_SYNC and output
stream was already detected to be closed, we crashed with:

Panic: file imap-client.c: line 841 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

lib-index: mail_transaction_log_file_map() didn't properly check start_offset
If it was too high, it still returned successful mapping. This could have
caused an assert-crash later on when the start_offset was actually attempted
to be used.

lib-ssl-iostream: Fixed compiler warning when OpenSSL didn't support ECDH.

fts: Error handling fix for previous per-language tokenizer change.

Added signature for changeset c35e62a9e710

Added tag 2.2.20.rc1 for changeset c35e62a9e710

Released v2.2.20.rc1.

fts: Added support for per-language tokenizer settings.
fts_tokenizer_<lang> now overrides fts_tokenizers setting.
fts_tokenizer_<name>_<lang> now overrides fts_tokenizer_<name> setting.

lib-ssl-iostream: Moved openssl_iostream_*error() to -common.c
login-common code only links with this file, so that's required for the
previous changes to actually work.

login, lib-ssl-iostream: Clear errors caused by manual EC key selection when there was no EC key.
EVP_PKEY_get1_EC_KEY() would return an error, which should be ignored
instead of being logged later on.

lib-ssl-iostream: Check for SSL_CTX_set_ecdh_auto() failure.
This shouldn't happen though.

login, lib-ssl-iostream: Deduplicate code with shared openssl_iostream_use_certificate_error()

login-common: Use openssl_iostream_*error() to avoid code duplication.

lib-ssl-iostream: Fixes to error handling.
Copy behavior from login-common/ssl-proxy-openssl.c:
 - Handle stacked errors.
 - Improve errors with ERR_TXT_STRING flag.

lib-ssl-iostream: Don't ignore errors on SSL certificate loading.
Patch by Sebastiaan Hoogeveen.

mail-log: If uid field is used, make sure newly saved mails actually get an UID.
With Maildir the UID is otherwise assigned on mail deliveries only if
dovecot-uidlist happens to get locked.

lib-mail: test-rfc822-parser unit test fix
We didn't check that all the output was necessarily verified. Also this
makes static analyzer happier.

director: Minor code cleanup - removed unnecessary code.

director: Include tag also in the hosts_hash.

director: Fixed recent tag reimplementation to actually work.
We still just created one large vhosts pool for all tags containing all the
hosts.

director: Don't treat empty hostname the same as having it.
This could have caused "host not given" errors if an empty "host=" was sent
to login process, even though hostip was also sent.

Fixed this in two places, although either one should have been enough.

director: Fixed "doveadm director status user@domain" not to hang due to missing LF.

lib-imap: Added unit tests for imap_append_[an]string()

lib-mail: rfc822_parse_content_param() was unescaping already unescaped parameters
This caused all Content-* parameter parsing to be unescaped once too many
times, resulting in somewhat broken BODY and BODYSTRUCTURE replies if any
<\> characters were used. Also MIME boundaries were parsed in case <\> was
used in them, but this probably didn't practically happen.

doveadm fetch: Added date.sent/received/saved.unixtime

lib: Created t_str_trim() functions to trim characters from beginning and end of string.

Makefile: Added missing mail-autoexpunge.h

lib: Added extra assert to i_stream_read()

fts-solr: Fixed sending empty parameters.
Solr probably doesn't do anything useful with them, but we shouldn't get 400
Bad Request errors.

Compiler warning fix for 32bit systems

fts-solr: Fixed escaping query parameters.
Solr documentation says that "quoted string" would already work without
escaping, but that doesn't seem to be true (we were also missing the \"
escaping there). So we'll now escape all the special characters without
quotes around it, which seems to work. Also added '/' to list of special
characters, which is used by Solr 4.0.

zlib: Fixed copying causing cache corruption when zlib_save wasn't set.
dovecot.index.cache entries were broken/missing if:
- The zlib plugin is enabled;
- The zlib_save/zlib_save_level options are NOT enabled;
- The source message being copied is compressed;
- The mail_log plugin is logging "copy" events;
- The mail_log_fields setting includes at least one message header;
- The destination mailbox folder has an index file that is recording the
logged headers;
- The source mailbox folder does NOT have an index file recording the
logged headers.

Found by Robert L Mathews.

lib: Fixed compiling unit test in systems where NULL isn't of type void*
For example Solaris.

auth: Fixed test-auth-request-var-expand unit test on big endian CPUs

Compiler warning fix for 32bit systems

lib-storage: Don't add first_saved to mailbox list index unless autoexpunge is set.

imap: Free mail_user only after client is disconnected.

Added mailbox { autoexpunge } setting.
This can be used to automatically expunge mails from specified mailboxes
after they're old enough. The expunges are done when the user is being
deinitialized. mailbox_list_index=yes should be enabled to have the best
performance with this setting.

Example:

namespace inbox {
  mailbox Spam {
    auto = create
    special_use = \Junk
    autoexpunge = 30d
  }
}

imap: SETMETADATA didn't set ostream output handler back
This caused hangs afterwards when receiving long replies (e.g. FETCH).

quota-clone: Avoid assert-crash when quota recalculation is triggered.
Quota recalculation opened all mailboxes and got us back to
quota_clone_flush(), which caused another dict transaction to be opened,
which caused a crash with some dict backends.

lib-fts: Move ICU transliterator creation to fts-icu.h
This allows others to use transliterators without so much code duplication.
The transliterator still has to be destroyed by the user, with utrans_close().

lib-fts: Fix compilation for systems without libicu.
The earlier patch, 194e3622d5e6, did not consider both library dependencies.

imap: When logging command disconnection info, log the oldest command's info (not newest)

imap: Added extra assert checks to make sure command states are consistent.

imap: IDLE may have called client_continue_pending_input() unnecessarily.

imap: Fixed crash at FETCH deinit caused by b638e19d3bd4
imap_fetch_free() would have been called twice, which caused problems.

imap: Fixed hanging if a pipelined IMAP command was waiting for previous command to sync.
..And the previous command was waiting for the next command to finish before
it would start syncing. For example FETCH+LOGOUT pipelined.

director: Fixed backend selection when multiple tags were used.
The previous algorithm was causing an uneven load for backends.

This change breaks compatibility with older director servers that were using
tags because of the different selection algorithm. The new director code
refuses to run within a cluster with old directors if tags are used.

director: Code cleanup - renamed hosts_unsorted to vhosts_unsorted

director: Code cleanup - rename tag to tag_name in mail_host_*() parameters.
In preparation for the following changes.

director: Code cleanup - access host->tag via mail_host_get_tag()
In preparation for the following changes.

director: Code cleanup - make most mail_host_*() list parameters unnecessary.

director: With director_consistent_hashing=yes hosts_hash wasn't always calculated right.
If different servers had added hosts in different order, the hosts_hash
would have become different, which caused errors and resyncs.

lib-fts: Fix compilation for systems without libstemmer.

fts: Remove default filters and tokenizers.
There aren't any specially good defaults that work for all the languages,
so it's better to just enforce explicit settings.

fs-posix: Added mode=auto parameter to copy mode from parent directory if setgid-bit is set

fs-posix: Code cleanup - don't store dir_mode permanently.
Cleanup in preparation for mode=auto.

lib-fts: Silence clang warnings.

fts plugin: Install fts-storage.h

lib-fs: Added fs_stats_get_read/write_usecs()
These can be easily used to sum up all the timings for read and write
categories.

indexer-worker: Use provided session-id only as a prefix for a unique session ID.
Fixes stats process's "Duplicate session ID" errors when LMTP delivers to
multiple recipients.

lib-storage: Added mail_storage_service_input.session_id_prefix
This should make it easier to pass through the original session_id to worker
process sessions. Especially if these sessions are somewhat short-lived it
can be useful to assign them a unique session ID while still being able to
match it to the parent's session ID.

stats: Improved logging on invalid CONNECT input.

stats: Forced sending of UPDATE-SESSION every 5 minutes wasn't working.
This caused stats process to forget about idling (imap) sessions if they
didn't do anything for over 15 minutes.

stats: When logging UPDATE-SESSION stats, log also the session ID.

lib-storage: Create ioloop context for users even if log prefix changing is disabled.
This fixes stats plugin to work with lmtp, imap-urlauth and doveadm-server.

lib-master: master_service_is_master_stopped() now returns FALSE if running standalone.
The only caller of this function was stats plugin to see if it should send
stats updates. So this fixes dovecot-lda, doveadm and other standalone tools
to send stats updates.

lib-master: Fixed timeout leak at deinit when we couldn't connect to ipc-server

pop3: When creating session lock file, prefer to write it to the index root dir.
This is especially important for mail storage backends that don't have a mail
root directory.

pop3: Send "OK Logged in" before reading mailbox.
This way if the reading takes a long time, the client still sees that the
login itself was successful. This is especially useful to avoid unnecessary
errors logged by proxies.

imap: Disconnection log message incorrectly logged "input/output" even if only "input" was set.

imap: When disconnected during FETCH, include the last byte counts in disconnection log message.

lib-fs: Improved fs-metawrap's fs_stat() error message.

lib-fs: Fixed fs_stat() for fs-metawrap

*-login: Added postlogin_socket=path passdb extra field.
By default e.g. "imap" or "pop3" is the post-login socket, but this can
override it. This could be used for example for per-user debugging (e.g.
setting executable to be run via strace or valgrind).

lib-master: master_auth_request_full() now supports per-request path.

lib-master: Added extensible master_auth_request_full() call.
Only the API was changed, no changes to functionality.

lib-fs: Added asserts to fs_set_metadata() to make sure key and value are non-NULL
Otherwise the bug would be noticed only much later when trying to
dereference NULL pointer.

fts: Added fts_library_init() and _deinit()
Replaces calling three different functions on init and deinit.

lib-fts: Added fts_language_register() to register more languages in plugins.

dovecot-config: Added LIBFTS.

lib-fts: Explicitly state encoding used for stemming.

lib-fts: Removed TODO comment.
The call to uni_utf8_get_char_n() already does easy cases first.
Adding more special code paths is not necessary.

lib-fts: Minor code cleanup - Rename some internal functions.
Maybe the names are more logical this way.

lib-fts: Add Norwegian.
Norwegian has two main dialects, Bokmal(nb) and Nynorsk(nn). They
are detected separately by libexttextcat, but the stemmer only
knows Norwegian. Thus they are treated as a single language,
Norwegian (no). This might also make more sense in everyday
use of mixed writing style Norwegian.

Caveat: The default normalizer filter does not modify U+00F8
(Latin Small Letter O with Stroke). In some configurations it
might be desirable to rewrite it to e.g. o. Same goes for the
upper case version. This can be done by passing a modified "id"
setting to the normalizer filter.

lib-fts: Add comment to language names.
Languages are defined by their ISO 639-1 code, which is a two letters.
It is possible, that some languages with only a three letter code, ie.
a ISO 639-2 code, could be added in the future.

lib-fts: Add Swedish (sv) to supported languages.

lib-fts: Add l' contraction to French unit test.

pop3-migration: Fixed memory leak in unit test.

lib-mail: Fixed istream-header-filter when callback excluded multiple headers.
This only affected pop3-migration plugin.

dovecot.m4: Run valgrind with --trace-children=yes
Some of the unit tests are run via shell and we want to check the unit tests
instead of just the shell.

Added Valgrind suppressions file for ignoring any bash memory leaks.
Some of the unit tests are run via shell.

dovecot.m4: Added --leak-check=full to valgrind

various - remove 8-bit characters from literal strings in test cases
C has a portable way of expressing characters not in the basic character
set, namely \xNN escaping. Otherwise, the interpretation of the raw utf-8
is implentation dependent. This has the benefit of making some tests'
expected output more obvious, such as "=c3=a4" matching "\xC3\xA4", even
if it hinders the readability of some natural-language-based tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leak of iterator in str_table_deinit()
The deinit function uses an iterator, but never cleared it up. Found by
Valgrind.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: make test-istream-failure-at not leak memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leaks in failure-at streams
The parent wasn't getting unref'ed, and would hang around for ever.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-master: stop tests from leaking memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: free resources used in the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: ref/unref input stream in http message parser
To prevent assidental disappearance of the stream while it's in use.
Also, the caller can create and forget - we'll do the cleanup later.

Signed-off-by: Phil Carmody <phil@dovecot.fi>