Released v2.2.21.

dovecot-config: Fixed setting LIBDOVECOT_LIBFTS[_DEPS]

director: Don't mark the host desynced if director is alone in ring.

director: Don't trigger a ring resync if only last_updown_change has changed.

Makefile: Make ChangeLog depend on .git/index instead of .git/ORIG_HEAD
ORIG_HEAD doesn't necessarily exist, so maybe index is good for this.

Switched .hgignore to .gitignore

Removed .hgsigs and .hgtags

Makefile, update-version.sh: Switched from hg to git.

acl: Empty lines and comments in dovecot-acl files weren't handled correctly.

virtual: Fixed assert-crash when opening virtual mailbox triggered backend mailbox autocreation.
Fixes assert:

Panic: file virtual-storage.c: line 335 (virtual_mailbox_opened_hook):
assertion failed: (!bbox->open_tracked)

lib-storage: Fixed mail_search_args_simplify() with empty args.
This fixes assert-crash in doveadm mailbox list.

doveadm director update: Tag can't be changed - don't allow -t parameter

fts: When indexing header names with lib-fts, add them using "data" language.

fts: Fixed searching for HEADER "" with lib-fts

lib-storage: mail_search_args_simplify() handles now ALL better.

lib-storage: mail_search_args_simplify() code cleanup - allow merging first arg

lib-storage: Fix to a776ee107aa2 - merged-flag wasn't reset between all args.

lib-storage: Code cleanup - moved BODY/TEXT "" optimization to mail_search_args_simplify()

lmtp: Memory leak fixes on handling some RCPT TO failures.

Added signature for changeset f833b8160e39

Added tag 2.2.20 for changeset f833b8160e39

Released v2.2.20.

lib-ssl-iostream, login-*: Hide unnecessary "EVP_PKEY_get1_EC_KEY:expecting a ec key" errors.

doveadm: Fixed reseting getopt() with glibc when processing multiple commands in a single process.
This means commands run with doveadm batch or multiple commands in a single
doveadm-server connection.

glibc's getopt() man page says that optind=1 should reset it for scanning a
new argument vector, but this doesn't actually seem to work. Setting
optind=0 does work though, so use it everywhere.

doveadm-server: Reset getopt() before calling non-mail commands.
This fixes parsing their parameters when using multiple such commands within
a single doveadm connection.

lib-storage: mail_search_args_simplify() handles now "(a OR b) AND (a OR c)" -> "a OR (b AND c)"

lib-storage: mail_search_args_simplify() refactoring
Removed parent_arg from mail_search_args_simplify_extract_common_and() in
preperation for the next changeset.

lib-storage: mail_search_args_simplify() handles now "a AND (a OR b)" -> "a"

lib-storage: Make sure mail_sesarch_args_simplify_sub() is called enough times.

lib-storage: Minor test-mail-search-args-simplify unit test improvements

lib-storage: mail_search_args_simplify() handles now "(a AND b) OR (a AND c)" -> "a AND (b OR c)"

lib-storage: mail_search_args_simplify() handles now "a OR (a AND b)" -> "a"

lib-storage: Made mail_search_arg_[one_]equals() public.

lib-storage: mail_search_args_equal() ignored some differences.
 - fuzzy flag
 - MAIL_SEARCH_ARG_FLAG_USE_TZ
 - INTHREAD thread type

lib-storage: mail_search_arg*_dup() didn't preserve fuzzy-flag.

lib-storage: SEARCH BODY "" wasn't properly being translated to SEARCH_ALL.
Instead if the next parameter was "" this happened (which could have been an
accidental space in doveadm search-query).

lib-storage: dovecot.index.pvt* ignored several settings.
mmap_disable=yes, dotlock_use_excl=yes and nfs_flush_index=yes weren't used.

quota-fs: File count limits with NetBSD shouldn't be multiplied by DEV_BSIZE

lib-charset: Added UTF-7 state checking unit test.
This was an idea of a way to test for a bug in FreeBSD iconv(), but nobody
reported if it did anything. So lets add it here and see.

lmtp: quota_full_tempfail=yes didn't work with lmtp_rcpt_check_quota=yes

sdbox: Fixed assert-crash when message with external attachments was copied between storages.

fts: Fixed FTS search query generation after earlier per-language tokenizer changes.

lib-http: Give a better error message if request times out.
Instead of just giving the configured timeout, log how long the timeout
actually took for the oldest request in wait list. Also if the request was
retried, log how many times the request was sent and how long the request
took in total.

doveadm fts lookup/expand: Don't assert-crash if fts isn't configured.

lib: Removed t_str_trim() for now due to collision in Pigeonhole v0.4.9

imap: Fixed assert-crash if client disconnected at a specific command state.
If there was a command with state=CLIENT_COMMAND_STATE_WAIT_SYNC and output
stream was already detected to be closed, we crashed with:

Panic: file imap-client.c: line 841 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

lib-index: mail_transaction_log_file_map() didn't properly check start_offset
If it was too high, it still returned successful mapping. This could have
caused an assert-crash later on when the start_offset was actually attempted
to be used.

lib-ssl-iostream: Fixed compiler warning when OpenSSL didn't support ECDH.

fts: Error handling fix for previous per-language tokenizer change.

Added signature for changeset c35e62a9e710

Added tag 2.2.20.rc1 for changeset c35e62a9e710

Released v2.2.20.rc1.

fts: Added support for per-language tokenizer settings.
fts_tokenizer_<lang> now overrides fts_tokenizers setting.
fts_tokenizer_<name>_<lang> now overrides fts_tokenizer_<name> setting.

lib-ssl-iostream: Moved openssl_iostream_*error() to -common.c
login-common code only links with this file, so that's required for the
previous changes to actually work.

login, lib-ssl-iostream: Clear errors caused by manual EC key selection when there was no EC key.
EVP_PKEY_get1_EC_KEY() would return an error, which should be ignored
instead of being logged later on.

lib-ssl-iostream: Check for SSL_CTX_set_ecdh_auto() failure.
This shouldn't happen though.

login, lib-ssl-iostream: Deduplicate code with shared openssl_iostream_use_certificate_error()

login-common: Use openssl_iostream_*error() to avoid code duplication.

lib-ssl-iostream: Fixes to error handling.
Copy behavior from login-common/ssl-proxy-openssl.c:
 - Handle stacked errors.
 - Improve errors with ERR_TXT_STRING flag.

lib-ssl-iostream: Don't ignore errors on SSL certificate loading.
Patch by Sebastiaan Hoogeveen.

mail-log: If uid field is used, make sure newly saved mails actually get an UID.
With Maildir the UID is otherwise assigned on mail deliveries only if
dovecot-uidlist happens to get locked.

lib-mail: test-rfc822-parser unit test fix
We didn't check that all the output was necessarily verified. Also this
makes static analyzer happier.

director: Minor code cleanup - removed unnecessary code.

director: Include tag also in the hosts_hash.

director: Fixed recent tag reimplementation to actually work.
We still just created one large vhosts pool for all tags containing all the
hosts.

director: Don't treat empty hostname the same as having it.
This could have caused "host not given" errors if an empty "host=" was sent
to login process, even though hostip was also sent.

Fixed this in two places, although either one should have been enough.

director: Fixed "doveadm director status user@domain" not to hang due to missing LF.

lib-imap: Added unit tests for imap_append_[an]string()

lib-mail: rfc822_parse_content_param() was unescaping already unescaped parameters
This caused all Content-* parameter parsing to be unescaped once too many
times, resulting in somewhat broken BODY and BODYSTRUCTURE replies if any
<\> characters were used. Also MIME boundaries were parsed in case <\> was
used in them, but this probably didn't practically happen.

doveadm fetch: Added date.sent/received/saved.unixtime

lib: Created t_str_trim() functions to trim characters from beginning and end of string.

Makefile: Added missing mail-autoexpunge.h

lib: Added extra assert to i_stream_read()

fts-solr: Fixed sending empty parameters.
Solr probably doesn't do anything useful with them, but we shouldn't get 400
Bad Request errors.

Compiler warning fix for 32bit systems

fts-solr: Fixed escaping query parameters.
Solr documentation says that "quoted string" would already work without
escaping, but that doesn't seem to be true (we were also missing the \"
escaping there). So we'll now escape all the special characters without
quotes around it, which seems to work. Also added '/' to list of special
characters, which is used by Solr 4.0.

zlib: Fixed copying causing cache corruption when zlib_save wasn't set.
dovecot.index.cache entries were broken/missing if:
- The zlib plugin is enabled;
- The zlib_save/zlib_save_level options are NOT enabled;
- The source message being copied is compressed;
- The mail_log plugin is logging "copy" events;
- The mail_log_fields setting includes at least one message header;
- The destination mailbox folder has an index file that is recording the
logged headers;
- The source mailbox folder does NOT have an index file recording the
logged headers.

Found by Robert L Mathews.

lib: Fixed compiling unit test in systems where NULL isn't of type void*
For example Solaris.

auth: Fixed test-auth-request-var-expand unit test on big endian CPUs

Compiler warning fix for 32bit systems

lib-storage: Don't add first_saved to mailbox list index unless autoexpunge is set.

imap: Free mail_user only after client is disconnected.

Added mailbox { autoexpunge } setting.
This can be used to automatically expunge mails from specified mailboxes
after they're old enough. The expunges are done when the user is being
deinitialized. mailbox_list_index=yes should be enabled to have the best
performance with this setting.

Example:

namespace inbox {
  mailbox Spam {
    auto = create
    special_use = \Junk
    autoexpunge = 30d
  }
}

imap: SETMETADATA didn't set ostream output handler back
This caused hangs afterwards when receiving long replies (e.g. FETCH).

quota-clone: Avoid assert-crash when quota recalculation is triggered.
Quota recalculation opened all mailboxes and got us back to
quota_clone_flush(), which caused another dict transaction to be opened,
which caused a crash with some dict backends.

lib-fts: Move ICU transliterator creation to fts-icu.h
This allows others to use transliterators without so much code duplication.
The transliterator still has to be destroyed by the user, with utrans_close().

lib-fts: Fix compilation for systems without libicu.
The earlier patch, 194e3622d5e6, did not consider both library dependencies.

imap: When logging command disconnection info, log the oldest command's info (not newest)

imap: Added extra assert checks to make sure command states are consistent.

imap: IDLE may have called client_continue_pending_input() unnecessarily.

imap: Fixed crash at FETCH deinit caused by b638e19d3bd4
imap_fetch_free() would have been called twice, which caused problems.

imap: Fixed hanging if a pipelined IMAP command was waiting for previous command to sync.
..And the previous command was waiting for the next command to finish before
it would start syncing. For example FETCH+LOGOUT pipelined.

director: Fixed backend selection when multiple tags were used.
The previous algorithm was causing an uneven load for backends.

This change breaks compatibility with older director servers that were using
tags because of the different selection algorithm. The new director code
refuses to run within a cluster with old directors if tags are used.

director: Code cleanup - renamed hosts_unsorted to vhosts_unsorted

director: Code cleanup - rename tag to tag_name in mail_host_*() parameters.
In preparation for the following changes.

director: Code cleanup - access host->tag via mail_host_get_tag()
In preparation for the following changes.

director: Code cleanup - make most mail_host_*() list parameters unnecessary.

director: With director_consistent_hashing=yes hosts_hash wasn't always calculated right.
If different servers had added hosts in different order, the hosts_hash
would have become different, which caused errors and resyncs.

lib-fts: Fix compilation for systems without libstemmer.

fts: Remove default filters and tokenizers.
There aren't any specially good defaults that work for all the languages,
so it's better to just enforce explicit settings.