dsync: Fixed syncing subscription state with doveadm backup.

If DSYNC_MAILBOX_TREES_SYNC_TYPE_PRESERVE_REMOTE was set, we could still have
preserved the local subscription state. Also cleaned up the code a bit to
make it clearer.

imapc: Fixed mailbox name escaping for STATUS

imapc: Fixed mailbox name escaping for CREATE, DELETE, RENAME, SUBSCRIBE, UNSUBSCRIBE

imapc: Fixed escaping/unescaping mailbox names.

This fixes accessing mailbox names with '%' (the escape_char). It also fixes
local namespace separator being different from the remote separator.

lib-storage: Added mailbox_list_[un]escape_name_params()

This allows calling the mailbox_list_[un]escape_name() with wanted parameters
instead of taking them from mailbox_list.

imapc: Don't duplicate standard mailbox flags in LIST replies.

We added the standard \NoSelect, \NonExistent, \NoInferiors and \Subscribed
to special_use string, which caused them to be sent duplicated.

virtual plugin: Added support for filtering mailboxes by METADATA entries.

Usage:

<mailbox patterns as usual>
[-]/<metadata-entry-name>:<value-wildcard>

There can be multiple metadata entries. All the entries must match.

For example:

*
/private/vendor/vendor.dovecot/virtual:*
-/private/vendor/vendor.dovecot/virtual:ignore

This matches all mailboxes, which contain a virtual METADATA entry that has
any value except "ignore".

Note that the current implementation requires still opening all the mailboxes
before matching the METADATA entries. This could be avoided in v2.3 with some
lib-storage API changes.

lib-imap-storage: imap_metadata_get*() returned 1 also when value wasn't found.

virtual plugin: Cleaned up behavior of '!' prefix with '+' and '-'

It makes a bit more sense now. Mainly the difference is that "!foo*" means
to save mails to a mailbox called "foo*", instead of including mailboxes
matching "!foo*" pattern to the virtual mailbox. It's unlikely anyone was
relying on this behavior.

virtual plugin: Don't treat "+-box" as a negative entry.

This was already documented by wiki to work as a mailbox named "-box",
although it didn't actually work that way. There wasn't any practical
difference between "+-box" and "-box", so this change is unlikely to break
anyone's config. It was mainly done as code cleanup.

virtual plugin: Minor cleanup/fix - find the namespace after we have processed special prefixes.

We already skipped over them earlier, but the logic wasn't exactly the same
as when they were actually being processed, so there could have been some
unexpected mismatches.

global: freshen copyright

git ls-files | xargs perl -p -i -e 's/(\d+)-201[0-5]/$1-2016/g;s/ (201[0-5]) Dovecot/ $1-2016 Dovecot/'

lib-storage: Fixed autoexpunge=yes to work with namespace's root mailbox.

namespace { mailbox "" { autoexpunge = .. } }

lib-fts: Create library for development packages.

lib: i_stream_get_error() now returns "EOF" if stream_errno==0 and eof==TRUE.

This can be used to replace a lot of code like:

input->stream_errno == 0 ? "EOF" : i_stream_get_error(input)

with simply:

i_stream_get_error(input)

Removed now-unused is-tagged.py

auth: Don't crash if passwd-file can't be opened

lib-settings: If SET_UINT_OCT has invalid value, we ignored the error and returned garbage value.

lib-settings: Fixed parsing '0' value for SET_UINT_OCT.

This was used only by service { *_listener { mode } }

lib-mail: message-parser was counting body_size wrong for truncated MIME headers after 7d800c55

lib-storage: mailbox_exists() shouldn't return INBOX as nonexistent if it's not created yet.

update-version.sh: Explicitly specify git directory.

pop3: Make sure pop3_lock_session=yes creates the lock's directory if it's missing.

This happened at least with mbox if the root .imap/ didn't exist yet.

auth: Fixed allow_nets=local to work correctly with non-local remote IP

imap: Don't hang at ambiguous commands when they were pipelined already before login

For example if all of these are sent in a single IP packet:

a login user pass
b select inbox
c noop
d unselect

imap: Avoid crashing at deinit if mail_user_unref() triggers mail_storage_callbacks

This could have happened with Maildir/mbox and autoexpunging.

lib-storage: Fixed autoexpunge for namespaces with non-empty prefix

auth: If allow_nets has an invalid value, don't attempt to compare it anymore.

This fixes a potential crash because net_is_in_network() was called with
garbage net_ip.

lib: Added unit tests for net_is_in_network() about IPv4-mapped IPv6 addresses

lib: Fixed assert-crash with net_is_in_network(family=ipv6, family=0, ..)

dict: Avoid a crash when dict connection is already closed when async lookup finishes.

imap: Make sure pending input is handled when a pending command has input locked.

This hopefully fixes the last assert-crash in client_check_command_hangs()

imap: Fixed crash in IDLE if DONE is received while sending large output to client.

Fixes assert-crash with backtrace:

lib-storage: mail_add_temp_wanted_fields() was reading already-freed memory.

This mainly happened with mail_log plugin enabled.

imap: Don't assert-crash if hibernation resumes IDLE, which sends a lot of data to client.

mysql: Don't require connect setting to have host-parameter if option_file is set.

The option_file could also specify the host.

lib-mail: message-parser wasn't returning hdr=NULL blocks after 078c2c8c

lib-mail: Small test-message-header-parser unit test update

dsync: Don't restrict what mailbox names can be created (except basic sanity checks)

The mailbox names already exist on the other side, so we don't want to add
arbitrary limits to them.

lib-http: Add more timing information to debug logs when HTTP connections get closed.

imap: Make static analyzer happier.

imap: Fixed potential assert-crash with command pipelining.

Should fix assert-crash:
Panic: file imap-fetch.c: line 554: assertion failed: (ctx->client->output_cmd_lock == NULL || ctx->client->output_cmd_lock == cmd)

doveadm-server: Added -D parameter to enable debugging at startup.

This mainly makes it show why plugin loads fail.

doveadm-server: Fixed loading doveadm plugins that use doveadm_dump_register()

lib-compress: lz4 istream wasn't detected reliably in some situations.

We requested too few bytes from istream, so there wasn't any guarantee that
the istream actually had all the bytes. This caused a problem for example
with mdbox when the previous mail was already fetched and the stream happened
to end in the middle of the lz4 header.

configure: Changed version number to v2.2.devel.

The actual version numbers live only on the release-branches from now on.

imap: Fixed potential crash when logging about pending commands at logout.

lib-dict: Improve EACCES error logging for dict-file.

lib-mail: message-parser didn't detect MIME part boundaries in the middle of MIME part headers.

Instead the --boundary line was thought to be part of the header itself.

lib-mail: message_header_parser_next() updates istream position immediately now.

Earlier it updated the position only on the next call or at deinit. This was
because some earlier code kept pointers to the stream data and stored them
to the returned struct message_header_line, but we don't do this anymore.

This allows more easily accessing the same istream for other purposes during
the header parsing.

lib: Avoid passing NULL to qsort() or bsearch() on empty array.

This wouldn't normally matter because count=0 so it wouldn't be dereferenced
anyway. But it triggered a run-time warning from clang, so lets fix it.

imapc: Removed commented out code.

It was probably accidentally committed debug code.

doveadm expunge: Using "all" parameter didn't work.

stats: Avoid assert-crash with dsync.

dsync creates two mail_users and they're deinited at the same time.
stats_global_user isn't set after the first one is deinited, so the next
deinit crashed because it wasn't set.

Fixes:
Panic: file stats-plugin.c: line 324 (stats_user_deinit): assertion failed:
(stats_global_user == user)

configure: Minor cleanup - avoid code duplication.

dovecot-config: Fixed setting LIBDOVECOT_LIBFTS[_DEPS]

director: Don't mark the host desynced if director is alone in ring.

director: Don't trigger a ring resync if only last_updown_change has changed.

Makefile: Make ChangeLog depend on .git/index instead of .git/ORIG_HEAD
ORIG_HEAD doesn't necessarily exist, so maybe index is good for this.

Switched .hgignore to .gitignore

Removed .hgsigs and .hgtags

Makefile, update-version.sh: Switched from hg to git.

TODO updated

acl: Empty lines and comments in dovecot-acl files weren't handled correctly.

virtual: Fixed assert-crash when opening virtual mailbox triggered backend mailbox autocreation.
Fixes assert:

Panic: file virtual-storage.c: line 335 (virtual_mailbox_opened_hook):
assertion failed: (!bbox->open_tracked)

lib-storage: Fixed mail_search_args_simplify() with empty args.
This fixes assert-crash in doveadm mailbox list.

director: If doveadm attempts to change tag for an existing host, return error.

doveadm director update: Tag can't be changed - don't allow -t parameter

imap: Added assert to make sure client_command_context isn't freed too early.

quota-fs: Fixed getting NFS rquota when the quota was disabled.

fts: When indexing header names with lib-fts, add them using "data" language.

fts: Fixed searching for HEADER "" with lib-fts

lib-storage: mail_search_args_simplify() handles now ALL better.

lib-storage: mail_search_args_simplify() code cleanup - allow merging first arg

lib-storage: Fix to a776ee107aa2 - merged-flag wasn't reset between all args.

lib-storage: Code cleanup - moved BODY/TEXT "" optimization to mail_search_args_simplify()

lib-settings: Allow using comma as deflist separator.
This means that when adding new block {}s via e.g. userdb or post-login
script, the block names can now be set with block=a,b,c instead of
"block=a b c". This is beneficial with e.g. passwd-file or userdb
default_fields where spaces are used to separate parameters entirely.

quota-fs: Recalculate relative quota rules when FS limit changes are detected.

lmtp: Memory leak fixes on handling some RCPT TO failures.

Added signature for changeset f833b8160e39

Added tag 2.2.20 for changeset f833b8160e39

Released v2.2.20.

lib-ssl-iostream, login-*: Hide unnecessary "EVP_PKEY_get1_EC_KEY:expecting a ec key" errors.

doveadm: Fixed reseting getopt() with glibc when processing multiple commands in a single process.
This means commands run with doveadm batch or multiple commands in a single
doveadm-server connection.

glibc's getopt() man page says that optind=1 should reset it for scanning a
new argument vector, but this doesn't actually seem to work. Setting
optind=0 does work though, so use it everywhere.

doveadm-server: Reset getopt() before calling non-mail commands.
This fixes parsing their parameters when using multiple such commands within
a single doveadm connection.

lib-storage: mail_search_args_simplify() handles now "(a OR b) AND (a OR c)" -> "a OR (b AND c)"

lib-storage: mail_search_args_simplify() refactoring
Removed parent_arg from mail_search_args_simplify_extract_common_and() in
preperation for the next changeset.

lib-storage: mail_search_args_simplify() handles now "a AND (a OR b)" -> "a"

lib-storage: Make sure mail_sesarch_args_simplify_sub() is called enough times.

lib-storage: Minor test-mail-search-args-simplify unit test improvements

lib-storage: mail_search_args_simplify() handles now "(a AND b) OR (a AND c)" -> "a AND (b OR c)"

lib-storage: mail_search_args_simplify() handles now "a OR (a AND b)" -> "a"

lib-storage: Made mail_search_arg_[one_]equals() public.

lib-storage: mail_search_args_equal() ignored some differences.
 - fuzzy flag
 - MAIL_SEARCH_ARG_FLAG_USE_TZ
 - INTHREAD thread type

lib-storage: mail_search_arg*_dup() didn't preserve fuzzy-flag.

lib-storage: SEARCH BODY "" wasn't properly being translated to SEARCH_ALL.
Instead if the next parameter was "" this happened (which could have been an
accidental space in doveadm search-query).

lib-storage: dovecot.index.pvt* ignored several settings.
mmap_disable=yes, dotlock_use_excl=yes and nfs_flush_index=yes weren't used.

quota-fs: File count limits with NetBSD shouldn't be multiplied by DEV_BSIZE

lib-charset: Added UTF-7 state checking unit test.
This was an idea of a way to test for a bug in FreeBSD iconv(), but nobody
reported if it did anything. So lets add it here and see.

lmtp: quota_full_tempfail=yes didn't work with lmtp_rcpt_check_quota=yes