master: Do not close stdout if going foreground

This lets one to use /dev/stdout for logging. Mainly
useful for testing purposes where we can generate
log output to stdout and use tee to write it to a
file for later examination.

lib-auth: Error message typofix

Makefile: Fixed ChangeLog generation with older git versions that don't support --since

Changed the oldest changeset to be the v2.0.0 release commit.

imap, pop3, lmtp: Enable MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE

lib-storage: Enable autoexpunge only when MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE is set.

lib-storage: Fixed looking up MAILBOX_METADATA_FIRST_SAVE_DATE from mailbox list index.

If the mailbox was cached as empty, we didn't check if it had since received
new messages. This caused the first-save-date to be returned as nonexistent,
which caused autoexpunging to not always work.

lib-storage: Fixed updating first-saved-uid to mailbox list index when first mails were just expunged.

lib-storage: Don't set internal error to storage when there's nothing to sync.

This may also wrongly overwrite an existing error.

imap-login: If LOGINDISABLED capability is advertised in banner, don't try to LOGIN without SSL/TLS.

This avoids accidentally sending the password in plaintext. Also the server
should fail the LOGIN in any case.

lib: Don't crash if getenv() is called after process_title_deinit() with Linux/OSX PROCTITLE_HACK

Right now the only known issue is GNUTLS's lib_deinit():

e = getenv("GNUTLS_NO_EXPLICIT_INIT");

But we likely never want that to be set. Alternative ways to solve this are
more annoying than our clearing the environment. Libraries probably shouldn't
rely on it much anyway, because some parts of Dovecot clear the whole
environment while running.

config: Improved error messages for wrong order of nested local/remote/protocol { .. } blocks

quota-clone: Avoid leaving a dict transaction open for unnecessarily long.

Even though the earlier change should fix the dict assert crash due to
opening multiple transactions when recursing back, this makes sure of it.
It could also be helpful for some dict backends to not keep the transaction
open for unnecessarily long.

quota-clone: Fixed update-recursion crash when closing mailbox.

We need to avoid recursing for all mailboxes that quota recalculation
might open and close, not just the one that triggered the recalculation.

pop3c: If authentication fails, log if it was done with USER+PASS or AUTH PLAIN

pop3c: Improve authentication debug log messages a bit.

auth: If passdbs are required, don't allow only master=yes passdbs.

This fixes a crash:

Panic: file auth-request.c: line 743 (auth_request_is_disabled_master_user):
assertion failed: (request->requested_login_user != NULL)

Which would happen because request->passdb=NULL because there are only
master passdbs. Even if only master passdb is actually needed, there should
still be a non-master passdb for non-master logins to specify what happens
to them.

*-login: Typofix for login_plugins error messages.

lib-fs: Added default implementations for fs_iter_*(), fs_copy() and fs_stat()

The backends can now leave them as NULL, and the callers will get an error
that they're not supported.

lib-mail: istream-binary-converter lost last few chars from root-level binary content.

lib-mail: message-parser unit test now verifies that parsed block parts match input.

lib-mail: Added message_header_line_write()

ChangeLog: Generate mercurial style changelogs

lib-storage: Ignore ACLs when autoexpunging.

quota: Fixed namespace filtering for dict and count backends.

lib-http: Assign an ID for each HTTP request and log it in debug lines.

The ID stays the same when request is retried. Added a "Req" prefix so it's
easier to search for the IDs. Based on patch by Stephan Bosch.

imapc: Added support for PROXYAUTH command by setting imapc_features = proxyauth

This can be useful when talking to Sun/Oracle IMAP server, which wants you
to use LOGIN+PROXYAUTH to perform master user logins, instead of supporting
the standard SASL PLAIN authentication.

stats: Added missing #include forgotten in 63393b70

doveadm-stats: Add documentation about stats subcommand

doveadm-stats: Add stats reset command line

stats: Add RESET call to stats client

lib-stats: Add stats_reset function

lib-fts: Add lib-fts to CPPFLAGS as include dir

Without this, VPATH builds fail because the includes cannot be
found as they are not on same directory.

*-login: Allow plugins to hook into client allocation and add module-specific contexts to client.

dovecot-config: Added LIBDOVECOT_{AUTH/POP3/IMAP_LOGIN}_INCLUDE

imap-login: Install imap-login-*.h headers so plugins can use them.

imap-login: Renamed client.[ch] to imap-login-client.[ch]

This allows installing the imap-login-client.h without conflicting.

imap-login: Added API for registering/unregistering commands (for plugins).

*-login: Added login_plugins and login_plugin_dir settings.

Added v2.2.21 to NEWS.

*-login: Changed -D parameter to mean a more generic login_debug option.

imapc: Added imapc_features = no-examine

dsync: Fixed syncing subscription state with doveadm backup.

If DSYNC_MAILBOX_TREES_SYNC_TYPE_PRESERVE_REMOTE was set, we could still have
preserved the local subscription state. Also cleaned up the code a bit to
make it clearer.

imapc: Fixed mailbox name escaping for STATUS

imapc: Fixed mailbox name escaping for CREATE, DELETE, RENAME, SUBSCRIBE, UNSUBSCRIBE

imapc: Fixed escaping/unescaping mailbox names.

This fixes accessing mailbox names with '%' (the escape_char). It also fixes
local namespace separator being different from the remote separator.

lib-storage: Added mailbox_list_[un]escape_name_params()

This allows calling the mailbox_list_[un]escape_name() with wanted parameters
instead of taking them from mailbox_list.

imapc: Don't duplicate standard mailbox flags in LIST replies.

We added the standard \NoSelect, \NonExistent, \NoInferiors and \Subscribed
to special_use string, which caused them to be sent duplicated.

virtual plugin: Added support for filtering mailboxes by METADATA entries.

Usage:

<mailbox patterns as usual>
[-]/<metadata-entry-name>:<value-wildcard>

There can be multiple metadata entries. All the entries must match.

For example:

*
/private/vendor/vendor.dovecot/virtual:*
-/private/vendor/vendor.dovecot/virtual:ignore

This matches all mailboxes, which contain a virtual METADATA entry that has
any value except "ignore".

Note that the current implementation requires still opening all the mailboxes
before matching the METADATA entries. This could be avoided in v2.3 with some
lib-storage API changes.

lib-imap-storage: imap_metadata_get*() returned 1 also when value wasn't found.

virtual plugin: Cleaned up behavior of '!' prefix with '+' and '-'

It makes a bit more sense now. Mainly the difference is that "!foo*" means
to save mails to a mailbox called "foo*", instead of including mailboxes
matching "!foo*" pattern to the virtual mailbox. It's unlikely anyone was
relying on this behavior.

virtual plugin: Don't treat "+-box" as a negative entry.

This was already documented by wiki to work as a mailbox named "-box",
although it didn't actually work that way. There wasn't any practical
difference between "+-box" and "-box", so this change is unlikely to break
anyone's config. It was mainly done as code cleanup.

virtual plugin: Minor cleanup/fix - find the namespace after we have processed special prefixes.

We already skipped over them earlier, but the logic wasn't exactly the same
as when they were actually being processed, so there could have been some
unexpected mismatches.

global: freshen copyright

git ls-files | xargs perl -p -i -e 's/(\d+)-201[0-5]/$1-2016/g;s/ (201[0-5]) Dovecot/ $1-2016 Dovecot/'

lib-storage: Fixed autoexpunge=yes to work with namespace's root mailbox.

namespace { mailbox "" { autoexpunge = .. } }

lib-fts: Create library for development packages.

lib: i_stream_get_error() now returns "EOF" if stream_errno==0 and eof==TRUE.

This can be used to replace a lot of code like:

input->stream_errno == 0 ? "EOF" : i_stream_get_error(input)

with simply:

i_stream_get_error(input)

Removed now-unused is-tagged.py

auth: Don't crash if passwd-file can't be opened

lib-settings: If SET_UINT_OCT has invalid value, we ignored the error and returned garbage value.

lib-settings: Fixed parsing '0' value for SET_UINT_OCT.

This was used only by service { *_listener { mode } }

lib-mail: message-parser was counting body_size wrong for truncated MIME headers after 7d800c55

lib-storage: mailbox_exists() shouldn't return INBOX as nonexistent if it's not created yet.

update-version.sh: Explicitly specify git directory.

pop3: Make sure pop3_lock_session=yes creates the lock's directory if it's missing.

This happened at least with mbox if the root .imap/ didn't exist yet.

auth: Fixed allow_nets=local to work correctly with non-local remote IP

imap: Don't hang at ambiguous commands when they were pipelined already before login

For example if all of these are sent in a single IP packet:

a login user pass
b select inbox
c noop
d unselect

imap: Avoid crashing at deinit if mail_user_unref() triggers mail_storage_callbacks

This could have happened with Maildir/mbox and autoexpunging.

lib-storage: Fixed autoexpunge for namespaces with non-empty prefix

auth: If allow_nets has an invalid value, don't attempt to compare it anymore.

This fixes a potential crash because net_is_in_network() was called with
garbage net_ip.

lib: Added unit tests for net_is_in_network() about IPv4-mapped IPv6 addresses

lib: Fixed assert-crash with net_is_in_network(family=ipv6, family=0, ..)

dict: Avoid a crash when dict connection is already closed when async lookup finishes.

imap: Make sure pending input is handled when a pending command has input locked.

This hopefully fixes the last assert-crash in client_check_command_hangs()

imap: Fixed crash in IDLE if DONE is received while sending large output to client.

Fixes assert-crash with backtrace:

lib-storage: mail_add_temp_wanted_fields() was reading already-freed memory.

This mainly happened with mail_log plugin enabled.

imap: Don't assert-crash if hibernation resumes IDLE, which sends a lot of data to client.

mysql: Don't require connect setting to have host-parameter if option_file is set.

The option_file could also specify the host.

lib-mail: message-parser wasn't returning hdr=NULL blocks after 078c2c8c

lib-mail: Small test-message-header-parser unit test update

dsync: Don't restrict what mailbox names can be created (except basic sanity checks)

The mailbox names already exist on the other side, so we don't want to add
arbitrary limits to them.

lib-http: Add more timing information to debug logs when HTTP connections get closed.

imap: Make static analyzer happier.

imap: Fixed potential assert-crash with command pipelining.

Should fix assert-crash:
Panic: file imap-fetch.c: line 554: assertion failed: (ctx->client->output_cmd_lock == NULL || ctx->client->output_cmd_lock == cmd)

doveadm-server: Added -D parameter to enable debugging at startup.

This mainly makes it show why plugin loads fail.

doveadm-server: Fixed loading doveadm plugins that use doveadm_dump_register()

lib-compress: lz4 istream wasn't detected reliably in some situations.

We requested too few bytes from istream, so there wasn't any guarantee that
the istream actually had all the bytes. This caused a problem for example
with mdbox when the previous mail was already fetched and the stream happened
to end in the middle of the lz4 header.

configure: Changed version number to v2.2.devel.

The actual version numbers live only on the release-branches from now on.

imap: Fixed potential crash when logging about pending commands at logout.

lib-dict: Improve EACCES error logging for dict-file.

lib-mail: message-parser didn't detect MIME part boundaries in the middle of MIME part headers.

Instead the --boundary line was thought to be part of the header itself.

lib-mail: message_header_parser_next() updates istream position immediately now.

Earlier it updated the position only on the next call or at deinit. This was
because some earlier code kept pointers to the stream data and stored them
to the returned struct message_header_line, but we don't do this anymore.

This allows more easily accessing the same istream for other purposes during
the header parsing.

lib: Avoid passing NULL to qsort() or bsearch() on empty array.

This wouldn't normally matter because count=0 so it wouldn't be dereferenced
anyway. But it triggered a run-time warning from clang, so lets fix it.

imapc: Removed commented out code.

It was probably accidentally committed debug code.

doveadm expunge: Using "all" parameter didn't work.

stats: Avoid assert-crash with dsync.

dsync creates two mail_users and they're deinited at the same time.
stats_global_user isn't set after the first one is deinited, so the next
deinit crashed because it wasn't set.

Fixes:
Panic: file stats-plugin.c: line 324 (stats_user_deinit): assertion failed:
(stats_global_user == user)

configure: Minor cleanup - avoid code duplication.

dovecot-config: Fixed setting LIBDOVECOT_LIBFTS[_DEPS]

director: Don't mark the host desynced if director is alone in ring.

director: Don't trigger a ring resync if only last_updown_change has changed.

Makefile: Make ChangeLog depend on .git/index instead of .git/ORIG_HEAD
ORIG_HEAD doesn't necessarily exist, so maybe index is good for this.