lib: Small istream-concat code cleanup in preperation for next change

No actual changes, just moved some code into i_stream_concat_skip().

lib: Improved test-istream-seekable unit test to check for parent stream's offset at the end

lib: When closing istream-chain, make sure parent stream is seeked to correct offset.

We were only seeking it earlier if it ended at EOF.

pop3-migration: Add calculated header hashes to local cache.

This allows faster resuming on failures if local pop3c indexes are used.

pop3c: Preserve local cache even when server reorders messages.

pop3c: Avoid unnecessarily email deletions from local index when mails have been deleted from remote POP3.

imap: Finish all commands before starting IDLE.

We don't want to send tagged command replies only after the DONE. Also this
fixes assert-crash:

Panic: file imap-client.c: line 852 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

Which could be reproduced by:

printf "0 SELECT INBOX\n1 NOOP\n2 IDLE\n"; read; printf "DONE\n"; read) | ./imap

imapc: Prefetching shouldn't send FETCH requests for headers that are already cached.

auth: Add any %variables in passdb/userdb { default_fields } to cache key.

auth: Avoid unnecessary work if passdb/userdb { override_fields, default_fields } aren't set.

.gitignore: Added *.orig and *.rej

They are created often enough to become annoying.

config: Fixed '\' line continuation to work again.

This had been broken for many years.

imapc: If command times out, reconnect and retry if possible.

pop3-migration: Fix to 2f19f8 - Don't convert LF also to '?' in header hashes.

pop3-migration: Filter out headers with invalid names.

pop3-migration: Convert all non-ASCII in headers to '?'

imapc: Added imapc_features=fetch-fix-broken-mails

This allows ignoring a missing FETCH reply. It shouldn't be used normally,
but if there's a mail that the IMAP server simply won't serve, this can be
used to finish dsync successfully.

imapc: Added imapc_cmd_timeout setting to control the command wait timeouts.

imapc: Added imapc_features=fetch-msn-workarounds

This can be used to work around broken servers that send invalid MSNs. This
avoids errors like:

imapc: Mailbox 'INBOX' state corrupted: FETCH UID mismatch (78976 != 82589)

pop3-migration: If we matched all the IMAP (but not all POP3) messages, log about it.

pop3-migration: Ignore X-Yahoo-Newman-Property: header

This exists only for Yahoo IMAP mails, but not for Yahoo POP3 mails.

pop3-migration: When logging the first missing POP3 mail, it logged a wrong mail

pop3-migration: When failing because some messages couldn't be matched, show the first message's number and UIDL

This was already being done for the warning message when
pop3_migration_ignore_missing_uidls was set, but not for the error message
when it wasn't set.

pop3-migration: Added pop3_migration_skip_size_check setting

If we know that we're not going to be able to match any messages by sizes,
we might as well not ask for the messages' sizes. This is useful at least
with Yahoo.

pop3-migration: Ignore Return-Path: header when matching UIDLs by header hashes

This fixes matching between Yahoo IMAP and Yahoo POP3

auth: Apply override_fields to userdb also when continuing to the next userdb.

auth: If userdb result was found from cache, its result_* rules were ignored.

ldap auth: %variables in pass/user_attrs are now included in auth cache key.

This makes sure that the result won't be cached too aggressively, for example
if %{lport} or %{rip} was used as a field's value. Although each of these
fields just makes the cache less effective, so it's a good idea to avoid
variables entirely in the pass/user_attrs. An alternative is to use
passdb/userdb { override_fields }

auth: Apply passdb/userdb { override_fields } only after caching

Now they're not be unnecessarily saved to cache to waste memory. More
importantly they will always override the cached fields, which is required
for %variables to work.

doveadm: Changed most print formatters to write to ostream.

This allows all the formatters to be used when sending replies to the
upcoming doveadm HTTP server responses.

The "table" formatter wasn't modified, because it writes to both stdout and
stderr.

director: "Host is being updated before previous update had finished" logs now details.

doveadm: Add plugins support for doveadm pw

This simply tries to load all the auth plugins. The ones that aren't
password scheme plugins will most likely just fail. Hopefully this will
work fine so we don't need to require any specific naming rules for the
plugins.

Signed-off-by: Alin Dobre <alin@dovecot.fi>

fts-solr: If Solr lookup returns missing or invalid UID, fail the search.

We were previously logging the error but still returning success.

doveadm: Make sure all mail storage hooks are freed at deinit.

master: Do not close stdout if going foreground

This lets one to use /dev/stdout for logging. Mainly
useful for testing purposes where we can generate
log output to stdout and use tee to write it to a
file for later examination.

lib-auth: Error message typofix

Makefile: Fixed ChangeLog generation with older git versions that don't support --since

Changed the oldest changeset to be the v2.0.0 release commit.

imap, pop3, lmtp: Enable MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE

lib-storage: Enable autoexpunge only when MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE is set.

lib-storage: Fixed looking up MAILBOX_METADATA_FIRST_SAVE_DATE from mailbox list index.

If the mailbox was cached as empty, we didn't check if it had since received
new messages. This caused the first-save-date to be returned as nonexistent,
which caused autoexpunging to not always work.

lib-storage: Fixed updating first-saved-uid to mailbox list index when first mails were just expunged.

lib-storage: Don't set internal error to storage when there's nothing to sync.

This may also wrongly overwrite an existing error.

imap-login: If LOGINDISABLED capability is advertised in banner, don't try to LOGIN without SSL/TLS.

This avoids accidentally sending the password in plaintext. Also the server
should fail the LOGIN in any case.

lib: Don't crash if getenv() is called after process_title_deinit() with Linux/OSX PROCTITLE_HACK

Right now the only known issue is GNUTLS's lib_deinit():

e = getenv("GNUTLS_NO_EXPLICIT_INIT");

But we likely never want that to be set. Alternative ways to solve this are
more annoying than our clearing the environment. Libraries probably shouldn't
rely on it much anyway, because some parts of Dovecot clear the whole
environment while running.

config: Improved error messages for wrong order of nested local/remote/protocol { .. } blocks

quota-clone: Avoid leaving a dict transaction open for unnecessarily long.

Even though the earlier change should fix the dict assert crash due to
opening multiple transactions when recursing back, this makes sure of it.
It could also be helpful for some dict backends to not keep the transaction
open for unnecessarily long.

quota-clone: Fixed update-recursion crash when closing mailbox.

We need to avoid recursing for all mailboxes that quota recalculation
might open and close, not just the one that triggered the recalculation.

pop3c: If authentication fails, log if it was done with USER+PASS or AUTH PLAIN

pop3c: Improve authentication debug log messages a bit.

auth: If passdbs are required, don't allow only master=yes passdbs.

This fixes a crash:

Panic: file auth-request.c: line 743 (auth_request_is_disabled_master_user):
assertion failed: (request->requested_login_user != NULL)

Which would happen because request->passdb=NULL because there are only
master passdbs. Even if only master passdb is actually needed, there should
still be a non-master passdb for non-master logins to specify what happens
to them.

*-login: Typofix for login_plugins error messages.

lib-fs: Added default implementations for fs_iter_*(), fs_copy() and fs_stat()

The backends can now leave them as NULL, and the callers will get an error
that they're not supported.

lib-mail: istream-binary-converter lost last few chars from root-level binary content.

lib-mail: message-parser unit test now verifies that parsed block parts match input.

lib-mail: Added message_header_line_write()

ChangeLog: Generate mercurial style changelogs

lib-storage: Ignore ACLs when autoexpunging.

quota: Fixed namespace filtering for dict and count backends.

lib-http: Assign an ID for each HTTP request and log it in debug lines.

The ID stays the same when request is retried. Added a "Req" prefix so it's
easier to search for the IDs. Based on patch by Stephan Bosch.

imapc: Added support for PROXYAUTH command by setting imapc_features = proxyauth

This can be useful when talking to Sun/Oracle IMAP server, which wants you
to use LOGIN+PROXYAUTH to perform master user logins, instead of supporting
the standard SASL PLAIN authentication.

stats: Added missing #include forgotten in 63393b70

doveadm-stats: Add documentation about stats subcommand

doveadm-stats: Add stats reset command line

stats: Add RESET call to stats client

lib-stats: Add stats_reset function

lib-fts: Add lib-fts to CPPFLAGS as include dir

Without this, VPATH builds fail because the includes cannot be
found as they are not on same directory.

*-login: Allow plugins to hook into client allocation and add module-specific contexts to client.

dovecot-config: Added LIBDOVECOT_{AUTH/POP3/IMAP_LOGIN}_INCLUDE

imap-login: Install imap-login-*.h headers so plugins can use them.

imap-login: Renamed client.[ch] to imap-login-client.[ch]

This allows installing the imap-login-client.h without conflicting.

imap-login: Added API for registering/unregistering commands (for plugins).

*-login: Added login_plugins and login_plugin_dir settings.

Added v2.2.21 to NEWS.

*-login: Changed -D parameter to mean a more generic login_debug option.

imapc: Added imapc_features = no-examine

dsync: Fixed syncing subscription state with doveadm backup.

If DSYNC_MAILBOX_TREES_SYNC_TYPE_PRESERVE_REMOTE was set, we could still have
preserved the local subscription state. Also cleaned up the code a bit to
make it clearer.

imapc: Fixed mailbox name escaping for STATUS

imapc: Fixed mailbox name escaping for CREATE, DELETE, RENAME, SUBSCRIBE, UNSUBSCRIBE

imapc: Fixed escaping/unescaping mailbox names.

This fixes accessing mailbox names with '%' (the escape_char). It also fixes
local namespace separator being different from the remote separator.

lib-storage: Added mailbox_list_[un]escape_name_params()

This allows calling the mailbox_list_[un]escape_name() with wanted parameters
instead of taking them from mailbox_list.

imapc: Don't duplicate standard mailbox flags in LIST replies.

We added the standard \NoSelect, \NonExistent, \NoInferiors and \Subscribed
to special_use string, which caused them to be sent duplicated.

virtual plugin: Added support for filtering mailboxes by METADATA entries.

Usage:

<mailbox patterns as usual>
[-]/<metadata-entry-name>:<value-wildcard>

There can be multiple metadata entries. All the entries must match.

For example:

*
/private/vendor/vendor.dovecot/virtual:*
-/private/vendor/vendor.dovecot/virtual:ignore

This matches all mailboxes, which contain a virtual METADATA entry that has
any value except "ignore".

Note that the current implementation requires still opening all the mailboxes
before matching the METADATA entries. This could be avoided in v2.3 with some
lib-storage API changes.

lib-imap-storage: imap_metadata_get*() returned 1 also when value wasn't found.

virtual plugin: Cleaned up behavior of '!' prefix with '+' and '-'

It makes a bit more sense now. Mainly the difference is that "!foo*" means
to save mails to a mailbox called "foo*", instead of including mailboxes
matching "!foo*" pattern to the virtual mailbox. It's unlikely anyone was
relying on this behavior.

virtual plugin: Don't treat "+-box" as a negative entry.

This was already documented by wiki to work as a mailbox named "-box",
although it didn't actually work that way. There wasn't any practical
difference between "+-box" and "-box", so this change is unlikely to break
anyone's config. It was mainly done as code cleanup.

virtual plugin: Minor cleanup/fix - find the namespace after we have processed special prefixes.

We already skipped over them earlier, but the logic wasn't exactly the same
as when they were actually being processed, so there could have been some
unexpected mismatches.

global: freshen copyright

git ls-files | xargs perl -p -i -e 's/(\d+)-201[0-5]/$1-2016/g;s/ (201[0-5]) Dovecot/ $1-2016 Dovecot/'

lib-storage: Fixed autoexpunge=yes to work with namespace's root mailbox.

namespace { mailbox "" { autoexpunge = .. } }

lib-fts: Create library for development packages.

lib: i_stream_get_error() now returns "EOF" if stream_errno==0 and eof==TRUE.

This can be used to replace a lot of code like:

input->stream_errno == 0 ? "EOF" : i_stream_get_error(input)

with simply:

i_stream_get_error(input)

Removed now-unused is-tagged.py

auth: Don't crash if passwd-file can't be opened

lib-settings: If SET_UINT_OCT has invalid value, we ignored the error and returned garbage value.

lib-settings: Fixed parsing '0' value for SET_UINT_OCT.

This was used only by service { *_listener { mode } }

lib-mail: message-parser was counting body_size wrong for truncated MIME headers after 7d800c55

lib-storage: mailbox_exists() shouldn't return INBOX as nonexistent if it's not created yet.

update-version.sh: Explicitly specify git directory.

pop3: Make sure pop3_lock_session=yes creates the lock's directory if it's missing.

This happened at least with mbox if the root .imap/ didn't exist yet.

auth: Fixed allow_nets=local to work correctly with non-local remote IP

imap: Don't hang at ambiguous commands when they were pipelined already before login

For example if all of these are sent in a single IP packet:

a login user pass
b select inbox
c noop
d unselect