lib: Add str_is_float check function

dsync: Improved header hash v2 algorithm to remove repeated '?' chars.

This is to help with Yahoo that replaces UTF-8 chars in headers with a
single '?' (instead of '?' per each 8bit byte).

lib-index: Memory leak fix for test-mail-index-map

This failed when running make check with valgrind.

pop3-migration: Fix to 5407a86 - don't sync POP3 UIDLs when we don't need to

dsync: Avoid finishing importer successfully on exporter failures.

At least dsync_mailbox_import_changes_finish() could have been called when
exporter was already failed.

doveadm backup: If local mailbox has more mails than remote, detect and delete it earlier.

imapc: Don't mark the initial sync done if it wasn't successful.

imapc: Handle disconnection when NOOP is sent to verify if mail is expunged.

lib-index: Added unit test to mail_index_map_lookup_seq_range()

imapc: Don't ignore FETCH, SEARCH and EXPUNGE returning NO failures in syncing.

Especially if the FETCH 1:* (FLAGS) didn't succeed, we expunged all the
mails from local index.

imapc: If FETCH didn't send our wanted data, log the tagged FETCH reply text.

imapc: Don't use fetch-fix-broken-mails for NO [LIMIT] FETCH replies

imapc: Remove X-Message-Flag filtering if imapc_features has rfc822.size

doveadm: All commands iterating mails stop now if doveadm has been killed.

doveadm: Enable SIGINT and SIGTERM signal handler for all doveadm mail commands.

Most importantly this allows stopping dsync.

doveadm backup: Detect and handle conflicts earlier.

This avoids doing a lot of work, only for the next doveadm backup to just
delete the entire mailbox and start from the beginning.

imapc: Fixed assert-crash in mailbox syncing, if mailbox couldn't be opened.

Usually meaning that syncing was attempted when IMAP server couldn't be
connected to. Fixes the assert:

Panic: file imapc-client.c: line 439 (imapc_client_get_capabilities):
assertion failed: (conn != NULL)

imap: Send all pending tagged command replies before APPEND is started.

This probably doesn't matter a lot, but it's cleaner.

One side effect of this change is that if multiple APPENDs are pipelined
(without MULTIAPPEND) on the selected mailbox, this now performs a sync
between each APPEND and sends the EXISTS replies. This may be slightly
lower in performance, but it's also slightly more correct behavior.

lib: Added json_append_escaped_data() to escape non-NUL terminated input.

lib: json_append_escaped() doesn't need to escape the 8bit chars.

We'll assume that the input is valid UTF-8.

lib-index: If transaction log was locked for at least 30 secs, log a warning (not at 3min)

This is because we log a warning about it already when locking it took 30
seconds, so it's useful to see which process was actually keeping the lock.

pop3-migration: Perform UIDL syncing a bit earlier to work around Yahoo IMAP bug.

imapc: Don't use fetch-fix-broken-mails for OK and NO [SERVERBUG] FETCH replies

Hopefully no servers are actually returning OK without returning a FETCH
reply. If they are, maybe we need another workaround..

In any case Yahoo IMAP sometimes loses state and starts returning OK without
FETCH replies to all UID FETCH requests (and BADs to FETCHes). It also may
return NO [UNAVAILABLE] for both permanent and temporary FETCH failures, so
we can't do anything with that.

I added NO [SERVERBUG] because that's what Dovecot responds to temporary
failures. I'm not sure how useful that check is though.

lib: Make static analyzer happier about istream-chain changes

pop3c: Fixed assert-crash when prefetching a mail failed.

*-login: Add all returned passdb fields to struct client_auth_reply.all_fields

These will be mainly useful to plugins.

fts-solr: Changed default operator to AND to fix multi-word queries.

Previously for example searching from:foo@example.com was expanded to
foo OR example OR com. Now it's foo AND example AND com, which makes a lot
more sense.

pop3c: Compiler warning fix for using wrong enum type

pop3-migration: If reading message header for hashing fails, fail immediately.

This avoids flooding the log with a ton of errors in case the POP3
connection dies.

dsync: When comparing headers' hashes to match messages, try to normalize the input.

This is especially useful because some IMAP servers return different data
depending on whether we're fetching only specific header fields, all headers
or entire body. For now we're assuming that any non-ASCII is going to be
replaced with '?', which helps at least with Zimbra and Yahoo. The header
hashing algorithm is now versionable, so it can be modified more easily in
future.

This change should make imapc_features=zimbra-workarounds setting obsolete.

pop3-migration: Don't change TAB to '?' when calculating header hash.

pop3-migration: Don't even try to match message sizes with pop3_migration_skip_size_check=yes

This skipped the header check for mailboxes that had only a single mail.

pop3c: Added support for TOP/RETR prefetching when PIPIELINING capability exists.

pop3c: Added full support for running commands asynchronously (with PIPELINING)

pop3c: Increased command timeout from 30s to 5mins.

Possibly should be made configurable, but use this for now.

pop3-migration: Cached header hashes weren't actually being used for imapc.

We'll need to do the search twice: Once to find out the actual cached header
hashes and then second time do a search for the message headers excluding the
emails whose hashes we already know. This allows prefetching to work for imapc
without prefetching all the emails as it was doing.

lib: istream-concat now seeks parent streams to correct offset.

All of the streams' offsets were somewhat random.

lib: Small istream-concat code cleanup in preperation for next change

No actual changes, just moved some code into i_stream_concat_skip().

lib: Improved test-istream-seekable unit test to check for parent stream's offset at the end

lib: When closing istream-chain, make sure parent stream is seeked to correct offset.

We were only seeking it earlier if it ended at EOF.

pop3-migration: Add calculated header hashes to local cache.

This allows faster resuming on failures if local pop3c indexes are used.

pop3c: Preserve local cache even when server reorders messages.

pop3c: Avoid unnecessarily email deletions from local index when mails have been deleted from remote POP3.

imap: Finish all commands before starting IDLE.

We don't want to send tagged command replies only after the DONE. Also this
fixes assert-crash:

Panic: file imap-client.c: line 852 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

Which could be reproduced by:

printf "0 SELECT INBOX\n1 NOOP\n2 IDLE\n"; read; printf "DONE\n"; read) | ./imap

imapc: Prefetching shouldn't send FETCH requests for headers that are already cached.

auth: Add any %variables in passdb/userdb { default_fields } to cache key.

auth: Avoid unnecessary work if passdb/userdb { override_fields, default_fields } aren't set.

.gitignore: Added *.orig and *.rej

They are created often enough to become annoying.

config: Fixed '\' line continuation to work again.

This had been broken for many years.

imapc: If command times out, reconnect and retry if possible.

pop3-migration: Fix to 2f19f8 - Don't convert LF also to '?' in header hashes.

pop3-migration: Filter out headers with invalid names.

pop3-migration: Convert all non-ASCII in headers to '?'

imapc: Added imapc_features=fetch-fix-broken-mails

This allows ignoring a missing FETCH reply. It shouldn't be used normally,
but if there's a mail that the IMAP server simply won't serve, this can be
used to finish dsync successfully.

imapc: Added imapc_cmd_timeout setting to control the command wait timeouts.

imapc: Added imapc_features=fetch-msn-workarounds

This can be used to work around broken servers that send invalid MSNs. This
avoids errors like:

imapc: Mailbox 'INBOX' state corrupted: FETCH UID mismatch (78976 != 82589)

pop3-migration: If we matched all the IMAP (but not all POP3) messages, log about it.

pop3-migration: Ignore X-Yahoo-Newman-Property: header

This exists only for Yahoo IMAP mails, but not for Yahoo POP3 mails.

pop3-migration: When logging the first missing POP3 mail, it logged a wrong mail

pop3-migration: When failing because some messages couldn't be matched, show the first message's number and UIDL

This was already being done for the warning message when
pop3_migration_ignore_missing_uidls was set, but not for the error message
when it wasn't set.

pop3-migration: Added pop3_migration_skip_size_check setting

If we know that we're not going to be able to match any messages by sizes,
we might as well not ask for the messages' sizes. This is useful at least
with Yahoo.

pop3-migration: Ignore Return-Path: header when matching UIDLs by header hashes

This fixes matching between Yahoo IMAP and Yahoo POP3

auth: Apply override_fields to userdb also when continuing to the next userdb.

auth: If userdb result was found from cache, its result_* rules were ignored.

ldap auth: %variables in pass/user_attrs are now included in auth cache key.

This makes sure that the result won't be cached too aggressively, for example
if %{lport} or %{rip} was used as a field's value. Although each of these
fields just makes the cache less effective, so it's a good idea to avoid
variables entirely in the pass/user_attrs. An alternative is to use
passdb/userdb { override_fields }

auth: Apply passdb/userdb { override_fields } only after caching

Now they're not be unnecessarily saved to cache to waste memory. More
importantly they will always override the cached fields, which is required
for %variables to work.

doveadm: Changed most print formatters to write to ostream.

This allows all the formatters to be used when sending replies to the
upcoming doveadm HTTP server responses.

The "table" formatter wasn't modified, because it writes to both stdout and
stderr.

director: "Host is being updated before previous update had finished" logs now details.

doveadm: Add plugins support for doveadm pw

This simply tries to load all the auth plugins. The ones that aren't
password scheme plugins will most likely just fail. Hopefully this will
work fine so we don't need to require any specific naming rules for the
plugins.

Signed-off-by: Alin Dobre <alin@dovecot.fi>

fts-solr: If Solr lookup returns missing or invalid UID, fail the search.

We were previously logging the error but still returning success.

doveadm: Make sure all mail storage hooks are freed at deinit.

master: Do not close stdout if going foreground

This lets one to use /dev/stdout for logging. Mainly
useful for testing purposes where we can generate
log output to stdout and use tee to write it to a
file for later examination.

lib-auth: Error message typofix

Makefile: Fixed ChangeLog generation with older git versions that don't support --since

Changed the oldest changeset to be the v2.0.0 release commit.

imap, pop3, lmtp: Enable MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE

lib-storage: Enable autoexpunge only when MAIL_STORAGE_SERVICE_FLAG_AUTOEXPUNGE is set.

lib-storage: Fixed looking up MAILBOX_METADATA_FIRST_SAVE_DATE from mailbox list index.

If the mailbox was cached as empty, we didn't check if it had since received
new messages. This caused the first-save-date to be returned as nonexistent,
which caused autoexpunging to not always work.

lib-storage: Fixed updating first-saved-uid to mailbox list index when first mails were just expunged.

lib-storage: Don't set internal error to storage when there's nothing to sync.

This may also wrongly overwrite an existing error.

imap-login: If LOGINDISABLED capability is advertised in banner, don't try to LOGIN without SSL/TLS.

This avoids accidentally sending the password in plaintext. Also the server
should fail the LOGIN in any case.

lib: Don't crash if getenv() is called after process_title_deinit() with Linux/OSX PROCTITLE_HACK

Right now the only known issue is GNUTLS's lib_deinit():

e = getenv("GNUTLS_NO_EXPLICIT_INIT");

But we likely never want that to be set. Alternative ways to solve this are
more annoying than our clearing the environment. Libraries probably shouldn't
rely on it much anyway, because some parts of Dovecot clear the whole
environment while running.

config: Improved error messages for wrong order of nested local/remote/protocol { .. } blocks

quota-clone: Avoid leaving a dict transaction open for unnecessarily long.

Even though the earlier change should fix the dict assert crash due to
opening multiple transactions when recursing back, this makes sure of it.
It could also be helpful for some dict backends to not keep the transaction
open for unnecessarily long.

quota-clone: Fixed update-recursion crash when closing mailbox.

We need to avoid recursing for all mailboxes that quota recalculation
might open and close, not just the one that triggered the recalculation.

pop3c: If authentication fails, log if it was done with USER+PASS or AUTH PLAIN

pop3c: Improve authentication debug log messages a bit.

auth: If passdbs are required, don't allow only master=yes passdbs.

This fixes a crash:

Panic: file auth-request.c: line 743 (auth_request_is_disabled_master_user):
assertion failed: (request->requested_login_user != NULL)

Which would happen because request->passdb=NULL because there are only
master passdbs. Even if only master passdb is actually needed, there should
still be a non-master passdb for non-master logins to specify what happens
to them.

*-login: Typofix for login_plugins error messages.

lib-fs: Added default implementations for fs_iter_*(), fs_copy() and fs_stat()

The backends can now leave them as NULL, and the callers will get an error
that they're not supported.

lib-mail: istream-binary-converter lost last few chars from root-level binary content.

lib-mail: message-parser unit test now verifies that parsed block parts match input.

lib-mail: Added message_header_line_write()

ChangeLog: Generate mercurial style changelogs

lib-storage: Ignore ACLs when autoexpunging.

quota: Fixed namespace filtering for dict and count backends.

lib-http: Assign an ID for each HTTP request and log it in debug lines.

The ID stays the same when request is retried. Added a "Req" prefix so it's
easier to search for the IDs. Based on patch by Stephan Bosch.

imapc: Added support for PROXYAUTH command by setting imapc_features = proxyauth

This can be useful when talking to Sun/Oracle IMAP server, which wants you
to use LOGIN+PROXYAUTH to perform master user logins, instead of supporting
the standard SASL PLAIN authentication.

stats: Added missing #include forgotten in 63393b70

doveadm-stats: Add documentation about stats subcommand

doveadm-stats: Add stats reset command line