lib: Add ostream-escaped filter

doveadm-print: Fix doveadm_print_json_print_stream

lib-http: message parser: Made sure that payload stream is always destroyed (hence closed) when the next request is to be parsed.

This makes sure that the connection input is always at the correct position
for the next request. Remaining references to the payload stream could
theoretically mess this up.

lib-http: server: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the request callback can be
freed before the associated FD becomes invalid. This would cause an assert
failure otherwise.

lib-http: server: Sometimes a success response was sent before all payload from the client request was read.

This can confuse clients, so this is supposed to be prevented.

lib-http: server: Fixed memory problem reported by Valgrind, which was caused by the request being freed too early while sending a response.

Fixed by referencing the request while it is being sent.

lib-http: server: Fixed datastack framing problem in error handling of response sending.

The returned error string crossed a data stack frame, which wasn't handled correctly.

lib-http: request parser: Made sure that partially parsed requests never have stale string values.

Due to the fact that we assign method and target fields early for proper
error messages, stale fields from previous requests could have ended up in a
partially parsed new request.

lib-http: client: Fixed pipelining bug: client sometimes sent new request while still waiting for 100-continue.

lib-http: client: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the response callback can be freed before the associated FD becomes invalid.
This would cause an assert failure otherwise.

lib-http: Forgot to assign pointer parameter to NULL in request/response parser deinit functions.

Makefile: Added missing auth-request-stats.h

doveadm auth test/login: Added -M <master user> parameter.

stats: Minor error message cleanup.

FIFO stats can come from auth also, not just mail server.

auth: If auth_stats=yes, send statistics to stats process.

man: document dsync -m and -R options

lib-master: Fail if syslog_facility's value is unknown.

acl: If acl_user is set, use it for ACL username checks. Overrides master_user.

auth: Small code cleanup to auth cache - deduplicate code.

No functional changes.

auth: Minor code cleanup - fix parameter type

auth: If auth cache lookup results in expired entry, it should be tracked in stats as a "miss"

stats: Removed accidentally commited i_panic() in abb242da

stats: Split stats-connection.[ch] to lib-stats/ and plugin's mail-specific parts.

stats: Added ADD-USER command to add stats to a user without having a session.

This will be used by at least the auth process. Although the auth process
does have a session, it's a bit too early to start using it yet. At least the
PID should be possible to change when the session moves to imap process.
Also the unsuccessful authentication sessions shouldn't really be added at
all.

stats: Renamed mail-server-connection to fifo-input-connection.

lib-mail: Reading from istream-header-filter second time reverted callback's eoh change.

lib: Fixed calling json_parse_skip_next() within arrays

lib: If json-parser has JSON_PARSER_NO_ROOT_OBJECT set, return the ending root "]" and "}"

lib: Avoid typeof() if HAVE_TYPEOF isn't set, even if gcc version is high enough.

This is mainly to test that we can compile without typeof().

imap, pop3, imap-urlauth: Added -a <auth-master socket path> parameter

*-login: Added -l parameter to specify the socket where to connect to after authentication

imap: SETMETADATA shouldn't crash when value parameter is missing.

lib-sasl: Compiler warning fix for previous EXTERNAL change..

lib-sasl: Don't require authid for EXTERNAL mechanism, since we're not really authenticating.

lib-sasl: Added support for EXTERNAL SASL mechanism

doveadm: Reset JSON formatter context before reuse

This is needed to implement multicommand support in HTTP API.

pop3c: Compiler warning fixes to earlier change

imapc: Compare INBOX in STATUS case-insensitively.

sdbox: Failing after saved mails' UIDs were already assigned caused unlink()ing garbage

Mainly with dsync when it fails, the transaction is still committed and
mails are given UIDs. If the transaction commit still fails, it attempts to
rollback the saved mails by unlink()ing them, but at that point the path
pointed to an already freed memory. This caused unlink() errors with some
garbage strings as the path (and hopefully no actually valid paths).

The easiest way to reproduce this was to fill up the filesystem with dsync.

dsync: If mailbox importing fails, stop immediately without waiting for exporter to finish.

imap: Removed now-unused cmd_sync_callback(), which doesn't work very well.

See commit message in b7b25e0 for more details.

imap: Removed special EXPUNGE callback for an Outlook workaround.

As the comment mentions, this workaround isn't needed if index files are
used.  Hopefully also the Outlook bug itself is gone nowadays.. In any case
the current callback code didn't work, because it was returning FALSE and
causing an assert in a pipelined EXPUNGE+APPEND combination after 6e9454f:

Panic: file imap-client.c: line 862 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

It would probably be possible to fix this, but it would complicate the code
even further, so it's easier just to get rid of this feature. It was easily
triggered by running imaptest stress testing.

pop3-migration: Ignore mails returned as expunged by pop3c.

Whether the -ERR actually meant they were expunged or not is another
issue, but the answer to that belongs to pop3c code. MAIL_ERROR_EXPUNGED
in any case can be safely handled this way here.

pop3c: If prefetch fails, treat it as if prefetching simply wasn't done.

This avoids having error handling twice. Also in case the error was caused
by -ERR, this should retry the operation, which even might fix it in some
situations.

pop3-migration: Use message_header_hash_more() instead of duplicating the code

lib-mail: Changed message_header_hash_more() to support any hash algorithm

lib: JSON parser can now optionally parse input that isn't an object.

Based on patch by Aki Tuomi.

lib: Fixed json-parser to correctly parse numbers at EOF.

Numbers are a bit special compared to others, because they don't have any
clear character indicating that the number ends. So we can only assume that
the number is finished when EOF is reached, although even that isn't
necessarily correct in case the stream is terminated unexpectedly.

This change is in prepartion for the next change. With current JSON parser
this issue could never happen because "}" was expected just before EOF.

lib: Code cleanup to json-parser - assume less that the root is an object

lib-mail, dsync: Moved dsync_mail_hash_more() to lib-mail/message-header-hash.*

lib-http: Add function to update HTTP response status

doveadm: Add JSON formatter support

doveadm-print: Add flag indicating number-only field

Compiler warning fix to previous commit

Replace host:port parsers with net_str2hostport().

lib: Added net_str2hostport()

last-login: Added last_login_precision setting

lib-sasl: Allow plugins to override the default SASL client mechanisms.

lib-imap: Write invalid Content-Transfer-Encoding value as "7bit" to BODY/BODYSTRUCTURE.

lib: Add tests for str_is_float

lib: Add str_is_float check function

dsync: Improved header hash v2 algorithm to remove repeated '?' chars.

This is to help with Yahoo that replaces UTF-8 chars in headers with a
single '?' (instead of '?' per each 8bit byte).

lib-index: Memory leak fix for test-mail-index-map

This failed when running make check with valgrind.

pop3-migration: Fix to 5407a86 - don't sync POP3 UIDLs when we don't need to

dsync: Avoid finishing importer successfully on exporter failures.

At least dsync_mailbox_import_changes_finish() could have been called when
exporter was already failed.

doveadm backup: If local mailbox has more mails than remote, detect and delete it earlier.

imapc: Don't mark the initial sync done if it wasn't successful.

imapc: Handle disconnection when NOOP is sent to verify if mail is expunged.

lib-index: Added unit test to mail_index_map_lookup_seq_range()

imapc: Don't ignore FETCH, SEARCH and EXPUNGE returning NO failures in syncing.

Especially if the FETCH 1:* (FLAGS) didn't succeed, we expunged all the
mails from local index.

imapc: If FETCH didn't send our wanted data, log the tagged FETCH reply text.

imapc: Don't use fetch-fix-broken-mails for NO [LIMIT] FETCH replies

imapc: Remove X-Message-Flag filtering if imapc_features has rfc822.size

doveadm: All commands iterating mails stop now if doveadm has been killed.

doveadm: Enable SIGINT and SIGTERM signal handler for all doveadm mail commands.

Most importantly this allows stopping dsync.

doveadm backup: Detect and handle conflicts earlier.

This avoids doing a lot of work, only for the next doveadm backup to just
delete the entire mailbox and start from the beginning.

imapc: Fixed assert-crash in mailbox syncing, if mailbox couldn't be opened.

Usually meaning that syncing was attempted when IMAP server couldn't be
connected to. Fixes the assert:

Panic: file imapc-client.c: line 439 (imapc_client_get_capabilities):
assertion failed: (conn != NULL)

imap: Send all pending tagged command replies before APPEND is started.

This probably doesn't matter a lot, but it's cleaner.

One side effect of this change is that if multiple APPENDs are pipelined
(without MULTIAPPEND) on the selected mailbox, this now performs a sync
between each APPEND and sends the EXISTS replies. This may be slightly
lower in performance, but it's also slightly more correct behavior.

lib: Added json_append_escaped_data() to escape non-NUL terminated input.

lib: json_append_escaped() doesn't need to escape the 8bit chars.

We'll assume that the input is valid UTF-8.

lib-index: If transaction log was locked for at least 30 secs, log a warning (not at 3min)

This is because we log a warning about it already when locking it took 30
seconds, so it's useful to see which process was actually keeping the lock.

pop3-migration: Perform UIDL syncing a bit earlier to work around Yahoo IMAP bug.

imapc: Don't use fetch-fix-broken-mails for OK and NO [SERVERBUG] FETCH replies

Hopefully no servers are actually returning OK without returning a FETCH
reply. If they are, maybe we need another workaround..

In any case Yahoo IMAP sometimes loses state and starts returning OK without
FETCH replies to all UID FETCH requests (and BADs to FETCHes). It also may
return NO [UNAVAILABLE] for both permanent and temporary FETCH failures, so
we can't do anything with that.

I added NO [SERVERBUG] because that's what Dovecot responds to temporary
failures. I'm not sure how useful that check is though.

lib: Make static analyzer happier about istream-chain changes

pop3c: Fixed assert-crash when prefetching a mail failed.

*-login: Add all returned passdb fields to struct client_auth_reply.all_fields

These will be mainly useful to plugins.

fts-solr: Changed default operator to AND to fix multi-word queries.

Previously for example searching from:foo@example.com was expanded to
foo OR example OR com. Now it's foo AND example AND com, which makes a lot
more sense.

pop3c: Compiler warning fix for using wrong enum type

pop3-migration: If reading message header for hashing fails, fail immediately.

This avoids flooding the log with a ton of errors in case the POP3
connection dies.

dsync: When comparing headers' hashes to match messages, try to normalize the input.

This is especially useful because some IMAP servers return different data
depending on whether we're fetching only specific header fields, all headers
or entire body. For now we're assuming that any non-ASCII is going to be
replaced with '?', which helps at least with Zimbra and Yahoo. The header
hashing algorithm is now versionable, so it can be modified more easily in
future.

This change should make imapc_features=zimbra-workarounds setting obsolete.

pop3-migration: Don't change TAB to '?' when calculating header hash.

pop3-migration: Don't even try to match message sizes with pop3_migration_skip_size_check=yes

This skipped the header check for mailboxes that had only a single mail.

pop3c: Added support for TOP/RETR prefetching when PIPIELINING capability exists.

pop3c: Added full support for running commands asynchronously (with PIPELINING)

pop3c: Increased command timeout from 30s to 5mins.

Possibly should be made configurable, but use this for now.

pop3-migration: Cached header hashes weren't actually being used for imapc.

We'll need to do the search twice: Once to find out the actual cached header
hashes and then second time do a search for the message headers excluding the
emails whose hashes we already know. This allows prefetching to work for imapc
without prefetching all the emails as it was doing.

lib: istream-concat now seeks parent streams to correct offset.

All of the streams' offsets were somewhat random.

lib: Small istream-concat code cleanup in preperation for next change

No actual changes, just moved some code into i_stream_concat_skip().

lib: Improved test-istream-seekable unit test to check for parent stream's offset at the end

lib: When closing istream-chain, make sure parent stream is seeked to correct offset.

We were only seeking it earlier if it ended at EOF.