quots-fs: Fixed compiling with HP/UX and Solaris

doveadm: Compiler warning fix.

lib-index: mail_index_sync_next() didn't always return expunges sorted

Maildir and mbox formats were using index_sync_changes_read(), which assumed that
they were sorted. So some of the intended expunges weren't actually always being
done. This mainly affected when expunges were being done simultaneously by multiple
processes or by pipelined commands. For example:

printf "a select inbox\nb uid move 2 Trash\nc uid move 1 Trash\nd logout\n" | ./imap

imap-hibernate: send connect/disconnect events to anvil

make doveadm who + mail_max_userip_connections work with
hibernated connections.

lib: json_parse_next_stream() wrongly returned -1 even when a stream was returned.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-http: server: Implicitly free a request response structure when a new (failure) response is started.

doveadm: Fix for previous attempt to make static analyzer happier.

doveadm: Make static analyzer happier - cptr can't be NULL here.

doveadm: Use char type for short options instead of a string.

The ":" = "has parameters" can be determined from the type.
Also removed "?" checks since it wasn't actually used.

doveadm: Remove CMD_PARAM_NONE type, since it already defaulted to same as CMD_PARAM_BOOL

lib-index: Fixed mail_index_lookup_ext_full()'s map_r with transaction-view.

lib-index: Code cleanup - moved code to tview_lookup_ext_update()

No functional changes.

Makefile: Added missing client-connection-private.h

dovecot.service: Fixed PIDFile path

doveadm: Use correct uoff_t type for printf

dovecot.service: Disabled ProtectSystem=full for now

It's not supported by RHEL7's systemd.

doveadm: Use ver2 structures for all "doveadm mailbox *" commands.

doveadm: Use ver2 structures for stop & reload.

doveadm: Implement HTTP server API, slightly based on JMAP API

doveadm: Code cleanup - moved code to client_connection_init()

No functional changes.

doveadm: Add infrastructure for doveadm_cmd_ver2

Version 2 commands have named parameters, which also have types. This is
especially useful for reading input from HTTP/JSON API. This also simplifies
the parameter parsing for command line input.

For v2.3 the plan is to replace all the old doveadm_cmds with this new
version and get rid of the _ver2 suffixes. But for now we'll have two
versions of commands.

For backwards compatibility with old commands we have also implemented
wrappers so that v2 structs can be defined and there's a function to convert
the named parameters to old v1 style args[] string, so the old command
handlers can still be run. This will also be removed in v2.3.

This change also adds requirement for getopt_long(). It's already available
in all the Linuxes and BSDs, so this shouldn't be too big of a requirement.
Other systems can install it from an external library.

doveadm: Add unit tests for i_strccdascmp

doveadm: Add i_strccdascmp()

This comparator considers camel case==camel-case==camelCase. This
is to help with HTTP API to make it more flexible.

doveadm: If user lookup fails, log an error but don't kill the process.

doveadm: Code cleanup - Removed passing through unnecessary argv parameter

doveadm: Code cleanup - move code to doveadm_mail_cmd_exec()

No functional changes.

lib-http: Add accessors for some response details

dovecot: improve systemd support

fts: When searching data headers, don't expand search keys to all languages.

For example "SEARCH HEADER Message-Id foo@example.com" works better the
less expansion there is for "foo@example.com".

fts: Code cleanup - moved fts_header_has_language() to a global function

lib-storage: Avoid duplicate work when a search query has multiple header/body keys.

lib-mail: Added message_search_more_get_decoded()

auth: Moved all passdb/userdb template handling to auth_passdb/userdb.

This is because passdb_find() and userdb_find() attempts to avoid
duplicating passdbs and userdbs when they have identical driver+args.
This deduplication is useful when using multiple protocol { .. } blocks
that duplicate some passdb/userdb backends. For example we might want
to have only a single SQL connection regardless of how the protocol-specific
passdbs and userdbs are being set up. All the default/override_fields and
result_* settings aren't relevant to the passdb/userdb backends, so removing
them will again allow the deduplication to work correctly.

auth: Moved cache_key from passdb_module to auth_passdb.

This is in preparation for the next changeset, which moves
default/override_fields also to auth_passdb.

lib-http: server: Error handling fix - avoid potential crash when request is already gone

login-proxy: Preserve client's istream even after login.

This eventually allows things like using lib-ssl-iostream, moving IMAP
COMPRESS handling to login process, etc.

lib: Added i_stream_set_persistent_buffers()

lib: Ignore ENOSYS errors from madvise() calls.

For example Raspberry Pi kernels have removed this. We'll wrap all the
madvise() calls with my_madvise() to avoid extra checks all over the place.

lib-http: Created test program that tests payload exchange between client and server with various configurations.

It recursively uses all files in the current directory as payload.
It is currenrly not part of `make check', because it is a stress-testing tool that can run for a long time.

lib-http: server: Implemented blocking request input stream.

lib-http: server: Implemented blocking response output stream.

lib-http: server: Created blocking http_server_response_send_payload() API that closely mimics the client equivalent.

It allows sending response payload in several chunks in a blocking fashion.

lib-http: server: Added some request debug logging.

lib-http: request parser: Added support for explicitly finishing payload of previous request.

lib-sql: Allow port to be configured for Cassandra cluster

lib-storage: Added missing %{userdb:*:default} handling

lib-storage: Deduplicate %{userdb:*} handling for mail_user and mail_storage_service_user

*-login: Pass client_auth_reply to client.auth_result() whenever possible.

This didn't matter normally, but some plugins might care about it.

auth: Added "fail" parameter, which fails the passdb lookup.

auth: Don't revert any previous failed=TRUE status if allow_nets check succeeds

Makefile: Added missing ostream-escaped.h

lib-http: Fixed test-http-request-parser unit test

Patch by Stephan Bosch

lib: Add ostream-escaped filter

doveadm-print: Fix doveadm_print_json_print_stream

lib-http: message parser: Made sure that payload stream is always destroyed (hence closed) when the next request is to be parsed.

This makes sure that the connection input is always at the correct position
for the next request. Remaining references to the payload stream could
theoretically mess this up.

lib-http: server: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the request callback can be
freed before the associated FD becomes invalid. This would cause an assert
failure otherwise.

lib-http: server: Sometimes a success response was sent before all payload from the client request was read.

This can confuse clients, so this is supposed to be prevented.

lib-http: server: Fixed memory problem reported by Valgrind, which was caused by the request being freed too early while sending a response.

Fixed by referencing the request while it is being sent.

lib-http: server: Fixed datastack framing problem in error handling of response sending.

The returned error string crossed a data stack frame, which wasn't handled correctly.

lib-http: request parser: Made sure that partially parsed requests never have stale string values.

Due to the fact that we assign method and target fields early for proper
error messages, stale fields from previous requests could have ended up in a
partially parsed new request.

lib-http: client: Fixed pipelining bug: client sometimes sent new request while still waiting for 100-continue.

lib-http: client: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the response callback can be freed before the associated FD becomes invalid.
This would cause an assert failure otherwise.

lib-http: Forgot to assign pointer parameter to NULL in request/response parser deinit functions.

Makefile: Added missing auth-request-stats.h

doveadm auth test/login: Added -M <master user> parameter.

stats: Minor error message cleanup.

FIFO stats can come from auth also, not just mail server.

auth: If auth_stats=yes, send statistics to stats process.

man: document dsync -m and -R options

lib-master: Fail if syslog_facility's value is unknown.

acl: If acl_user is set, use it for ACL username checks. Overrides master_user.

auth: Small code cleanup to auth cache - deduplicate code.

No functional changes.

auth: Minor code cleanup - fix parameter type

auth: If auth cache lookup results in expired entry, it should be tracked in stats as a "miss"

stats: Removed accidentally commited i_panic() in abb242da

stats: Split stats-connection.[ch] to lib-stats/ and plugin's mail-specific parts.

stats: Added ADD-USER command to add stats to a user without having a session.

This will be used by at least the auth process. Although the auth process
does have a session, it's a bit too early to start using it yet. At least the
PID should be possible to change when the session moves to imap process.
Also the unsuccessful authentication sessions shouldn't really be added at
all.

stats: Renamed mail-server-connection to fifo-input-connection.

lib-mail: Reading from istream-header-filter second time reverted callback's eoh change.

lib: Fixed calling json_parse_skip_next() within arrays

lib: If json-parser has JSON_PARSER_NO_ROOT_OBJECT set, return the ending root "]" and "}"

lib: Avoid typeof() if HAVE_TYPEOF isn't set, even if gcc version is high enough.

This is mainly to test that we can compile without typeof().

imap, pop3, imap-urlauth: Added -a <auth-master socket path> parameter

*-login: Added -l parameter to specify the socket where to connect to after authentication

imap: SETMETADATA shouldn't crash when value parameter is missing.

lib-sasl: Compiler warning fix for previous EXTERNAL change..

lib-sasl: Don't require authid for EXTERNAL mechanism, since we're not really authenticating.

lib-sasl: Added support for EXTERNAL SASL mechanism

doveadm: Reset JSON formatter context before reuse

This is needed to implement multicommand support in HTTP API.

pop3c: Compiler warning fixes to earlier change

imapc: Compare INBOX in STATUS case-insensitively.

sdbox: Failing after saved mails' UIDs were already assigned caused unlink()ing garbage

Mainly with dsync when it fails, the transaction is still committed and
mails are given UIDs. If the transaction commit still fails, it attempts to
rollback the saved mails by unlink()ing them, but at that point the path
pointed to an already freed memory. This caused unlink() errors with some
garbage strings as the path (and hopefully no actually valid paths).

The easiest way to reproduce this was to fill up the filesystem with dsync.

dsync: If mailbox importing fails, stop immediately without waiting for exporter to finish.

imap: Removed now-unused cmd_sync_callback(), which doesn't work very well.

See commit message in b7b25e0 for more details.

imap: Removed special EXPUNGE callback for an Outlook workaround.

As the comment mentions, this workaround isn't needed if index files are
used.  Hopefully also the Outlook bug itself is gone nowadays.. In any case
the current callback code didn't work, because it was returning FALSE and
causing an assert in a pipelined EXPUNGE+APPEND combination after 6e9454f:

Panic: file imap-client.c: line 862 (client_check_command_hangs): assertion
failed: (!have_wait_unfinished || unfinished_count > 0)

It would probably be possible to fix this, but it would complicate the code
even further, so it's easier just to get rid of this feature. It was easily
triggered by running imaptest stress testing.

pop3-migration: Ignore mails returned as expunged by pop3c.

Whether the -ERR actually meant they were expunged or not is another
issue, but the answer to that belongs to pop3c code. MAIL_ERROR_EXPUNGED
in any case can be safely handled this way here.

pop3c: If prefetch fails, treat it as if prefetching simply wasn't done.

This avoids having error handling twice. Also in case the error was caused
by -ERR, this should retry the operation, which even might fix it in some
situations.

pop3-migration: Use message_header_hash_more() instead of duplicating the code

lib-mail: Changed message_header_hash_more() to support any hash algorithm

lib: JSON parser can now optionally parse input that isn't an object.

Based on patch by Aki Tuomi.