lib-http: Clarify http_client_request_*_payload() API and minor change to it

The earlier behavior was pretty confusing, and potentially could have caused
double-freeing memory in some situations. Now it's clear that req is set to NULL
always when the request is finished, regardless of whether it has any references left.

Changed http_client_request_finish_payload() to return 0 on success instead of 1.
This could have been left alone, but it's unlikely that there is any code outside
Dovecot core that calls it and this way is cleaner.

lib-http: http_client_request_unref() now always sets *req=NULL

This makes its behavior consistent with other APIs in Dovecot.

Also http_client_request_finish() no longer sets req=NULL, because all of
its callers already keep a reference. Instead added an assert to make sure
the reference is there.

lib-http: http_client_connection_unref() now always sets *conn=NULL

This makes its behavior consistent with other APIs in Dovecot.

doveadm-http: Close client input correctly

doveadm-http: Return HTTP failure on unexpected JSON input

doveadm-http: Handle invalid input better for arrays.

doveadm-http: Handle istreams correctly

Based on patch by Aki Tuomi

doveadm-save: Use ver2 command structure

doveadm: Added support for "file" parameters

doveadm: Fixed memory leak at deinit

doveadm: Fixed double-free when using -F parameter

doveadm: Fixed memory leaks when ver2 command parsing fails with invalid parameter.

doveadm-mail: Fixed common parameters to use correct names as in DOVEADM_CMD_MAIL_COMMON

doveadm-fetch: Use ver2 structures

doveadm: Add kludge to support field array to fieldstr conversion

doveadm-stats: Use ver2 structures

lib-index: If mail_transaction_log_lock_head() locking took long, include reason string in warning

mdbox: Use mail_index_sync_set_reason() to give better reason messages for lock wait warnings.

lib-index: Added mail_index_sync_set_reason() to improve lock wait log warnings

lib-index: Small improvements to logging the reason for long transaction log lock waits

dovecot.service: Fixed PIDFile path - removed extra /dovecot/ directory from the middle.

lib: mempool-alloconly unit test improvement: verify that data stack isn't used by p_malloc()

lib: Minor code cleanup to mempool-alloconly unit test - use test_begin/assert/end()

doveadm-http: Correctly initialize parameters

doveadm: Fixed using array type parameters.

doveadm: Fixed assert-crash when command with CMD_PARAM_FLAG_DO_NOT_EXPOSE was used.

doveadm: Fixed support for --long-option arguments

lib: Added [pt]_array_const_string_join()

Based on patch by Aki Tuomi

lib: Move code from t_strarray_join() into a more generic p_strarray_join_n()

lib: Added unit test for t_strarray_join()

quots-fs: Fixed compiling with HP/UX and Solaris

doveadm: Compiler warning fix.

lib-index: mail_index_sync_next() didn't always return expunges sorted

Maildir and mbox formats were using index_sync_changes_read(), which assumed that
they were sorted. So some of the intended expunges weren't actually always being
done. This mainly affected when expunges were being done simultaneously by multiple
processes or by pipelined commands. For example:

printf "a select inbox\nb uid move 2 Trash\nc uid move 1 Trash\nd logout\n" | ./imap

imap-hibernate: send connect/disconnect events to anvil

make doveadm who + mail_max_userip_connections work with
hibernated connections.

lib: json_parse_next_stream() wrongly returned -1 even when a stream was returned.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-http: server: Implicitly free a request response structure when a new (failure) response is started.

doveadm: Fix for previous attempt to make static analyzer happier.

doveadm: Make static analyzer happier - cptr can't be NULL here.

doveadm: Use char type for short options instead of a string.

The ":" = "has parameters" can be determined from the type.
Also removed "?" checks since it wasn't actually used.

doveadm: Remove CMD_PARAM_NONE type, since it already defaulted to same as CMD_PARAM_BOOL

lib-index: Fixed mail_index_lookup_ext_full()'s map_r with transaction-view.

lib-index: Code cleanup - moved code to tview_lookup_ext_update()

No functional changes.

Makefile: Added missing client-connection-private.h

dovecot.service: Fixed PIDFile path

doveadm: Use correct uoff_t type for printf

dovecot.service: Disabled ProtectSystem=full for now

It's not supported by RHEL7's systemd.

doveadm: Use ver2 structures for all "doveadm mailbox *" commands.

doveadm: Use ver2 structures for stop & reload.

doveadm: Implement HTTP server API, slightly based on JMAP API

doveadm: Code cleanup - moved code to client_connection_init()

No functional changes.

doveadm: Add infrastructure for doveadm_cmd_ver2

Version 2 commands have named parameters, which also have types. This is
especially useful for reading input from HTTP/JSON API. This also simplifies
the parameter parsing for command line input.

For v2.3 the plan is to replace all the old doveadm_cmds with this new
version and get rid of the _ver2 suffixes. But for now we'll have two
versions of commands.

For backwards compatibility with old commands we have also implemented
wrappers so that v2 structs can be defined and there's a function to convert
the named parameters to old v1 style args[] string, so the old command
handlers can still be run. This will also be removed in v2.3.

This change also adds requirement for getopt_long(). It's already available
in all the Linuxes and BSDs, so this shouldn't be too big of a requirement.
Other systems can install it from an external library.

doveadm: Add unit tests for i_strccdascmp

doveadm: Add i_strccdascmp()

This comparator considers camel case==camel-case==camelCase. This
is to help with HTTP API to make it more flexible.

doveadm: If user lookup fails, log an error but don't kill the process.

doveadm: Code cleanup - Removed passing through unnecessary argv parameter

doveadm: Code cleanup - move code to doveadm_mail_cmd_exec()

No functional changes.

lib-http: Add accessors for some response details

dovecot: improve systemd support

fts: When searching data headers, don't expand search keys to all languages.

For example "SEARCH HEADER Message-Id foo@example.com" works better the
less expansion there is for "foo@example.com".

fts: Code cleanup - moved fts_header_has_language() to a global function

lib-storage: Avoid duplicate work when a search query has multiple header/body keys.

lib-mail: Added message_search_more_get_decoded()

auth: Moved all passdb/userdb template handling to auth_passdb/userdb.

This is because passdb_find() and userdb_find() attempts to avoid
duplicating passdbs and userdbs when they have identical driver+args.
This deduplication is useful when using multiple protocol { .. } blocks
that duplicate some passdb/userdb backends. For example we might want
to have only a single SQL connection regardless of how the protocol-specific
passdbs and userdbs are being set up. All the default/override_fields and
result_* settings aren't relevant to the passdb/userdb backends, so removing
them will again allow the deduplication to work correctly.

auth: Moved cache_key from passdb_module to auth_passdb.

This is in preparation for the next changeset, which moves
default/override_fields also to auth_passdb.

lib-http: server: Error handling fix - avoid potential crash when request is already gone

login-proxy: Preserve client's istream even after login.

This eventually allows things like using lib-ssl-iostream, moving IMAP
COMPRESS handling to login process, etc.

lib: Added i_stream_set_persistent_buffers()

lib: Ignore ENOSYS errors from madvise() calls.

For example Raspberry Pi kernels have removed this. We'll wrap all the
madvise() calls with my_madvise() to avoid extra checks all over the place.

lib-http: Created test program that tests payload exchange between client and server with various configurations.

It recursively uses all files in the current directory as payload.
It is currenrly not part of `make check', because it is a stress-testing tool that can run for a long time.

lib-http: server: Implemented blocking request input stream.

lib-http: server: Implemented blocking response output stream.

lib-http: server: Created blocking http_server_response_send_payload() API that closely mimics the client equivalent.

It allows sending response payload in several chunks in a blocking fashion.

lib-http: server: Added some request debug logging.

lib-http: request parser: Added support for explicitly finishing payload of previous request.

lib-sql: Allow port to be configured for Cassandra cluster

lib-storage: Added missing %{userdb:*:default} handling

lib-storage: Deduplicate %{userdb:*} handling for mail_user and mail_storage_service_user

*-login: Pass client_auth_reply to client.auth_result() whenever possible.

This didn't matter normally, but some plugins might care about it.

auth: Added "fail" parameter, which fails the passdb lookup.

auth: Don't revert any previous failed=TRUE status if allow_nets check succeeds

Makefile: Added missing ostream-escaped.h

lib-http: Fixed test-http-request-parser unit test

Patch by Stephan Bosch

lib: Add ostream-escaped filter

doveadm-print: Fix doveadm_print_json_print_stream

lib-http: message parser: Made sure that payload stream is always destroyed (hence closed) when the next request is to be parsed.

This makes sure that the connection input is always at the correct position
for the next request. Remaining references to the payload stream could
theoretically mess this up.

lib-http: server: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the request callback can be
freed before the associated FD becomes invalid. This would cause an assert
failure otherwise.

lib-http: server: Sometimes a success response was sent before all payload from the client request was read.

This can confuse clients, so this is supposed to be prevented.

lib-http: server: Fixed memory problem reported by Valgrind, which was caused by the request being freed too early while sending a response.

Fixed by referencing the request while it is being sent.

lib-http: server: Fixed datastack framing problem in error handling of response sending.

The returned error string crossed a data stack frame, which wasn't handled correctly.

lib-http: request parser: Made sure that partially parsed requests never have stale string values.

Due to the fact that we assign method and target fields early for proper
error messages, stale fields from previous requests could have ended up in a
partially parsed new request.

lib-http: client: Fixed pipelining bug: client sometimes sent new request while still waiting for 100-continue.

lib-http: client: Make sure that any pending request is aborted and destroyed before connection FDs are closed.

This way, any payload io struct created from the response callback can be freed before the associated FD becomes invalid.
This would cause an assert failure otherwise.

lib-http: Forgot to assign pointer parameter to NULL in request/response parser deinit functions.

Makefile: Added missing auth-request-stats.h

doveadm auth test/login: Added -M <master user> parameter.

stats: Minor error message cleanup.

FIFO stats can come from auth also, not just mail server.

auth: If auth_stats=yes, send statistics to stats process.

man: document dsync -m and -R options

lib-master: Fail if syslog_facility's value is unknown.