doveadm-log: Use doveadm_print() for output

doveadm-print: Add "formatted" print formatter

This allows using the header names as %{variables} in the format string.

*-login: Call client.auth_result() also when proxying

lib-http: client: Decreased request/connect timeout for test-http-client to 10s.

lib-http: client: Gave request, connect and dns timeouts defaults that make more sense.

lib-http: client: Fixed crash happening when connection hits an error while handling a new request.

At this point the connection dies within the peer request handler loop.
Before, the dying connection could free the peer when it ended up being
obsolete. But because it was still in the loop, a segfault occurred as the
loop continued. Fixed by deferring the the deallocation of the peer from
the connection_lost() function to the request handler loop itself if it is
active.

stats: Minor code cleaup - remove unnecessary includes and fix copyright year

lib: Added unit test to iostream-temp.

lib: iostream-temp makes the internal fd visible now to o_stream_get_fd()

Mainly for the following unit test.

lib-storage: Verify settings only after applying settings from userdb

This is especially important to verify() functions that parse the settings
and store data permanently based on them, e.g. pop3_delete_flag or
imap_client_workarounds, which effectively couldn't be overwritten by userdb.

lib: Added iostream_temp_create_sized() to specify the max in-memory size

login-proxy: Use io_add_istream() for adding client_input io.

This is required for non-fd istreams to work, e.g. ssl-iostream.

lib-http: Fix to earlier http_client_connection_unref() change 1dead6

Patch by Stephan Bosch

doveadm: Code cleanup - remove duplicate code

doveadm: Fixed usage printing for ver2 commands

doveadm: Define DOVEADM_CMD_MAIL_USAGE_PREFIX, which v2 commands use as their usage prefix.

This allows implementing the next changeset without kludging.

doveadm: Added doveadm_cmd_get_ver2() helper

doveadm-index: Use ver2 structures

doveadm-cmd: Add command flags

doveadm: Free istream parameters everywhere

Based on patch by Aki Tuomi

quota: Use doveadm ver2 structures

doveadm: Minor code cleanup - rename doveadm_cmd_find*() to doveadm_cmd_find_with_args*()

doveadm: Code cleanup - remove unnecessary NULL sets and checks

lib-http: Always set *_obj=NULL first in deinit functions (mainly for consistency)

This doesn't usually matter, but in case deinit calls some callback they may
be trying to access the partially destroyed object.

lib-http: http_server_connection_unref() now always sets *conn=NULL

This makes its behavior consistent with other APIs in Dovecot.

lib-http: Clarify http_server_response_*_payload() API and minor change to it

Similar to the change in c3a4c93. Nothing used this API yet.

lib-http: http_server_request_unref() now always sets *req=NULL

This makes its behavior consistent with other APIs in Dovecot.

lib-http: Clarify http_client_request_*_payload() API and minor change to it

The earlier behavior was pretty confusing, and potentially could have caused
double-freeing memory in some situations. Now it's clear that req is set to NULL
always when the request is finished, regardless of whether it has any references left.

Changed http_client_request_finish_payload() to return 0 on success instead of 1.
This could have been left alone, but it's unlikely that there is any code outside
Dovecot core that calls it and this way is cleaner.

lib-http: http_client_request_unref() now always sets *req=NULL

This makes its behavior consistent with other APIs in Dovecot.

Also http_client_request_finish() no longer sets req=NULL, because all of
its callers already keep a reference. Instead added an assert to make sure
the reference is there.

lib-http: http_client_connection_unref() now always sets *conn=NULL

This makes its behavior consistent with other APIs in Dovecot.

doveadm-http: Close client input correctly

doveadm-http: Return HTTP failure on unexpected JSON input

doveadm-http: Handle invalid input better for arrays.

doveadm-http: Handle istreams correctly

Based on patch by Aki Tuomi

doveadm-save: Use ver2 command structure

doveadm: Added support for "file" parameters

doveadm: Fixed memory leak at deinit

doveadm: Fixed double-free when using -F parameter

doveadm: Fixed memory leaks when ver2 command parsing fails with invalid parameter.

doveadm-mail: Fixed common parameters to use correct names as in DOVEADM_CMD_MAIL_COMMON

doveadm-fetch: Use ver2 structures

doveadm: Add kludge to support field array to fieldstr conversion

doveadm-stats: Use ver2 structures

lib-index: If mail_transaction_log_lock_head() locking took long, include reason string in warning

mdbox: Use mail_index_sync_set_reason() to give better reason messages for lock wait warnings.

lib-index: Added mail_index_sync_set_reason() to improve lock wait log warnings

lib-index: Small improvements to logging the reason for long transaction log lock waits

dovecot.service: Fixed PIDFile path - removed extra /dovecot/ directory from the middle.

lib: mempool-alloconly unit test improvement: verify that data stack isn't used by p_malloc()

lib: Minor code cleanup to mempool-alloconly unit test - use test_begin/assert/end()

doveadm-http: Correctly initialize parameters

doveadm: Fixed using array type parameters.

doveadm: Fixed assert-crash when command with CMD_PARAM_FLAG_DO_NOT_EXPOSE was used.

doveadm: Fixed support for --long-option arguments

lib: Added [pt]_array_const_string_join()

Based on patch by Aki Tuomi

lib: Move code from t_strarray_join() into a more generic p_strarray_join_n()

lib: Added unit test for t_strarray_join()

quots-fs: Fixed compiling with HP/UX and Solaris

doveadm: Compiler warning fix.

lib-index: mail_index_sync_next() didn't always return expunges sorted

Maildir and mbox formats were using index_sync_changes_read(), which assumed that
they were sorted. So some of the intended expunges weren't actually always being
done. This mainly affected when expunges were being done simultaneously by multiple
processes or by pipelined commands. For example:

printf "a select inbox\nb uid move 2 Trash\nc uid move 1 Trash\nd logout\n" | ./imap

imap-hibernate: send connect/disconnect events to anvil

make doveadm who + mail_max_userip_connections work with
hibernated connections.

lib: json_parse_next_stream() wrongly returned -1 even when a stream was returned.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-http: server: Implicitly free a request response structure when a new (failure) response is started.

doveadm: Fix for previous attempt to make static analyzer happier.

doveadm: Make static analyzer happier - cptr can't be NULL here.

doveadm: Use char type for short options instead of a string.

The ":" = "has parameters" can be determined from the type.
Also removed "?" checks since it wasn't actually used.

doveadm: Remove CMD_PARAM_NONE type, since it already defaulted to same as CMD_PARAM_BOOL

lib-index: Fixed mail_index_lookup_ext_full()'s map_r with transaction-view.

lib-index: Code cleanup - moved code to tview_lookup_ext_update()

No functional changes.

Makefile: Added missing client-connection-private.h

dovecot.service: Fixed PIDFile path

doveadm: Use correct uoff_t type for printf

dovecot.service: Disabled ProtectSystem=full for now

It's not supported by RHEL7's systemd.

doveadm: Use ver2 structures for all "doveadm mailbox *" commands.

doveadm: Use ver2 structures for stop & reload.

doveadm: Implement HTTP server API, slightly based on JMAP API

doveadm: Code cleanup - moved code to client_connection_init()

No functional changes.

doveadm: Add infrastructure for doveadm_cmd_ver2

Version 2 commands have named parameters, which also have types. This is
especially useful for reading input from HTTP/JSON API. This also simplifies
the parameter parsing for command line input.

For v2.3 the plan is to replace all the old doveadm_cmds with this new
version and get rid of the _ver2 suffixes. But for now we'll have two
versions of commands.

For backwards compatibility with old commands we have also implemented
wrappers so that v2 structs can be defined and there's a function to convert
the named parameters to old v1 style args[] string, so the old command
handlers can still be run. This will also be removed in v2.3.

This change also adds requirement for getopt_long(). It's already available
in all the Linuxes and BSDs, so this shouldn't be too big of a requirement.
Other systems can install it from an external library.

doveadm: Add unit tests for i_strccdascmp

doveadm: Add i_strccdascmp()

This comparator considers camel case==camel-case==camelCase. This
is to help with HTTP API to make it more flexible.

doveadm: If user lookup fails, log an error but don't kill the process.

doveadm: Code cleanup - Removed passing through unnecessary argv parameter

doveadm: Code cleanup - move code to doveadm_mail_cmd_exec()

No functional changes.

lib-http: Add accessors for some response details

dovecot: improve systemd support

fts: When searching data headers, don't expand search keys to all languages.

For example "SEARCH HEADER Message-Id foo@example.com" works better the
less expansion there is for "foo@example.com".

fts: Code cleanup - moved fts_header_has_language() to a global function

lib-storage: Avoid duplicate work when a search query has multiple header/body keys.

lib-mail: Added message_search_more_get_decoded()

auth: Moved all passdb/userdb template handling to auth_passdb/userdb.

This is because passdb_find() and userdb_find() attempts to avoid
duplicating passdbs and userdbs when they have identical driver+args.
This deduplication is useful when using multiple protocol { .. } blocks
that duplicate some passdb/userdb backends. For example we might want
to have only a single SQL connection regardless of how the protocol-specific
passdbs and userdbs are being set up. All the default/override_fields and
result_* settings aren't relevant to the passdb/userdb backends, so removing
them will again allow the deduplication to work correctly.

auth: Moved cache_key from passdb_module to auth_passdb.

This is in preparation for the next changeset, which moves
default/override_fields also to auth_passdb.

lib-http: server: Error handling fix - avoid potential crash when request is already gone

login-proxy: Preserve client's istream even after login.

This eventually allows things like using lib-ssl-iostream, moving IMAP
COMPRESS handling to login process, etc.

lib: Added i_stream_set_persistent_buffers()

lib: Ignore ENOSYS errors from madvise() calls.

For example Raspberry Pi kernels have removed this. We'll wrap all the
madvise() calls with my_madvise() to avoid extra checks all over the place.

lib-http: Created test program that tests payload exchange between client and server with various configurations.

It recursively uses all files in the current directory as payload.
It is currenrly not part of `make check', because it is a stress-testing tool that can run for a long time.

lib-http: server: Implemented blocking request input stream.

lib-http: server: Implemented blocking response output stream.

lib-http: server: Created blocking http_server_response_send_payload() API that closely mimics the client equivalent.

It allows sending response payload in several chunks in a blocking fashion.