lib: hash-method - Use named initializers

lib-oauth2: Remove unused include from oauth2.c.

lib-oauth2: Make oauth2_request_set_headers() static.

lib-oauth2: Rename oauth2_request_free_internal() to oauth2_request_free().

And make it static.

lib-oauth2: Rename oauth2_parse_json() to oauth2_request_parse_json().

lib-oauth2: Move oauth2_request_set_headers() to oauth2-request.c.

lib-oauth2: Move oauth2_request_abort() to oauth2-request.c.

lib-oauth2: Move oauth2_request_free_internal() to oauth2-request.c.

lib-oauth2: Move oauth2_parse_json() to oauth2-request.c.

lib-oauth2: Reformat test-oauth2-jwt.c.

lib-oauth2: Reformat oauth2-jwt.c.

lib-oauth2: Reformat oauth2-key-cache.c.

lib-oauth2: Reformat oauth2-request.c.

lib-oauth2: Reformat oauth2.c.

lib-oauth2: Reformat oauth2-private.h.

lib-oauth2: Reformat oauth2.h.

auth: db-oauth2 - Add consistent prefix for all error messages

auth: db-oauth2 - Fix debug logging

Don't log a debug message when the callback is going to be logging
exactly the same message as info/error.

auth: db-oauth2 - Call db_oauth2_lookup_continue_valid() after valid grant

No need to check for error/validity again in db_oauth2_lookup_continue().

auth: db-oauth2 - db_oauth2_lookup_continue() - Minor cleanup to avoid variables

auth: db-oauth2 - Split off db_oauth2_lookup_continue_valid()

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder error handling code flow

auth: db-oauth2 - Improve "Internal error" message for grant lookups

auth: db-oauth2 - Add and use db_oauth2_field_find()

auth: db-oauth2 - Don't set db_oauth2_request.token for grant lookups

The grant lookup sets the token. There's no need to set it before that.

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder code flow

No behavioral changes.

auth: db-oauth2 - Refactor "OAuth2 token missing from reply" code path

It can be NULL only when coming from db_oauth2_lookup_passwd_grant(),
so handle it there.

auth: db-oauth2 - db_oauth2_template_export() - Make var_expand() error handling consistent

Other var_expand() errors include the original string in the error message,
so this one should also.

lib-oauth2: Improve error message when server returns unexpected result

If the result isn't 2xx or 4xx, use the HTTP response message as the error
message.

lib-oauth2: Don't fail if oauth response payload is NULL

oauth2_parse_json() is happy with with empty payload (Content-Length: 0),
so it should be happy also when payload is NULL (Content-Length is missing).

lib-oauth2: Remove unused oauth2-passwd-grant.c

lib-oauth2, auth: Remove redundant oauth2_request_result.success

success is the same as (error == NULL)

lib-oauth2: json_parsed_cb() - Remove redundant success parameter

success is the same as (error == NULL)

fs-compress: Use istream-decompress

lib-compression: Fix detecting if input is bzip2 compressed

The detection was broken at least for empty bzip2 input.

lib-compression: Add istream-decompress

This stream detects the compression format and creates the proper istream
afterwards. This is more efficient than creating each compression istream
and using istream-try.

lib-storage: Add test-mail unit test

Initially it just accesses the mail randomly.

mail-crypt: test-mail-crypt - Use test-mail-storage API

lib-storage: Add a public test-mail-storage-common.h API

Moved the public functions into test-mail-storage-common.c

lib-storage: test-mail-storage - Die on test_mail_init_user() failure

This way the caller won't need to do error handling. The errors were
being handled inconsistently.

lib-storage: test-mail-storage - Remove randomness from test home directory

Also rename test_mail_storage_ctx.mail_home to home_root to better describe
it.

lib-storage: test-mail-storage - Change test_mail_init() to allocate the struct

lib-storage: test-mail-storage - Use settings struct for test_mail_init_user()

lib: i_stream_read() - Don't create empty snapshots

This allows the read() implementation to read data into the existing
memarea. Otherwise a new memarea might have to be created because the old
one is referenced by the snapshot.

imap: Process title wrongly shows connections are "corked"

The flush callback in ostream-file always corks the connection, so the
process title needs to be delayed until it's no longer in that callback.
Add a 0-timeout to update the process title.

lib-lua: Rewrite arg checking macros to use STMT_{START,END}

This makes it safer to use.  Additionally, this commit adds some newlines to
the macro definition to make it more readable.

login-proxy: Use persistent istream buffers

Constantly freeing and allocating the memory is a bit slow, but because
Dovecot allocates all memory with calloc() the memory cleaing is especially
slow. With this change proxying lots of data in a plaintext connection
takes about 50% less CPU. The downside is that it uses about 4 kB more
memory per istream (8 kB total, for both client and server connections),
but that shouldn't be too bad for proxies since they don't use much memory
otherwise.

lib-mail: test-istream-qp-decoder.c - Free input_data_limited

lib-http: http-client-request - Fix payload assertions in http_client_request_send_more().

When the request payload is finished, both req->payload_input and
req->payload_output could be NULL, so the assertions on those being not NULL
need to happen after the check for req->payload_finished.

This particularly causes problems with the
blocking http_client_request_send/finish_payload() API, which constantly
modifies req->payload_input and sets it to NULL to finish the output.

This caused a panic:

Panic: file http-client-request.c: line 1232 (http_client_request_send_more): assertion failed: (req->payload_input != NULL)

lib-http: test-http-payload - Add test for blocking client output payload.

lib-http: test-http-payload - Implement reference counting for client request.

lib-http: Reformat http-client-request.c.

notify: Free notify_mail_txn when a plugin does not define mail_transaction_commit

lib-mail: Add tests for message-size functions

Integrate testing of header and body size to existing tests and add new
tests specifically for message-size.

lib-mail: Extend quoted-printable encoding tests

lib-mail: Extend quoted-printable decoding tests

lib-mail: qp-encoder: Ensure trailing white space is followed by printable

In case a qp-encoded line ends with space or tab append a soft line
break to prevent white space being cut off by decoding instance.

lib-mail: test-message-parser - Convert to signed when calculating variance

Satisfies runtime analyser, broken in 6b60e5ed490

lib-mail: message-decoder - Fix CTE parser to accept only syntaxically valid values

lib-mail: test-rfc822-parser - Add tests for content-type full parsing

lib-mail: message-decoder - Constify message_decoder_parse_cte parameter

lib-mail: rfc822-parser - Fix content-type parser to accept only valid values

imap: Fix potential hang if client disconnects with pipelined ambiguous commands

For example if client pipelines FETCH+LOGOUT commands and disconnects during
a large FETCH output, the LOGOUT command is processed as waiting for
unambiguity. This code path however doesn't detect a client disconnection,
and input IO handler is removed so it can't detect it either. So the imap
process hangs.

imap: Move disconnected-check inside client_continue_pending_input()

This way all of its callers don't have to check if the client is
disconnected.

lib-storage: Update comments about mail_search_args_init() and refcount handling

doveadm: Add timestamp prefixes for debug output

But still allow overriding from env by setting LOG_STDERR_TIMESTAMP.

lib-dict: dict_iterate() - Fix segfault with DICT_ITERATE_FLAG_NO_VALUE

Broken by cf0d196c2b373a37bc1ab4e10fde89fb61089f3c

dict-cdb: Fix to use new dict.iterate() API

Forgot in 65b7f04f945781cd042f5ad2f6f104f532143ee7

m4: size_t_signed.m4 - use static assertion instead of run test

a small step towards cross-compile-ability.

lib-index: Improve debug logging

lib-index: Handle rapidly rotating transaction logs without unnecessary fsck

lib-index: mail_index_reopen_if_changed() - Add reopened_r parameter

lib-index: mail_index_sync_map() - Move corruption handling to caller

lib-index: mail_index_map_latest_sync() - Minor refactoring

lib-index: Split off mail_index_map_latest_sync()

lib-index: mail_index_sync_map() - Always return -1 on I/O failures

Even though with force=FALSE in theory it would be possible to work around
it, but more likely it will just cause another I/O error. This simplifies
the code for the following changes.

lib-index: Move calling mail_index_sync_map_want_index_reopen() to mail_index_map()

lib-index: Split off mail_index_sync_map_want_index_reopen()

lib-index: mail_transaction_log_indexid_changed() - Clarify refcount handling

Although the old code worked as well, it wasn't so obvious since the
behavior was slightly different when the log->head had extra references.
Clarify the behavior by always unreferencing after the new log file is
created.

lib-index: mail_transaction_log_file_free() - Assert that refcount=0

lib-index: mail_index_write() - Make sure index is rewritten after log rotation

Otherwise the index will point to .log.2 file, which could become deleted
before the index is rewritten again.

lib-index: mail_transaction_log_view_set() - Make sure log files aren't freed too early

It's possible that mail_transaction_log_find_file() frees one of the files
that are already in the linked list. Avoid it by referencing the file
immediately when it's added to the list.

lib-index: test-mail-transaction-log-view - Move test_transaction_log_file_add()

lib-index: mail_transaction_log_view_set() - Return -1 only on I/O error

The callers that care about the difference:

 * mail_index_sync_map() already assumes that -1 means I/O error
 * mail_index_sync_set_log_view() handles 0 by logging an error and fscking
   the index, which is likely better than just returning failure.
 * view_sync_set_log_view_range()'s caller handles 0 by rebuilding the
   missing changes in memory. So returning 0 makes it work better.
 * dsync_log_set() and mailbox_get_expunges_init() have fallbacks for
   handling 0, while -1 would just return an error.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - Separate I/O errors from corruption

lib: Add data_stack_get_used_size()

Mainly for debugging purposes.

doveadm dict iter: Support printing multiple values

dict-sql: Support dict_iterate_values()

dict, dict-client: Support dict_iterate_values()

This doesn't change the dict client protocol in an incompatible way, so it's
possible to mix old/new client/server.

lib-dict: Add dict_iterate_values()

lib-dict: Change dict.iterate() API to support returning multiple values

This requires changes to all dict drivers.

lib-dict: dict_iterate() - Always return NULL if DICT_ITERATE_FLAG_NO_VALUE is used

This way it behaves more consistently across backends.

doveadm: mail: doveadm_mail_failed_error() - Set specific exit code for MAIL_ERROR_INUSE

Set exit code DOVEADM_EX_NOTPOSSIBLE in case MAIL_ERROR_INUSE is set via
doveadm_mail_failed_error(). This exit code is used to indicate that a
operation cannot be done because another session prevents it.

doveadm: When sending server logs to client, make sure ioloop isn't set to NULL

This could have happened if there was any logging done outside command
handling. For example a doveadm command used http-client, which has a
timeout that triggers logging only after the command is finished.

Fixes segfault and:
Panic: file http-client.c: line 642 (http_client_context_close): assertion failed: (cctx->clients_list == NULL)

lib-lua: Don't add system libs to libdovecot_lua_la_DEPENDENCIES

This confuses the build system, causing it to think that it needs to build
those.  This manifests itself as:

make: *** No rule to make target '-L/usr/lib/x86_64-linux-gnu', needed by 'libdovecot-lua.la'.  Stop.

imap: Fix memory leak in get_expunges_fallback()

lib: test-file-cache - Use memcmp

Data is not null-terminated, so use memcmp.

lib: test-file-cache - Assert map value

Satisfies static analyser

lib: event-filter-parser - Test simple but invalid input

lib: event-filter - Do not assert that there in no output on error

When the input is a simple (but invalid) expression (e.g., a=b=c) the output
variable may be set.  This is perfectly fine.

The assertion (and the associated failure) come from when event filter
parsing was switched to the new filter syntax
(fcba1d530737813de11d9d730d5db6496e2e574b).