lib-oauth2: Improve error message when server returns unexpected result

If the result isn't 2xx or 4xx, use the HTTP response message as the error
message.

lib-oauth2: Don't fail if oauth response payload is NULL

oauth2_parse_json() is happy with with empty payload (Content-Length: 0),
so it should be happy also when payload is NULL (Content-Length is missing).

lib-oauth2: Remove unused oauth2-passwd-grant.c

lib-oauth2, auth: Remove redundant oauth2_request_result.success

success is the same as (error == NULL)

lib-oauth2: json_parsed_cb() - Remove redundant success parameter

success is the same as (error == NULL)

fs-compress: Use istream-decompress

lib-compression: Fix detecting if input is bzip2 compressed

The detection was broken at least for empty bzip2 input.

lib-compression: Add istream-decompress

This stream detects the compression format and creates the proper istream
afterwards. This is more efficient than creating each compression istream
and using istream-try.

lib-storage: Add test-mail unit test

Initially it just accesses the mail randomly.

mail-crypt: test-mail-crypt - Use test-mail-storage API

lib-storage: Add a public test-mail-storage-common.h API

Moved the public functions into test-mail-storage-common.c

lib-storage: test-mail-storage - Die on test_mail_init_user() failure

This way the caller won't need to do error handling. The errors were
being handled inconsistently.

lib-storage: test-mail-storage - Remove randomness from test home directory

Also rename test_mail_storage_ctx.mail_home to home_root to better describe
it.

lib-storage: test-mail-storage - Change test_mail_init() to allocate the struct

lib-storage: test-mail-storage - Use settings struct for test_mail_init_user()

lib: i_stream_read() - Don't create empty snapshots

This allows the read() implementation to read data into the existing
memarea. Otherwise a new memarea might have to be created because the old
one is referenced by the snapshot.

imap: Process title wrongly shows connections are "corked"

The flush callback in ostream-file always corks the connection, so the
process title needs to be delayed until it's no longer in that callback.
Add a 0-timeout to update the process title.

lib-lua: Rewrite arg checking macros to use STMT_{START,END}

This makes it safer to use.  Additionally, this commit adds some newlines to
the macro definition to make it more readable.

login-proxy: Use persistent istream buffers

Constantly freeing and allocating the memory is a bit slow, but because
Dovecot allocates all memory with calloc() the memory cleaing is especially
slow. With this change proxying lots of data in a plaintext connection
takes about 50% less CPU. The downside is that it uses about 4 kB more
memory per istream (8 kB total, for both client and server connections),
but that shouldn't be too bad for proxies since they don't use much memory
otherwise.

lib-mail: test-istream-qp-decoder.c - Free input_data_limited

lib-http: http-client-request - Fix payload assertions in http_client_request_send_more().

When the request payload is finished, both req->payload_input and
req->payload_output could be NULL, so the assertions on those being not NULL
need to happen after the check for req->payload_finished.

This particularly causes problems with the
blocking http_client_request_send/finish_payload() API, which constantly
modifies req->payload_input and sets it to NULL to finish the output.

This caused a panic:

Panic: file http-client-request.c: line 1232 (http_client_request_send_more): assertion failed: (req->payload_input != NULL)

lib-http: test-http-payload - Add test for blocking client output payload.

lib-http: test-http-payload - Implement reference counting for client request.

lib-http: Reformat http-client-request.c.

notify: Free notify_mail_txn when a plugin does not define mail_transaction_commit

lib-mail: Add tests for message-size functions

Integrate testing of header and body size to existing tests and add new
tests specifically for message-size.

lib-mail: Extend quoted-printable encoding tests

lib-mail: Extend quoted-printable decoding tests

lib-mail: qp-encoder: Ensure trailing white space is followed by printable

In case a qp-encoded line ends with space or tab append a soft line
break to prevent white space being cut off by decoding instance.

lib-mail: test-message-parser - Convert to signed when calculating variance

Satisfies runtime analyser, broken in 6b60e5ed490

lib-mail: message-decoder - Fix CTE parser to accept only syntaxically valid values

lib-mail: test-rfc822-parser - Add tests for content-type full parsing

lib-mail: message-decoder - Constify message_decoder_parse_cte parameter

lib-mail: rfc822-parser - Fix content-type parser to accept only valid values

imap: Fix potential hang if client disconnects with pipelined ambiguous commands

For example if client pipelines FETCH+LOGOUT commands and disconnects during
a large FETCH output, the LOGOUT command is processed as waiting for
unambiguity. This code path however doesn't detect a client disconnection,
and input IO handler is removed so it can't detect it either. So the imap
process hangs.

imap: Move disconnected-check inside client_continue_pending_input()

This way all of its callers don't have to check if the client is
disconnected.

lib-storage: Update comments about mail_search_args_init() and refcount handling

doveadm: Add timestamp prefixes for debug output

But still allow overriding from env by setting LOG_STDERR_TIMESTAMP.

lib-dict: dict_iterate() - Fix segfault with DICT_ITERATE_FLAG_NO_VALUE

Broken by cf0d196c2b373a37bc1ab4e10fde89fb61089f3c

dict-cdb: Fix to use new dict.iterate() API

Forgot in 65b7f04f945781cd042f5ad2f6f104f532143ee7

m4: size_t_signed.m4 - use static assertion instead of run test

a small step towards cross-compile-ability.

lib-index: Improve debug logging

lib-index: Handle rapidly rotating transaction logs without unnecessary fsck

lib-index: mail_index_reopen_if_changed() - Add reopened_r parameter

lib-index: mail_index_sync_map() - Move corruption handling to caller

lib-index: mail_index_map_latest_sync() - Minor refactoring

lib-index: Split off mail_index_map_latest_sync()

lib-index: mail_index_sync_map() - Always return -1 on I/O failures

Even though with force=FALSE in theory it would be possible to work around
it, but more likely it will just cause another I/O error. This simplifies
the code for the following changes.

lib-index: Move calling mail_index_sync_map_want_index_reopen() to mail_index_map()

lib-index: Split off mail_index_sync_map_want_index_reopen()

lib-index: mail_transaction_log_indexid_changed() - Clarify refcount handling

Although the old code worked as well, it wasn't so obvious since the
behavior was slightly different when the log->head had extra references.
Clarify the behavior by always unreferencing after the new log file is
created.

lib-index: mail_transaction_log_file_free() - Assert that refcount=0

lib-index: mail_index_write() - Make sure index is rewritten after log rotation

Otherwise the index will point to .log.2 file, which could become deleted
before the index is rewritten again.

lib-index: mail_transaction_log_view_set() - Make sure log files aren't freed too early

It's possible that mail_transaction_log_find_file() frees one of the files
that are already in the linked list. Avoid it by referencing the file
immediately when it's added to the list.

lib-index: test-mail-transaction-log-view - Move test_transaction_log_file_add()

lib-index: mail_transaction_log_view_set() - Return -1 only on I/O error

The callers that care about the difference:

 * mail_index_sync_map() already assumes that -1 means I/O error
 * mail_index_sync_set_log_view() handles 0 by logging an error and fscking
   the index, which is likely better than just returning failure.
 * view_sync_set_log_view_range()'s caller handles 0 by rebuilding the
   missing changes in memory. So returning 0 makes it work better.
 * dsync_log_set() and mailbox_get_expunges_init() have fallbacks for
   handling 0, while -1 would just return an error.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - Separate I/O errors from corruption

lib: Add data_stack_get_used_size()

Mainly for debugging purposes.

doveadm dict iter: Support printing multiple values

dict-sql: Support dict_iterate_values()

dict, dict-client: Support dict_iterate_values()

This doesn't change the dict client protocol in an incompatible way, so it's
possible to mix old/new client/server.

lib-dict: Add dict_iterate_values()

lib-dict: Change dict.iterate() API to support returning multiple values

This requires changes to all dict drivers.

lib-dict: dict_iterate() - Always return NULL if DICT_ITERATE_FLAG_NO_VALUE is used

This way it behaves more consistently across backends.

doveadm: mail: doveadm_mail_failed_error() - Set specific exit code for MAIL_ERROR_INUSE

Set exit code DOVEADM_EX_NOTPOSSIBLE in case MAIL_ERROR_INUSE is set via
doveadm_mail_failed_error(). This exit code is used to indicate that a
operation cannot be done because another session prevents it.

doveadm: When sending server logs to client, make sure ioloop isn't set to NULL

This could have happened if there was any logging done outside command
handling. For example a doveadm command used http-client, which has a
timeout that triggers logging only after the command is finished.

Fixes segfault and:
Panic: file http-client.c: line 642 (http_client_context_close): assertion failed: (cctx->clients_list == NULL)

lib-lua: Don't add system libs to libdovecot_lua_la_DEPENDENCIES

This confuses the build system, causing it to think that it needs to build
those.  This manifests itself as:

make: *** No rule to make target '-L/usr/lib/x86_64-linux-gnu', needed by 'libdovecot-lua.la'.  Stop.

imap: Fix memory leak in get_expunges_fallback()

lib: test-file-cache - Use memcmp

Data is not null-terminated, so use memcmp.

lib: test-file-cache - Assert map value

Satisfies static analyser

lib: event-filter-parser - Test simple but invalid input

lib: event-filter - Do not assert that there in no output on error

When the input is a simple (but invalid) expression (e.g., a=b=c) the output
variable may be set.  This is perfectly fine.

The assertion (and the associated failure) come from when event filter
parsing was switched to the new filter syntax
(fcba1d530737813de11d9d730d5db6496e2e574b).

stats: openmetrics - Include submetric name only when present

Otherwise we SIGSEGV.

dsync: Fix UID renumbering when GUIDs aren't used

Mails that have local UIDs won't be in import_uids hash table, so they're
not otherwise being iterated at the end and checked if they need
renumbering.

dsync: Incremental sync sometimes missed messages when GUIDs weren't available

GUIDs aren't available when using imapc, so this affected migrations.

.gitignore: Ignore coverage and temp files

lib-mail: test-message-part-serialize - Add tests

lib-mail: test-message-header-parser - Validate header value

lib-mail: test-message-header-parser - Test NUL bytes in header

lib-mail: test-message-header-decode - Add more tests

lib-mail: test-message-header-decode - Use libcharset

Otherwise we can only test utf-8

lib-mail: test-message-search - Add more message searching tests

lib-mail: test-mail-user-hash - Add tests for mail_user_hash

lib-mail: test-message-decoder - Add charset conversion test

lib-mail: test-message-decoder - Test Content-Transfer-Encoding

lib-mail: test-message-parser - Add tests for MIME-Version header

lib-mail: test-* - Add missing test_assert

Need to ensure stream did not fail during parsing.

lib-mail: test-message-parser - Use message_part_is_equal

Replace msg_parts_cmp with message_part_is_equal.

lib-mail: test-message-parser - Refactor message parsing to utility function

Makes next changes easier.

lib-mail: Add message_part_is_equal

Returns TRUE if two parts are equal.

configure.ac: Finish removing vpopmail support

lib-storage: Add prefix to failed mailbox list index rebuild error messages

This makes it clearer that the failure is happening because index was being
rebuilt.

lib-storage: Fix error message when mailbox list index rebuild fails

The error needs to be copied to mailbox_list, otherwise it's just
"Unknown internal list error".

lib-storage: Fix mailbox list iteration error handling for INBOX

If INBOX isn't in the first namespace, the error wasn't correctly set for
it.

lib-storage: Use mailbox_get_last_mail_error() for mailbox_get_path_to() errors

mailbox_list_get_last_error() happens to work currently, but it's
accidental.

lib-index: Fix detecting if index is undeleted

It was possible that mail_index_is_deleted() kept returning that the index
was deleted, even if it was marked as undeleted. This happened when the
deletion was in dovecot.index.log.2, undeletion in dovecot.index.log and
dovecot.index pointed to the .log.2 file. This caused the .log file to be
read first, which sees the undeletion. Later on the .log.2 was parsed and
it marked the index back as deleted.

lib-fts: Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib-smtp: smtp_address_init_from_msg() - Avoid implicit char to unsigned char conversion

Fixes calling smtp_char_is_qpair() with ubsan:
runtime error: implicit conversion from type 'char' of value -61 (8-bit, signed) to type 'unsigned char' changed the value to 195 (8-bit, unsigned)

lib-index: Add explicit wrapping to 8bit variable increments

Fixes ubsan errors:
runtime error: implicit conversion from type 'int' of value 256 (32-bit, signed) to type 'uint8_t' (aka 'unsigned char') changed the value to 0 (8-bit, unsigned)

lib: istream-concat - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer