lib-mail: Extend quoted-printable decoding tests

lib-mail: qp-encoder: Ensure trailing white space is followed by printable

In case a qp-encoded line ends with space or tab append a soft line
break to prevent white space being cut off by decoding instance.

lib-mail: test-message-parser - Convert to signed when calculating variance

Satisfies runtime analyser, broken in 6b60e5ed490

lib-mail: message-decoder - Fix CTE parser to accept only syntaxically valid values

lib-mail: test-rfc822-parser - Add tests for content-type full parsing

lib-mail: message-decoder - Constify message_decoder_parse_cte parameter

lib-mail: rfc822-parser - Fix content-type parser to accept only valid values

imap: Fix potential hang if client disconnects with pipelined ambiguous commands

For example if client pipelines FETCH+LOGOUT commands and disconnects during
a large FETCH output, the LOGOUT command is processed as waiting for
unambiguity. This code path however doesn't detect a client disconnection,
and input IO handler is removed so it can't detect it either. So the imap
process hangs.

imap: Move disconnected-check inside client_continue_pending_input()

This way all of its callers don't have to check if the client is
disconnected.

lib-storage: Update comments about mail_search_args_init() and refcount handling

doveadm: Add timestamp prefixes for debug output

But still allow overriding from env by setting LOG_STDERR_TIMESTAMP.

lib-dict: dict_iterate() - Fix segfault with DICT_ITERATE_FLAG_NO_VALUE

Broken by cf0d196c2b373a37bc1ab4e10fde89fb61089f3c

dict-cdb: Fix to use new dict.iterate() API

Forgot in 65b7f04f945781cd042f5ad2f6f104f532143ee7

m4: size_t_signed.m4 - use static assertion instead of run test

a small step towards cross-compile-ability.

lib-index: Improve debug logging

lib-index: Handle rapidly rotating transaction logs without unnecessary fsck

lib-index: mail_index_reopen_if_changed() - Add reopened_r parameter

lib-index: mail_index_sync_map() - Move corruption handling to caller

lib-index: mail_index_map_latest_sync() - Minor refactoring

lib-index: Split off mail_index_map_latest_sync()

lib-index: mail_index_sync_map() - Always return -1 on I/O failures

Even though with force=FALSE in theory it would be possible to work around
it, but more likely it will just cause another I/O error. This simplifies
the code for the following changes.

lib-index: Move calling mail_index_sync_map_want_index_reopen() to mail_index_map()

lib-index: Split off mail_index_sync_map_want_index_reopen()

lib-index: mail_transaction_log_indexid_changed() - Clarify refcount handling

Although the old code worked as well, it wasn't so obvious since the
behavior was slightly different when the log->head had extra references.
Clarify the behavior by always unreferencing after the new log file is
created.

lib-index: mail_transaction_log_file_free() - Assert that refcount=0

lib-index: mail_index_write() - Make sure index is rewritten after log rotation

Otherwise the index will point to .log.2 file, which could become deleted
before the index is rewritten again.

lib-index: mail_transaction_log_view_set() - Make sure log files aren't freed too early

It's possible that mail_transaction_log_find_file() frees one of the files
that are already in the linked list. Avoid it by referencing the file
immediately when it's added to the list.

lib-index: test-mail-transaction-log-view - Move test_transaction_log_file_add()

lib-index: mail_transaction_log_view_set() - Return -1 only on I/O error

The callers that care about the difference:

 * mail_index_sync_map() already assumes that -1 means I/O error
 * mail_index_sync_set_log_view() handles 0 by logging an error and fscking
   the index, which is likely better than just returning failure.
 * view_sync_set_log_view_range()'s caller handles 0 by rebuilding the
   missing changes in memory. So returning 0 makes it work better.
 * dsync_log_set() and mailbox_get_expunges_init() have fallbacks for
   handling 0, while -1 would just return an error.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - Separate I/O errors from corruption

lib: Add data_stack_get_used_size()

Mainly for debugging purposes.

doveadm dict iter: Support printing multiple values

dict-sql: Support dict_iterate_values()

dict, dict-client: Support dict_iterate_values()

This doesn't change the dict client protocol in an incompatible way, so it's
possible to mix old/new client/server.

lib-dict: Add dict_iterate_values()

lib-dict: Change dict.iterate() API to support returning multiple values

This requires changes to all dict drivers.

lib-dict: dict_iterate() - Always return NULL if DICT_ITERATE_FLAG_NO_VALUE is used

This way it behaves more consistently across backends.

doveadm: mail: doveadm_mail_failed_error() - Set specific exit code for MAIL_ERROR_INUSE

Set exit code DOVEADM_EX_NOTPOSSIBLE in case MAIL_ERROR_INUSE is set via
doveadm_mail_failed_error(). This exit code is used to indicate that a
operation cannot be done because another session prevents it.

doveadm: When sending server logs to client, make sure ioloop isn't set to NULL

This could have happened if there was any logging done outside command
handling. For example a doveadm command used http-client, which has a
timeout that triggers logging only after the command is finished.

Fixes segfault and:
Panic: file http-client.c: line 642 (http_client_context_close): assertion failed: (cctx->clients_list == NULL)

lib-lua: Don't add system libs to libdovecot_lua_la_DEPENDENCIES

This confuses the build system, causing it to think that it needs to build
those.  This manifests itself as:

make: *** No rule to make target '-L/usr/lib/x86_64-linux-gnu', needed by 'libdovecot-lua.la'.  Stop.

imap: Fix memory leak in get_expunges_fallback()

lib: test-file-cache - Use memcmp

Data is not null-terminated, so use memcmp.

lib: test-file-cache - Assert map value

Satisfies static analyser

lib: event-filter-parser - Test simple but invalid input

lib: event-filter - Do not assert that there in no output on error

When the input is a simple (but invalid) expression (e.g., a=b=c) the output
variable may be set.  This is perfectly fine.

The assertion (and the associated failure) come from when event filter
parsing was switched to the new filter syntax
(fcba1d530737813de11d9d730d5db6496e2e574b).

stats: openmetrics - Include submetric name only when present

Otherwise we SIGSEGV.

dsync: Fix UID renumbering when GUIDs aren't used

Mails that have local UIDs won't be in import_uids hash table, so they're
not otherwise being iterated at the end and checked if they need
renumbering.

dsync: Incremental sync sometimes missed messages when GUIDs weren't available

GUIDs aren't available when using imapc, so this affected migrations.

.gitignore: Ignore coverage and temp files

lib-mail: test-message-part-serialize - Add tests

lib-mail: test-message-header-parser - Validate header value

lib-mail: test-message-header-parser - Test NUL bytes in header

lib-mail: test-message-header-decode - Add more tests

lib-mail: test-message-header-decode - Use libcharset

Otherwise we can only test utf-8

lib-mail: test-message-search - Add more message searching tests

lib-mail: test-mail-user-hash - Add tests for mail_user_hash

lib-mail: test-message-decoder - Add charset conversion test

lib-mail: test-message-decoder - Test Content-Transfer-Encoding

lib-mail: test-message-parser - Add tests for MIME-Version header

lib-mail: test-* - Add missing test_assert

Need to ensure stream did not fail during parsing.

lib-mail: test-message-parser - Use message_part_is_equal

Replace msg_parts_cmp with message_part_is_equal.

lib-mail: test-message-parser - Refactor message parsing to utility function

Makes next changes easier.

lib-mail: Add message_part_is_equal

Returns TRUE if two parts are equal.

configure.ac: Finish removing vpopmail support

lib-storage: Add prefix to failed mailbox list index rebuild error messages

This makes it clearer that the failure is happening because index was being
rebuilt.

lib-storage: Fix error message when mailbox list index rebuild fails

The error needs to be copied to mailbox_list, otherwise it's just
"Unknown internal list error".

lib-storage: Fix mailbox list iteration error handling for INBOX

If INBOX isn't in the first namespace, the error wasn't correctly set for
it.

lib-storage: Use mailbox_get_last_mail_error() for mailbox_get_path_to() errors

mailbox_list_get_last_error() happens to work currently, but it's
accidental.

lib-index: Fix detecting if index is undeleted

It was possible that mail_index_is_deleted() kept returning that the index
was deleted, even if it was marked as undeleted. This happened when the
deletion was in dovecot.index.log.2, undeletion in dovecot.index.log and
dovecot.index pointed to the .log.2 file. This caused the .log file to be
read first, which sees the undeletion. Later on the .log.2 was parsed and
it marked the index back as deleted.

lib-fts: Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib-smtp: smtp_address_init_from_msg() - Avoid implicit char to unsigned char conversion

Fixes calling smtp_char_is_qpair() with ubsan:
runtime error: implicit conversion from type 'char' of value -61 (8-bit, signed) to type 'unsigned char' changed the value to 195 (8-bit, unsigned)

lib-index: Add explicit wrapping to 8bit variable increments

Fixes ubsan errors:
runtime error: implicit conversion from type 'int' of value 256 (32-bit, signed) to type 'uint8_t' (aka 'unsigned char') changed the value to 0 (8-bit, unsigned)

lib: istream-concat - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: istream-chain - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: MODULE_CONTEXT_SET*() - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: Add and use TYPE_CHECKS() macro to standardize type checking for functions

This helps especially to avoid adding COMPILE_ERROR_*() macros to NULL
pointers, which results in ubsan errors:
runtime error: applying zero offset to null pointer

These changes also remove the use of gcc-specific ({...}) code in the
macros, making them slightly more portable.

lib: COMPILE_ERROR_IF_TRUE() - Return FALSE instead of 0

This will be needed for the following changes to avoid warnings with
-Wstrict-bool.

lib-fs: fs_file_init_parent() - Keep mode and flags parameters separated

Internally cast them both to (int) before ORing them together for the
fs_file_init_with_event() call.

This avoids compiler warnings with -Wenum-enum-conversion:
warning: bitwise operation between different enumeration types ('enum fs_open_mode' and 'enum fs_open_flags')

auth: Remove ntlm mechanism & the LANMAN and NTLM password schemes

auth: Remove vpopmail user & pass db support

auth: Remove S/Key mechanism & password scheme

auth: Remove RPA mechanism & password scheme

auth: Remove postmap socket type

auth: Remove support for SIA passdb

lib: Be less verbose in event filter tests

Only print the input string if the test failed.

lib-smtp: smtp-server-connection - Make sure output stream errors are handled.

lib-ssl-iosteam: ostream-openssl - Make sure error on plaintext streams is propagated.

lib-ssl-iostrea: ostream-openssl - Add local variable for ssl_io in o_stream_ssl_flush_buffer().

auth: db-oauth2 - Do not allow empty active_value or active_attribute, when other is set

auth: db-oauth2 - If active attribute is present in request, check it

If the attribute is missing, do not assume it's false.

auth: db-oauth2 - Check active attribute by default

auth: db-oauth2 - Change active:false to mean invalid token

Specifications say that invalid token, expired token and any other
reason why the token can be considered invalid should return
{"active":false} reply with no other fields.

Thus, we need to consider this as invalid token.

auth: db-oauth2 - Allow active:false without username

lib-storage: Skip setting log view in mailbox_get_expunges_init when box->view is outdated.

This fixes assert-crash when IMAP client uses QRESYNC and lots of changes happen between syncing points.

Fixes:
Panic: file mail-transaction-log-view.c: line 144 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-fts: test-fts-filter - Fix clang suspicious concatenation of string literals warning

Fixes:
warning: suspicious concatenation of string literals in an array initialization; did you mean to separate the elements with a comma? [-Wstring-concatenation]

lib: Standardize STMT_BEGIN and STMT_END

do .. while(0) should work everywhere.

This also fixes warnings given by new clang:
warning: '}' and ')' tokens terminating statement expression appear in different macro expansion contexts [-Wcompound-token-split-by-macro]

lib: test-istream - Don't try to return void

lib: test-file-cache - Add asserts for initial return value of file_cache_get

lib-lda: Update mail sizes to event only if they are known

lib-storage: raw-mail - Cast st_size to uoff_t

mbox->size is unsigned field, and st_size will be -1
is the stat target is not regular file or symbolic link.
This can happen if it's stream like stdin.