lib-index: mail_index_sync_map() - Always return -1 on I/O failures

Even though with force=FALSE in theory it would be possible to work around
it, but more likely it will just cause another I/O error. This simplifies
the code for the following changes.

lib-index: Move calling mail_index_sync_map_want_index_reopen() to mail_index_map()

lib-index: Split off mail_index_sync_map_want_index_reopen()

lib-index: mail_transaction_log_indexid_changed() - Clarify refcount handling

Although the old code worked as well, it wasn't so obvious since the
behavior was slightly different when the log->head had extra references.
Clarify the behavior by always unreferencing after the new log file is
created.

lib-index: mail_transaction_log_file_free() - Assert that refcount=0

lib-index: mail_index_write() - Make sure index is rewritten after log rotation

Otherwise the index will point to .log.2 file, which could become deleted
before the index is rewritten again.

lib-index: mail_transaction_log_view_set() - Make sure log files aren't freed too early

It's possible that mail_transaction_log_find_file() frees one of the files
that are already in the linked list. Avoid it by referencing the file
immediately when it's added to the list.

lib-index: test-mail-transaction-log-view - Move test_transaction_log_file_add()

lib-index: mail_transaction_log_view_set() - Return -1 only on I/O error

The callers that care about the difference:

 * mail_index_sync_map() already assumes that -1 means I/O error
 * mail_index_sync_set_log_view() handles 0 by logging an error and fscking
   the index, which is likely better than just returning failure.
 * view_sync_set_log_view_range()'s caller handles 0 by rebuilding the
   missing changes in memory. So returning 0 makes it work better.
 * dsync_log_set() and mailbox_get_expunges_init() have fallbacks for
   handling 0, while -1 would just return an error.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - Separate I/O errors from corruption

lib: Add data_stack_get_used_size()

Mainly for debugging purposes.

doveadm dict iter: Support printing multiple values

dict-sql: Support dict_iterate_values()

dict, dict-client: Support dict_iterate_values()

This doesn't change the dict client protocol in an incompatible way, so it's
possible to mix old/new client/server.

lib-dict: Add dict_iterate_values()

lib-dict: Change dict.iterate() API to support returning multiple values

This requires changes to all dict drivers.

lib-dict: dict_iterate() - Always return NULL if DICT_ITERATE_FLAG_NO_VALUE is used

This way it behaves more consistently across backends.

doveadm: mail: doveadm_mail_failed_error() - Set specific exit code for MAIL_ERROR_INUSE

Set exit code DOVEADM_EX_NOTPOSSIBLE in case MAIL_ERROR_INUSE is set via
doveadm_mail_failed_error(). This exit code is used to indicate that a
operation cannot be done because another session prevents it.

doveadm: When sending server logs to client, make sure ioloop isn't set to NULL

This could have happened if there was any logging done outside command
handling. For example a doveadm command used http-client, which has a
timeout that triggers logging only after the command is finished.

Fixes segfault and:
Panic: file http-client.c: line 642 (http_client_context_close): assertion failed: (cctx->clients_list == NULL)

lib-lua: Don't add system libs to libdovecot_lua_la_DEPENDENCIES

This confuses the build system, causing it to think that it needs to build
those.  This manifests itself as:

make: *** No rule to make target '-L/usr/lib/x86_64-linux-gnu', needed by 'libdovecot-lua.la'.  Stop.

imap: Fix memory leak in get_expunges_fallback()

lib: test-file-cache - Use memcmp

Data is not null-terminated, so use memcmp.

lib: test-file-cache - Assert map value

Satisfies static analyser

lib: event-filter-parser - Test simple but invalid input

lib: event-filter - Do not assert that there in no output on error

When the input is a simple (but invalid) expression (e.g., a=b=c) the output
variable may be set.  This is perfectly fine.

The assertion (and the associated failure) come from when event filter
parsing was switched to the new filter syntax
(fcba1d530737813de11d9d730d5db6496e2e574b).

stats: openmetrics - Include submetric name only when present

Otherwise we SIGSEGV.

dsync: Fix UID renumbering when GUIDs aren't used

Mails that have local UIDs won't be in import_uids hash table, so they're
not otherwise being iterated at the end and checked if they need
renumbering.

dsync: Incremental sync sometimes missed messages when GUIDs weren't available

GUIDs aren't available when using imapc, so this affected migrations.

.gitignore: Ignore coverage and temp files

lib-mail: test-message-part-serialize - Add tests

lib-mail: test-message-header-parser - Validate header value

lib-mail: test-message-header-parser - Test NUL bytes in header

lib-mail: test-message-header-decode - Add more tests

lib-mail: test-message-header-decode - Use libcharset

Otherwise we can only test utf-8

lib-mail: test-message-search - Add more message searching tests

lib-mail: test-mail-user-hash - Add tests for mail_user_hash

lib-mail: test-message-decoder - Add charset conversion test

lib-mail: test-message-decoder - Test Content-Transfer-Encoding

lib-mail: test-message-parser - Add tests for MIME-Version header

lib-mail: test-* - Add missing test_assert

Need to ensure stream did not fail during parsing.

lib-mail: test-message-parser - Use message_part_is_equal

Replace msg_parts_cmp with message_part_is_equal.

lib-mail: test-message-parser - Refactor message parsing to utility function

Makes next changes easier.

lib-mail: Add message_part_is_equal

Returns TRUE if two parts are equal.

configure.ac: Finish removing vpopmail support

lib-storage: Add prefix to failed mailbox list index rebuild error messages

This makes it clearer that the failure is happening because index was being
rebuilt.

lib-storage: Fix error message when mailbox list index rebuild fails

The error needs to be copied to mailbox_list, otherwise it's just
"Unknown internal list error".

lib-storage: Fix mailbox list iteration error handling for INBOX

If INBOX isn't in the first namespace, the error wasn't correctly set for
it.

lib-storage: Use mailbox_get_last_mail_error() for mailbox_get_path_to() errors

mailbox_list_get_last_error() happens to work currently, but it's
accidental.

lib-index: Fix detecting if index is undeleted

It was possible that mail_index_is_deleted() kept returning that the index
was deleted, even if it was marked as undeleted. This happened when the
deletion was in dovecot.index.log.2, undeletion in dovecot.index.log and
dovecot.index pointed to the .log.2 file. This caused the .log file to be
read first, which sees the undeletion. Later on the .log.2 was parsed and
it marked the index back as deleted.

lib-fts: Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib-smtp: smtp_address_init_from_msg() - Avoid implicit char to unsigned char conversion

Fixes calling smtp_char_is_qpair() with ubsan:
runtime error: implicit conversion from type 'char' of value -61 (8-bit, signed) to type 'unsigned char' changed the value to 195 (8-bit, unsigned)

lib-index: Add explicit wrapping to 8bit variable increments

Fixes ubsan errors:
runtime error: implicit conversion from type 'int' of value 256 (32-bit, signed) to type 'uint8_t' (aka 'unsigned char') changed the value to 0 (8-bit, unsigned)

lib: istream-concat - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: istream-chain - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: MODULE_CONTEXT_SET*() - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: Add and use TYPE_CHECKS() macro to standardize type checking for functions

This helps especially to avoid adding COMPILE_ERROR_*() macros to NULL
pointers, which results in ubsan errors:
runtime error: applying zero offset to null pointer

These changes also remove the use of gcc-specific ({...}) code in the
macros, making them slightly more portable.

lib: COMPILE_ERROR_IF_TRUE() - Return FALSE instead of 0

This will be needed for the following changes to avoid warnings with
-Wstrict-bool.

lib-fs: fs_file_init_parent() - Keep mode and flags parameters separated

Internally cast them both to (int) before ORing them together for the
fs_file_init_with_event() call.

This avoids compiler warnings with -Wenum-enum-conversion:
warning: bitwise operation between different enumeration types ('enum fs_open_mode' and 'enum fs_open_flags')

auth: Remove ntlm mechanism & the LANMAN and NTLM password schemes

auth: Remove vpopmail user & pass db support

auth: Remove S/Key mechanism & password scheme

auth: Remove RPA mechanism & password scheme

auth: Remove postmap socket type

auth: Remove support for SIA passdb

lib: Be less verbose in event filter tests

Only print the input string if the test failed.

lib-smtp: smtp-server-connection - Make sure output stream errors are handled.

lib-ssl-iosteam: ostream-openssl - Make sure error on plaintext streams is propagated.

lib-ssl-iostrea: ostream-openssl - Add local variable for ssl_io in o_stream_ssl_flush_buffer().

auth: db-oauth2 - Do not allow empty active_value or active_attribute, when other is set

auth: db-oauth2 - If active attribute is present in request, check it

If the attribute is missing, do not assume it's false.

auth: db-oauth2 - Check active attribute by default

auth: db-oauth2 - Change active:false to mean invalid token

Specifications say that invalid token, expired token and any other
reason why the token can be considered invalid should return
{"active":false} reply with no other fields.

Thus, we need to consider this as invalid token.

auth: db-oauth2 - Allow active:false without username

lib-storage: Skip setting log view in mailbox_get_expunges_init when box->view is outdated.

This fixes assert-crash when IMAP client uses QRESYNC and lots of changes happen between syncing points.

Fixes:
Panic: file mail-transaction-log-view.c: line 144 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-fts: test-fts-filter - Fix clang suspicious concatenation of string literals warning

Fixes:
warning: suspicious concatenation of string literals in an array initialization; did you mean to separate the elements with a comma? [-Wstring-concatenation]

lib: Standardize STMT_BEGIN and STMT_END

do .. while(0) should work everywhere.

This also fixes warnings given by new clang:
warning: '}' and ')' tokens terminating statement expression appear in different macro expansion contexts [-Wcompound-token-split-by-macro]

lib: test-istream - Don't try to return void

lib: test-file-cache - Add asserts for initial return value of file_cache_get

lib-lda: Update mail sizes to event only if they are known

lib-storage: raw-mail - Cast st_size to uoff_t

mbox->size is unsigned field, and st_size will be -1
is the stat target is not regular file or symbolic link.
This can happen if it's stream like stdin.

lib-fs: iteration - Fix crash when overwriting iteration error

Can't use fs_file_path() because file is NULL. Instead, add the path to
struct fs_iter directly so it can be used in the error.

Broken by eaaf40ca4e8994824abff89fc617c3cc737d83a5

quota: Avoid implicit integer conversion to unsigned in quota calculation

Deducting negative number from unsigned integer causes
signed integer conversion to unsigned int, which results a
too large positive number. Do calculations using int64 instead.

This did not cause any visible problems, found by
clang integer sanitization.

global: Fix overzealous use of ENUM_NEGATE

lib: istream-seekable - Fix returning stream size

The returned size may have been truncated.

lib-fs: Add assert to make sure we never log "(null)" as the old error

lib-fs: Fix logging old error when an unlogged error is replaced by new error

The old error was logged as "(null)" if the error happened in a non-root
(filter) file.

lib-fs: Include file's path when logging pending error messages

Otherwise it may not be known which file the error is about.

This happens when a file is freed without the last error being logged.
Also when an unlogged error is being replaced with a new error.

lib: event-filter-parser - Disallow non-equals comparators on non-fields

Non-equals comparisons (<, <=, >, and >=) aren't well defined for anything
other than fields.  Therefore, if we encounter one of these comparators with
an event name, category name, or source location, we should error out and
avoid confusing the user.

lib-storage: Delay recreating event when closing mail

If the mail isn't reused, the event is unnecessary.

global: Explicitly wrap values to fit target

global: Add explicit casts where needed

Squash implicit conversion complains from sanitizer.

global: Disable undefined behaviour sanitization for select locations

global: Fix negation with constants to match target type

global: Use ENUM_NEGATE() macro where necessary

global: Use UOFF_T_MAX instead of (uoff_t)-1

global: Use SIZE_MAX instead of (size_t)-1

lib: macros - Add ENUM_NEGATE

Handles enumeration flag negation.

configure: Add ubsan support

lib-mail: test-message-header-hash: Fix type issue

Satisfies runtime analyzer.

doveadm: mailbox status - Handle first_save_date correctly

If first_save_date is -1 it means no save has been done.