lib-smtp: smtp_address_init_from_msg() - Avoid implicit char to unsigned char conversion

Fixes calling smtp_char_is_qpair() with ubsan:
runtime error: implicit conversion from type 'char' of value -61 (8-bit, signed) to type 'unsigned char' changed the value to 195 (8-bit, unsigned)

lib-index: Add explicit wrapping to 8bit variable increments

Fixes ubsan errors:
runtime error: implicit conversion from type 'int' of value 256 (32-bit, signed) to type 'uint8_t' (aka 'unsigned char') changed the value to 0 (8-bit, unsigned)

lib: istream-concat - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: istream-chain - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: MODULE_CONTEXT_SET*() - Avoid NULL pointer arithmetic

Even though it was only doing +0. Fixes:
runtime error: applying zero offset to null pointer

lib: Add and use TYPE_CHECKS() macro to standardize type checking for functions

This helps especially to avoid adding COMPILE_ERROR_*() macros to NULL
pointers, which results in ubsan errors:
runtime error: applying zero offset to null pointer

These changes also remove the use of gcc-specific ({...}) code in the
macros, making them slightly more portable.

lib: COMPILE_ERROR_IF_TRUE() - Return FALSE instead of 0

This will be needed for the following changes to avoid warnings with
-Wstrict-bool.

lib-fs: fs_file_init_parent() - Keep mode and flags parameters separated

Internally cast them both to (int) before ORing them together for the
fs_file_init_with_event() call.

This avoids compiler warnings with -Wenum-enum-conversion:
warning: bitwise operation between different enumeration types ('enum fs_open_mode' and 'enum fs_open_flags')

auth: Remove ntlm mechanism & the LANMAN and NTLM password schemes

auth: Remove vpopmail user & pass db support

auth: Remove S/Key mechanism & password scheme

auth: Remove RPA mechanism & password scheme

auth: Remove postmap socket type

auth: Remove support for SIA passdb

lib: Be less verbose in event filter tests

Only print the input string if the test failed.

lib-smtp: smtp-server-connection - Make sure output stream errors are handled.

lib-ssl-iosteam: ostream-openssl - Make sure error on plaintext streams is propagated.

lib-ssl-iostrea: ostream-openssl - Add local variable for ssl_io in o_stream_ssl_flush_buffer().

auth: db-oauth2 - Do not allow empty active_value or active_attribute, when other is set

auth: db-oauth2 - If active attribute is present in request, check it

If the attribute is missing, do not assume it's false.

auth: db-oauth2 - Check active attribute by default

auth: db-oauth2 - Change active:false to mean invalid token

Specifications say that invalid token, expired token and any other
reason why the token can be considered invalid should return
{"active":false} reply with no other fields.

Thus, we need to consider this as invalid token.

auth: db-oauth2 - Allow active:false without username

lib-storage: Skip setting log view in mailbox_get_expunges_init when box->view is outdated.

This fixes assert-crash when IMAP client uses QRESYNC and lots of changes happen between syncing points.

Fixes:
Panic: file mail-transaction-log-view.c: line 144 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-fts: test-fts-filter - Fix clang suspicious concatenation of string literals warning

Fixes:
warning: suspicious concatenation of string literals in an array initialization; did you mean to separate the elements with a comma? [-Wstring-concatenation]

lib: Standardize STMT_BEGIN and STMT_END

do .. while(0) should work everywhere.

This also fixes warnings given by new clang:
warning: '}' and ')' tokens terminating statement expression appear in different macro expansion contexts [-Wcompound-token-split-by-macro]

lib: test-istream - Don't try to return void

lib: test-file-cache - Add asserts for initial return value of file_cache_get

lib-lda: Update mail sizes to event only if they are known

lib-storage: raw-mail - Cast st_size to uoff_t

mbox->size is unsigned field, and st_size will be -1
is the stat target is not regular file or symbolic link.
This can happen if it's stream like stdin.

lib-fs: iteration - Fix crash when overwriting iteration error

Can't use fs_file_path() because file is NULL. Instead, add the path to
struct fs_iter directly so it can be used in the error.

Broken by eaaf40ca4e8994824abff89fc617c3cc737d83a5

quota: Avoid implicit integer conversion to unsigned in quota calculation

Deducting negative number from unsigned integer causes
signed integer conversion to unsigned int, which results a
too large positive number. Do calculations using int64 instead.

This did not cause any visible problems, found by
clang integer sanitization.

global: Fix overzealous use of ENUM_NEGATE

lib: istream-seekable - Fix returning stream size

The returned size may have been truncated.

lib-fs: Add assert to make sure we never log "(null)" as the old error

lib-fs: Fix logging old error when an unlogged error is replaced by new error

The old error was logged as "(null)" if the error happened in a non-root
(filter) file.

lib-fs: Include file's path when logging pending error messages

Otherwise it may not be known which file the error is about.

This happens when a file is freed without the last error being logged.
Also when an unlogged error is being replaced with a new error.

lib: event-filter-parser - Disallow non-equals comparators on non-fields

Non-equals comparisons (<, <=, >, and >=) aren't well defined for anything
other than fields.  Therefore, if we encounter one of these comparators with
an event name, category name, or source location, we should error out and
avoid confusing the user.

lib-storage: Delay recreating event when closing mail

If the mail isn't reused, the event is unnecessary.

global: Explicitly wrap values to fit target

global: Add explicit casts where needed

Squash implicit conversion complains from sanitizer.

global: Disable undefined behaviour sanitization for select locations

global: Fix negation with constants to match target type

global: Use ENUM_NEGATE() macro where necessary

global: Use UOFF_T_MAX instead of (uoff_t)-1

global: Use SIZE_MAX instead of (size_t)-1

lib: macros - Add ENUM_NEGATE

Handles enumeration flag negation.

configure: Add ubsan support

lib-mail: test-message-header-hash: Fix type issue

Satisfies runtime analyzer.

doveadm: mailbox status - Handle first_save_date correctly

If first_save_date is -1 it means no save has been done.

lib: unichar - Change uni_utf8_char_bytes to accept unsigned char

lib-index: Use SIZE_MAX with str_sanitize

auth: password-scheme - Use UINT_MAX when calling password_generate_otp

lib: mempool-allocfree - Do not use PTR_OFFSET with negative offset

Avoids undefined behaviour sanitization error.

lib-fts: test-fts-tokenizer - Change test_chars to unsigned char

lib: str - Ensure str_append_c gets unsigned char parameter

lib: seq-range-array - Assert-crash if array becomes 0..(uint32_t)-1

lib: seq_range_array_add() - Reorder code flow

lib: seq-range-array - Split off seq_range_array_add_slow_path()

lib: seq-range-array - Use seq_range_length() internally

lib: seq_range_length() - Use const pointer

doc: Include dovecot-oauth2.conf.ext in dist tarball

doveadm-server: Fix STARTTLS support.

lib-master: master-service-ssl - Make context initialization error more useful.

This improves the error in case SSL is disabled; other causes still yield a
rather unhelpful error message.

lib: ostream-multiplex - Fix dead assignment by adding an assertion on the result.

Found by Clang scan-build.

global: Fix dead assignments in expressions.

Found by Clang scan-build.

man: Update doveadm-search-query.7

TEXT searches also from headers, not just body.

director: Fix error message when director_username_hash expansion fails

lib-storage: Fix potential assert-crash when adding missing attachment keywords

Broken by aab71c35259f542d9ba46b4b5b24eff0016b802e

Fixes:
Panic: file index-mail.c: line 1241 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

lib: json-parser - Fix skipping strings with non-blocking input

The skipping could have accessed memory outside the allocated string.
This might have resulted in a crash, or caused JSON parsing to fail.

lib-mail: test-message-header-decode - Add random encode/decode tests for 8 bit data.

This also tests handling of (broken) UTF-8 input.

lib-mail: test-message-header-encode - Add tests for broken UTF-8 in input.

lib-mail: test-message-header-encode - Check maximum line length with long printable text and whitespace.

lib-mail: message-header-encode - Update function descriptions.

lib-mail: Properly handle bad UTF-8 in message_header_encode_b().

Broken characters are substituted with a replacement character.

lib-mail: Properly handle bad UTF-8 in message_header_encode_q().

Broken characters are substituted with a replacement character.

lib-mail: message-header-encode - Return immediately when len == 0 in message_header_encode_b/q().

Just to make sure. This shouldn't happen in the first place.

lib-mail: message-header-encode - Use size_t for length/size variables and parameters.

lib-mail: message-header-encode - Fix encoding of 0x7F byte for Q encoding.

It was not escaped.

lib-mail: test-message-header-decode - Use test_assert_idx().

lib-mail: test-message-header-decode - Avoid generating random bytes that are never used.

lib-mail: test-message-header-decode - Use test_assert_strcmp().

lib-mail: test-message-header-encode - Use test_assert_strcmp().

lib: base64 - Add base64_encode_get_full_space().

This translates the space in the destination buffer to the number of bytes that
can be encoded at most to complete the full base64 encoding, including padding
and newlines if configured.

lib: base64 - Fix return value of base64_encode_more().

It didn't properly return TRUE when all input data was consumed.

lib: test-base64 - Add test for base64_encode_get_size() in random lowlevel streaming tests.

lib: test-base64 - Abort random lowlevel test case early when something failed already.

lib: unichar - Add length definitions for replacement and ellipsis characters.

lib: json-parser - Fix parsing \uXXXX in non-blocking input

If it was in the istream's read boundary it resulted as parsing error.

lib: json-parser - Fix error message for invalid escape sequence

lib: json-parser - Don't allocate errors from data stack

There's no guarantee that the json-parser's life time is within the same
data stack frame.

lib: json-parser - Fail if strings contain NULs

Previous behavior was to just truncate the string, which could be worse than
failing entirely.

lib-http: test-http-client-errors - Add unit test for host idle timeout.

This test involves retrying a request that failed host lookup, which used to
cause the request to be erroneously aborted.

lib-http: http-client-host - Prevent erroneously starting host idle timeout during request retry.

During request retry the request is first dropped from and subsequently added to
the queue. Dropping a request from the queue can start the host idle timeout
when it is the very last one. The timeout was not removed later on anymore when
the request was submitted again, because it was added prematurely (before
dropping the request).

lib-http: http-client-host - Fix determination of whether host is idle.

lib-http: http-client-host - Make sure DNS lookup is performed when host has no IPs.

This fixes at least one panic:

Panic: file ./http-client-private.h: line 679 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

auth: Fix potential read buffer overflow in PLAIN mechanism

The overflow could have crashed the auth process in theory, although
practically it doesn't seem to happen.

auth: test-mech - Allocate test input explicitly

This way valgrind will catch if there are read buffer overflows.

lib-index: Fix DEBUG assert to not trigger on transaction resets

Fixes a crash in test-mail-index when compiled --with-devel-checks:

Panic: file mail-index-transaction.c: line 211 (mail_index_transaction_commit_real): assertion failed: (expected_highest_modseq == log->head->sync_highest_modseq)

login-common: Include the proxy's source address in log messages