lib: unichar - Change uni_utf8_char_bytes to accept unsigned char

lib-index: Use SIZE_MAX with str_sanitize

auth: password-scheme - Use UINT_MAX when calling password_generate_otp

lib: mempool-allocfree - Do not use PTR_OFFSET with negative offset

Avoids undefined behaviour sanitization error.

lib-fts: test-fts-tokenizer - Change test_chars to unsigned char

lib: str - Ensure str_append_c gets unsigned char parameter

lib: seq-range-array - Assert-crash if array becomes 0..(uint32_t)-1

lib: seq_range_array_add() - Reorder code flow

lib: seq-range-array - Split off seq_range_array_add_slow_path()

lib: seq-range-array - Use seq_range_length() internally

lib: seq_range_length() - Use const pointer

doc: Include dovecot-oauth2.conf.ext in dist tarball

doveadm-server: Fix STARTTLS support.

lib-master: master-service-ssl - Make context initialization error more useful.

This improves the error in case SSL is disabled; other causes still yield a
rather unhelpful error message.

lib: ostream-multiplex - Fix dead assignment by adding an assertion on the result.

Found by Clang scan-build.

global: Fix dead assignments in expressions.

Found by Clang scan-build.

man: Update doveadm-search-query.7

TEXT searches also from headers, not just body.

director: Fix error message when director_username_hash expansion fails

lib-storage: Fix potential assert-crash when adding missing attachment keywords

Broken by aab71c35259f542d9ba46b4b5b24eff0016b802e

Fixes:
Panic: file index-mail.c: line 1241 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

lib: json-parser - Fix skipping strings with non-blocking input

The skipping could have accessed memory outside the allocated string.
This might have resulted in a crash, or caused JSON parsing to fail.

lib-mail: test-message-header-decode - Add random encode/decode tests for 8 bit data.

This also tests handling of (broken) UTF-8 input.

lib-mail: test-message-header-encode - Add tests for broken UTF-8 in input.

lib-mail: test-message-header-encode - Check maximum line length with long printable text and whitespace.

lib-mail: message-header-encode - Update function descriptions.

lib-mail: Properly handle bad UTF-8 in message_header_encode_b().

Broken characters are substituted with a replacement character.

lib-mail: Properly handle bad UTF-8 in message_header_encode_q().

Broken characters are substituted with a replacement character.

lib-mail: message-header-encode - Return immediately when len == 0 in message_header_encode_b/q().

Just to make sure. This shouldn't happen in the first place.

lib-mail: message-header-encode - Use size_t for length/size variables and parameters.

lib-mail: message-header-encode - Fix encoding of 0x7F byte for Q encoding.

It was not escaped.

lib-mail: test-message-header-decode - Use test_assert_idx().

lib-mail: test-message-header-decode - Avoid generating random bytes that are never used.

lib-mail: test-message-header-decode - Use test_assert_strcmp().

lib-mail: test-message-header-encode - Use test_assert_strcmp().

lib: base64 - Add base64_encode_get_full_space().

This translates the space in the destination buffer to the number of bytes that
can be encoded at most to complete the full base64 encoding, including padding
and newlines if configured.

lib: base64 - Fix return value of base64_encode_more().

It didn't properly return TRUE when all input data was consumed.

lib: test-base64 - Add test for base64_encode_get_size() in random lowlevel streaming tests.

lib: test-base64 - Abort random lowlevel test case early when something failed already.

lib: unichar - Add length definitions for replacement and ellipsis characters.

lib: json-parser - Fix parsing \uXXXX in non-blocking input

If it was in the istream's read boundary it resulted as parsing error.

lib: json-parser - Fix error message for invalid escape sequence

lib: json-parser - Don't allocate errors from data stack

There's no guarantee that the json-parser's life time is within the same
data stack frame.

lib: json-parser - Fail if strings contain NULs

Previous behavior was to just truncate the string, which could be worse than
failing entirely.

lib-http: test-http-client-errors - Add unit test for host idle timeout.

This test involves retrying a request that failed host lookup, which used to
cause the request to be erroneously aborted.

lib-http: http-client-host - Prevent erroneously starting host idle timeout during request retry.

During request retry the request is first dropped from and subsequently added to
the queue. Dropping a request from the queue can start the host idle timeout
when it is the very last one. The timeout was not removed later on anymore when
the request was submitted again, because it was added prematurely (before
dropping the request).

lib-http: http-client-host - Fix determination of whether host is idle.

lib-http: http-client-host - Make sure DNS lookup is performed when host has no IPs.

This fixes at least one panic:

Panic: file ./http-client-private.h: line 679 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

auth: Fix potential read buffer overflow in PLAIN mechanism

The overflow could have crashed the auth process in theory, although
practically it doesn't seem to happen.

auth: test-mech - Allocate test input explicitly

This way valgrind will catch if there are read buffer overflows.

lib-index: Fix DEBUG assert to not trigger on transaction resets

Fixes a crash in test-mail-index when compiled --with-devel-checks:

Panic: file mail-index-transaction.c: line 211 (mail_index_transaction_commit_real): assertion failed: (expected_highest_modseq == log->head->sync_highest_modseq)

login-common: Include the proxy's source address in log messages

login-common: Move common client info logging into a helper function

login-common: Add login_proxy_get_source_host() to get the local proxy hostname

login-common: Heap allocate login source IPs array to avoid use-after-free

By default, the service init code runs with a temporary datastack frame that
gets freed at the end of initialization to get rid of any temporary
allocations made during init before the long-running part of the process
executes.

man: update doveadm-proxy man page with kick -h option.

doveadm: Implement proxy kick -h <host>

login-common: Implement kicking all user at backend host.

login-common: change want_kick signature from (struct *client, ...) to (struct *login_proxy, ...)

login-common: Put proxy looping on stack in login_proxy_cmd_kick_full()

lib-smtp: smtp-server-connection - Ignore replied command for pipeline limit calculation.

This prevents failed commands with payload from blocking the input pipeline. This caused a hang before.

lib-smtp: smtp-server-connection - Use connection settings for command pipeline limit.

It used the top-level server settings before.

lib-smtp: smtp-server-connection - Move pipeline limit check to separate function.

lib-smtp: smtp-server-command - Always end input lock/capture upon reply submission.

lib-smtp: smtp-server-command - Reliably end input capture in smtp_server_command_input_unlock().

lib-storage: Rename mail_attachment_detection_options=add-flags-on-save to add-flags

Keep add-flags-on-save for backwards compatibility.

lib-storage: Try to add missing attachment flags when opening mail stream

Since the message body is being opened in any case, it's pretty inexpensive
to add missing attachment flags. Do this only when
mail_attachment_detection_options has add-flags-on-save but no
no-flags-on-fetch.

lib-storage: Try to add missing attachment flags when fetching MIME parts or BODYSTRUCTURE

This happens only if both mime.parts and imap.bodystructure are already in
cache and mail_attachment_detection_options has add-flags-on-save but no
no-flags-on-fetch. The no-flags-on-fetch option may be removed in a future
release once it's known that it's not causing any unexpected performance
issues.

lib-storage: index_mail_get_cached_bodystructure() - Reorder the if statements

Simplifies the following commit.

lib-storage: Avoid initializing stream multiple times recursively

This fixes the situation where stream opening causes it to be re-opened by
index_mail_parse_headers(). There are some other more rare situations, but
they're in error handling code paths.

lib-storage: Avoid caching size.physical unless it's explicitly asked for

It's internally requested in a few places, but only as an optimization if
it happens to exist. It's not important enough that it should affect
caching decisions.

This change becomes more important after the following changes, which cause
size.physical to be added unnecessarily when filling out attachment flags.

lib-http: http-client-host - Do not prematurely reset ips_count to zero.

It causes problems with existing connection attempts.

Panic was:

Panic: file http-client-queue.c: line 215 (http_client_queue_is_last_connect_ip): assertion failed: (queue->ips_connect_idx < ips_count)

lib-http: http-client-host - Log debug message for failed DNS lookup.

If the host has no requests, nothing is logged about the failure otherwise.

lib-http: http-client-host - Move DNS lookup success handling to a common function.

lib-http: Reformat http-client-host.c.

lib-mail: html2text - Fix buffer out-of-bounds access

The passed in buffer size is at least 1 byte shorter than the actual buffer
size, therefore there is no chance of a crash.

dict-sql: Fix crash if dict iteration is destroyed early

If the iteration callback is still called after the iterator is freed, the
callback accesses freed memory and crashes.

lib-smtp: test-smtp-command-parser - Add tests for input ending in partial UTF-8 sequences.

lib-smtp: test-smtp-command-parser - Test parsing commands from input that comes in gradually.

lib-smtp: smtp-command-parser - Fix parameter parsing not to fail on particular unicode code points.

Unicode code points were sometimes erroneously checked as ASCII characters.

lib-smtp: smtp-command-parser - Fix read past buffer limit while parsing UTF-8 character.

The buffer limit was specified as (buf->pos - buf->end) rather than (buf->end -
buf->pos). Since at most a valid UTF-8 character can be read beyond the buffer
size, this bug didn't cause noticeable effects, nor does it present an attack
surface.

lib-smtp: Reformat test-smtp-command-parser.c.

lib-smtp: Reformat smtp-command-parser.c.

lib-mail: message_parser_init_from_parts() - Fix crash if MIME boundaries don't end

If the last "boundary--" doens't exist, the parsing assert-crashed at
deinit. This mainly happened when searching mails.

Fixes:
Panic: file message-parser.c: line 175 (message_part_finish): assertion failed: (ctx->nested_parts_count > 0)

acl: Ignore acl_object_list_deinit() error when copying ACLs from parent

There's already a FIXME, and this makes static analyzer happier.

director: Explicitly ignore array_bsearch_insert_pos() return value

Makes static analyzers happier.

lib: test-istream - Check or explicitly ignore i_stream_read() return value

Makes static analyzers happier.

lib-ssl-iostream: Fix error message with invalid ciphersuites

The error message contained curve_list's value, not ciphersuites' value.

lib-compression: test-compression - Fix memory leak

lib: Add a comment about o_stream_create_buffer()

lib: ostream-buffer - Revert returning 0 as used buffer size

This change broke at least one external plugin that assumed the original
behavior. Safer to just revert this change.

Reverts 48083d9e7fdbe257b0be33043ecf0ca87489eef9

lib-compression: test-compression - Convert from ostream-buffer to iostream-temp

Using ostream-buffer required 48083d9e7fdbe257b0be33043ecf0ca87489eef9
change, but this broke some code that assumed the original behavior.

lib-compression: test-compression - Use datastack in test

Plugs a memory leak.

Broken in 60b4040ba498ce7b19fc8b189d327cc606856f07

lib-fs: test-fs-async - Fix to work properly after previous changes

It's an async test, so it should expect that the fs actually behaves
asynchronously.

lib-dict: dict_switch_ioloop() - Move also failure timeout

Forgotten in 178bb676ea1dd380789d3587bf5e64fd85a29d7a

stats: event exporter - Use category exporting helper to avoid duplicates (tabtext)

stats: event exporter - Use category exporting helper to avoid duplicates (json)

stats: Add helper to append category names without duplicates

lib: net_listen|connect_unix() - Use consistent error handling for too long paths

The errno should be the same for both functions. Prefer ENAMETOOLONG if it
exists on the OS, otherwise fallback to EOVERFLOW.

lib-dict: dict - Keep track of next commit in dict_wait

Satisfies static analyser, broken in
178bb676ea1dd380789d3587bf5e64fd85a29d7a

lib-dict: dict - Ensure there are no commits during deinit

lib-dict: dict - Allow calling callback immediately

Make callback calls the next callback immediately,
instead of adding a timeout that calls the callback.

Forgotten in 178bb676ea1dd380789d3587bf5e64fd85a29d7a