login-common: Include the proxy's source address in log messages

login-common: Move common client info logging into a helper function

login-common: Add login_proxy_get_source_host() to get the local proxy hostname

login-common: Heap allocate login source IPs array to avoid use-after-free

By default, the service init code runs with a temporary datastack frame that
gets freed at the end of initialization to get rid of any temporary
allocations made during init before the long-running part of the process
executes.

man: update doveadm-proxy man page with kick -h option.

doveadm: Implement proxy kick -h <host>

login-common: Implement kicking all user at backend host.

login-common: change want_kick signature from (struct *client, ...) to (struct *login_proxy, ...)

login-common: Put proxy looping on stack in login_proxy_cmd_kick_full()

lib-smtp: smtp-server-connection - Ignore replied command for pipeline limit calculation.

This prevents failed commands with payload from blocking the input pipeline. This caused a hang before.

lib-smtp: smtp-server-connection - Use connection settings for command pipeline limit.

It used the top-level server settings before.

lib-smtp: smtp-server-connection - Move pipeline limit check to separate function.

lib-smtp: smtp-server-command - Always end input lock/capture upon reply submission.

lib-smtp: smtp-server-command - Reliably end input capture in smtp_server_command_input_unlock().

lib-storage: Rename mail_attachment_detection_options=add-flags-on-save to add-flags

Keep add-flags-on-save for backwards compatibility.

lib-storage: Try to add missing attachment flags when opening mail stream

Since the message body is being opened in any case, it's pretty inexpensive
to add missing attachment flags. Do this only when
mail_attachment_detection_options has add-flags-on-save but no
no-flags-on-fetch.

lib-storage: Try to add missing attachment flags when fetching MIME parts or BODYSTRUCTURE

This happens only if both mime.parts and imap.bodystructure are already in
cache and mail_attachment_detection_options has add-flags-on-save but no
no-flags-on-fetch. The no-flags-on-fetch option may be removed in a future
release once it's known that it's not causing any unexpected performance
issues.

lib-storage: index_mail_get_cached_bodystructure() - Reorder the if statements

Simplifies the following commit.

lib-storage: Avoid initializing stream multiple times recursively

This fixes the situation where stream opening causes it to be re-opened by
index_mail_parse_headers(). There are some other more rare situations, but
they're in error handling code paths.

lib-storage: Avoid caching size.physical unless it's explicitly asked for

It's internally requested in a few places, but only as an optimization if
it happens to exist. It's not important enough that it should affect
caching decisions.

This change becomes more important after the following changes, which cause
size.physical to be added unnecessarily when filling out attachment flags.

lib-http: http-client-host - Do not prematurely reset ips_count to zero.

It causes problems with existing connection attempts.

Panic was:

Panic: file http-client-queue.c: line 215 (http_client_queue_is_last_connect_ip): assertion failed: (queue->ips_connect_idx < ips_count)

lib-http: http-client-host - Log debug message for failed DNS lookup.

If the host has no requests, nothing is logged about the failure otherwise.

lib-http: http-client-host - Move DNS lookup success handling to a common function.

lib-http: Reformat http-client-host.c.

lib-mail: html2text - Fix buffer out-of-bounds access

The passed in buffer size is at least 1 byte shorter than the actual buffer
size, therefore there is no chance of a crash.

dict-sql: Fix crash if dict iteration is destroyed early

If the iteration callback is still called after the iterator is freed, the
callback accesses freed memory and crashes.

lib-smtp: test-smtp-command-parser - Add tests for input ending in partial UTF-8 sequences.

lib-smtp: test-smtp-command-parser - Test parsing commands from input that comes in gradually.

lib-smtp: smtp-command-parser - Fix parameter parsing not to fail on particular unicode code points.

Unicode code points were sometimes erroneously checked as ASCII characters.

lib-smtp: smtp-command-parser - Fix read past buffer limit while parsing UTF-8 character.

The buffer limit was specified as (buf->pos - buf->end) rather than (buf->end -
buf->pos). Since at most a valid UTF-8 character can be read beyond the buffer
size, this bug didn't cause noticeable effects, nor does it present an attack
surface.

lib-smtp: Reformat test-smtp-command-parser.c.

lib-smtp: Reformat smtp-command-parser.c.

lib-mail: message_parser_init_from_parts() - Fix crash if MIME boundaries don't end

If the last "boundary--" doens't exist, the parsing assert-crashed at
deinit. This mainly happened when searching mails.

Fixes:
Panic: file message-parser.c: line 175 (message_part_finish): assertion failed: (ctx->nested_parts_count > 0)

acl: Ignore acl_object_list_deinit() error when copying ACLs from parent

There's already a FIXME, and this makes static analyzer happier.

director: Explicitly ignore array_bsearch_insert_pos() return value

Makes static analyzers happier.

lib: test-istream - Check or explicitly ignore i_stream_read() return value

Makes static analyzers happier.

lib-ssl-iostream: Fix error message with invalid ciphersuites

The error message contained curve_list's value, not ciphersuites' value.

lib-compression: test-compression - Fix memory leak

lib: Add a comment about o_stream_create_buffer()

lib: ostream-buffer - Revert returning 0 as used buffer size

This change broke at least one external plugin that assumed the original
behavior. Safer to just revert this change.

Reverts 48083d9e7fdbe257b0be33043ecf0ca87489eef9

lib-compression: test-compression - Convert from ostream-buffer to iostream-temp

Using ostream-buffer required 48083d9e7fdbe257b0be33043ecf0ca87489eef9
change, but this broke some code that assumed the original behavior.

lib-compression: test-compression - Use datastack in test

Plugs a memory leak.

Broken in 60b4040ba498ce7b19fc8b189d327cc606856f07

lib-fs: test-fs-async - Fix to work properly after previous changes

It's an async test, so it should expect that the fs actually behaves
asynchronously.

lib-dict: dict_switch_ioloop() - Move also failure timeout

Forgotten in 178bb676ea1dd380789d3587bf5e64fd85a29d7a

stats: event exporter - Use category exporting helper to avoid duplicates (tabtext)

stats: event exporter - Use category exporting helper to avoid duplicates (json)

stats: Add helper to append category names without duplicates

lib: net_listen|connect_unix() - Use consistent error handling for too long paths

The errno should be the same for both functions. Prefer ENAMETOOLONG if it
exists on the OS, otherwise fallback to EOVERFLOW.

lib-dict: dict - Keep track of next commit in dict_wait

Satisfies static analyser, broken in
178bb676ea1dd380789d3587bf5e64fd85a29d7a

lib-dict: dict - Ensure there are no commits during deinit

lib-dict: dict - Allow calling callback immediately

Make callback calls the next callback immediately,
instead of adding a timeout that calls the callback.

Forgotten in 178bb676ea1dd380789d3587bf5e64fd85a29d7a

lib-dict: dict - Change background to delayed_callback

It better describes what it's intended to do.

acl: Add unit test for acl_rights_sort()

acl: acl_rights_sort() - Handle zero sized rights array properly

Fixes ubsan complaint about count-dest wrapping to negative.
The array code handled this properly though, so nothing was broken.

lib: test-file-cache - Add tests for file-cache

lib: log-throttle - Initialize last_throttle

It's compared to ioloop_timeval later on and would
produce overflow there.

quota: quota_free_bytes - Check we don't decrease more than INT64_MAX

Otherwise we get overflow

lib: file-dotlock - Do not call callback if we are going to timeout

lib-mail: istream-header-filter - Avoid unsigned overflow in last_offset calculation

Unsigned integer overflow occurs when size is 0.

lib-ldap: ldap_connection_send_next - Extract next message in separate function

lib-storage: index-mail-headers - Avoid unsigned overflow on header_match_value

imap: imap-sync - Avoid unsigned integer overflow

Error: imap-sync.c:433:17: runtime error: unsigned integer overflow:
4294967295 + 1 cannot be represented in type 'unsigned int'

lib-mail: test-istream-attachment - Avoid unsigned overflow in size calculation

lib: var-expand - Avoid unsigned overflow in offset calculation

lib: time-util - Use correct data types

quota: quota-imapc - Handle quota limits better

If quota limit is bigger than INT64_MAX, it's unlimited
as we cannot express this anyways.

lib-mail: message-parser - Change last_chr to unsigned char

Matches code usage.

lib-imap-storage: imap-msgpart - Fix constant type

auth: password-scheme - Fix salt generation data type mess

Satisfies runtime analyser

auth: mech-scram - Use correct data type for proof calculation

Satisfies runtime analyzer

lib: Remove istream-mmap.c

Nothing uses it.

lib-ntlm: Ensure data_size is large enough for buffer

lib-ntlm: Use CONST_PTR_OFFSET

auth, lib-ntlm: Use dovecot byteorder functions

lib: buffer - Assert that we don't try to allocate SIZE_MAX buffer

Only if devel checks are enabled

lib-ssl-iostream: ostream-openssl - Allocate at most IO_BLOCK_SIZE initial buffer

Otherwise we might attempt to allocate way too large buffers. This has not caused
issues yet, except with max_buffer_size=SIZE_T, which has been causing us to allocate
0-sized buffers.

auth: auth-cache - Data is not 4 bytes but variable sized

lib-otp: Use for-loop instead while

Avoids unsigned integer wrap

lib-compression: istream-zstd - Handle signed/unsigned return values correctly

lib: lib-event - Use for-loop in copying categories

Avoids unsigned integer wrap

global: Use i_rand_limit(limit) instead of i_rand() % limit

spatch with coccinelle/random-misuse.cocci

lib: Use i_rand_limit() helpers

lib: test-base32/64 - Use unsigned char

Simplifies next change

lib: Add some helpers for random values

lib: Document how i_rand_limit() ensures uniform distribution

This algorithm is not original, but it is dense enough that a detailed
explanation is in order.

lib: rand - Fix random number bounding

auth: password-scheme - Use generate_salt in md5crypt

Deduplicates code

lib-sql: driver-cassandra - Add SSL options

ssl_ca=<path>: Sets trusted peer certificate filename
ssl_cert=<path>: Sets client certificate filename
sl_key=<path>: Sets client certificate private key filename
ssl_key_password=<string>: Sets password for private key
ssl_verify=none | cert | cert-ip | cert-dns: Sets verify mode
 * none = don't verify
 * cert = verify certificate
 * cert-ip = verify IP from CN or SubjectAltName
 * cert-dns = verify hostname from CN or SubjectAltName

lib: buffer - Add buffer_append_full_(file|istream)

Consume istream or file up to max_read_size or EOF.

m4: want_cassandra.m4 - Add check for CASS_SSL_VERIFY_PEER_IDENTITY_DNS

m4: want_cassandra.m4 - Add check for cass_cluster_set_use_hostname_resolution

m4: Modernize want_cassandra.m4

lib-sql: driver-cassandra - Use INTx_MIN and INTx_MAX

Preferred over magic numbers

lib-sql: Reformat driver-cassandra.c

lib-compression: Add unit test to compress large input

This catches earlier zstd and lzma bugs.

lib-compression: ostream-lzma - Compressed output could have been truncated

The compression wasn't fully finished, resulting in truncated compressed
output that couldn't be fully read back. Reading would result in "Broken
pipe" errors.

Broken by 6080aa16e1bd50cd661acc31203d9f4986a9450a

lib-compression: istream-lzma - Improve error messages in EOF handling

lib-compression: istream-lzma - Fix EOF handling

lzma_stream_end() call was accidentally dropped by
c6248b825d8c6562b1320e51ad0d88e99b9fbe85

This (probably) didn't result in visible problems.

lib-compression: ostream-zstd - Fix assert-crash with large input

If the input was large enough, the ostream write could have returned
partially written output. Since this ostream-zstd was only used for
blocking ostreams, this would always result in an assert-crash. Fix is
to keep flushing the output to parent if the output buffer becomes full.

Fixes:
Panic: file ostream.c: line 287 (o_stream_sendv_int): assertion failed: (!stream->blocking)

lib: ostream-buffer: Return 0 as the used size, not the destination buffer size

This allows using ostream-buffer in places that previously would think that
the ostream buffer needed to be flushed because its buffer size was too
large.

This also changes o_stream_get_buffer_avail_size() to always return the
ostream max buffer size.