lib: lib-event - Use for-loop in copying categories

Avoids unsigned integer wrap

global: Use i_rand_limit(limit) instead of i_rand() % limit

spatch with coccinelle/random-misuse.cocci

lib: Use i_rand_limit() helpers

lib: test-base32/64 - Use unsigned char

Simplifies next change

lib: Add some helpers for random values

lib: Document how i_rand_limit() ensures uniform distribution

This algorithm is not original, but it is dense enough that a detailed
explanation is in order.

lib: rand - Fix random number bounding

auth: password-scheme - Use generate_salt in md5crypt

Deduplicates code

lib-sql: driver-cassandra - Add SSL options

ssl_ca=<path>: Sets trusted peer certificate filename
ssl_cert=<path>: Sets client certificate filename
sl_key=<path>: Sets client certificate private key filename
ssl_key_password=<string>: Sets password for private key
ssl_verify=none | cert | cert-ip | cert-dns: Sets verify mode
 * none = don't verify
 * cert = verify certificate
 * cert-ip = verify IP from CN or SubjectAltName
 * cert-dns = verify hostname from CN or SubjectAltName

lib: buffer - Add buffer_append_full_(file|istream)

Consume istream or file up to max_read_size or EOF.

m4: want_cassandra.m4 - Add check for CASS_SSL_VERIFY_PEER_IDENTITY_DNS

m4: want_cassandra.m4 - Add check for cass_cluster_set_use_hostname_resolution

m4: Modernize want_cassandra.m4

lib-sql: driver-cassandra - Use INTx_MIN and INTx_MAX

Preferred over magic numbers

lib-sql: Reformat driver-cassandra.c

lib-compression: Add unit test to compress large input

This catches earlier zstd and lzma bugs.

lib-compression: ostream-lzma - Compressed output could have been truncated

The compression wasn't fully finished, resulting in truncated compressed
output that couldn't be fully read back. Reading would result in "Broken
pipe" errors.

Broken by 6080aa16e1bd50cd661acc31203d9f4986a9450a

lib-compression: istream-lzma - Improve error messages in EOF handling

lib-compression: istream-lzma - Fix EOF handling

lzma_stream_end() call was accidentally dropped by
c6248b825d8c6562b1320e51ad0d88e99b9fbe85

This (probably) didn't result in visible problems.

lib-compression: ostream-zstd - Fix assert-crash with large input

If the input was large enough, the ostream write could have returned
partially written output. Since this ostream-zstd was only used for
blocking ostreams, this would always result in an assert-crash. Fix is
to keep flushing the output to parent if the output buffer becomes full.

Fixes:
Panic: file ostream.c: line 287 (o_stream_sendv_int): assertion failed: (!stream->blocking)

lib: ostream-buffer: Return 0 as the used size, not the destination buffer size

This allows using ostream-buffer in places that previously would think that
the ostream buffer needed to be flushed because its buffer size was too
large.

This also changes o_stream_get_buffer_avail_size() to always return the
ostream max buffer size.

lib-smtp: smtp-server-recipient - Recipient event should be using the transaction event as parent.

The connection event is only used as event parent when the MAIL command failed
in pipeline or when the recipient is destroyed prematurely. The log prefix of
the transaction event is dropped, so that the connection event log prefix is
used in either case. Therefore, the main visible effect of this commit is that
the transaction event fields are available in the recipient event when there is
a transaction, the log messages will not change.

lib-smtp: smtp-server-recipient - Don't create event until transaction becomes available.

This way, the recipient event parent can be the transaction event once (and if)
that becomes available.

lib-smtp: smtp-server-command - Always call the NEXT_TO_REPLY hook.

Before, it wasn't called when a reply was submitted before the command became
next to reply.

lib-smtp: smtp-server-command - Move smtp_server_command_ready_to_reply().

New order makes more sense in the progression of command state.

lib: event-log - Fix handling dropping parent prefixes beyond a drop at a higher level.

Before, the drop in the higher level became invisible to the lower
hiererarchies. For example:

parent1, parent2, parent3, parent4(drop one) yielded
"parent1: parent2: parent4: " as a prefix (which is still OK), whereas
parent1: parent2: parent3: parent4(drop one): leaf(drop 3) yielded
"parent1: leaf: ", while the expected prefix would be:
"leaf: ".

This means that the drop of one prefix by parent4 is ignored. Instead it should
apply that drop and operate on the prefixes that are still visible at the lowel
level, so the number of prefixes dropped should be additive, which is what this
commit changes.

lib-smtp: Reformat smtp-server-recipient.c.

lib-smtp: Reformat smtp-server-private.h.

lib-smtp: Reformat smtp-server-connection.c.

lib-smtp: Reformat smtp-server-command.c.

lib-smtp: Reformat smtp-server-cmd-mail.c.

lib-smtp: Reformat smtp-server-cmd-rcpt.c.

lib-dict: dict_transaction_commit_async() - Never call callback immediately

This could cause confusion for the callers. Although so far all the callers
have handled it fine.

Use this wrappers for all dict drivers, even if they support async commits
themselves. This is because many of them were still calling the callback
immediately on error handling.

lib: istream-try - Fix off-by-one check for min_buffer_full_size

This mainly fixes random failures with the unit test.

lib: test-istream-try - Fix test name

lib: istream-try - Fix detecting istream when its input buffer is full

The previous check didn't work when the stream's buffer_size was 0,
which happened with istream-concat parent.

Added also a unit test that tries to test for these kind of situations.
It doesn't actually reproduce this specific bug, but it tests that the
code paths works at least in the generic situation.

lib-compression: Add COMPRESSION_HDR_MAX_SIZE macro

Will be used by the next commit.

quota: Add logging prefix once and remove it from loglines

quota: Introduce per quota-backend events

quota: Use event based logging

quota: Add event support

lib-index: Fix cache being purged too often when it had unaccessed fields

Cache was being purged when it had a field that was last accessed
after mail_cache_unaccessed_field_drop but before
2*mail_cache_unaccessed_field_drop. This purging may not have even
done anything.

Use shared code now between the check in mail_cache_header_fields_read()
and the actual purging in mail_cache_purge_check_field(). This way they
can't become desynced again.

lib-index: Use delayed purge reason for mail_cache_purge_* events

lib-index: Remember reason for delayed cache file purges

lib-index: Fix file_size field in mail_cache_purge_finished event

It used to be 32 always.

lib-index: Fix deadlock when expunging mails and adding lots of data to cache

This practically happened only when dovecot.index.cache contents were lost
and they were being re-filled while mails were also being expunged.

Broken by 9efb99924d0b7de27ca83e373f2290f3dd5b22cf

zlib: Rename istreams from zlib(parent) to compress(parent)

This clarifies it that the istream is a generic compression stream, not
specifically zlib/gz.

lib-compression: ostreams - Add asserts to clarify how buffer flushing works

If the output buffer isn't fully sent, the flush function returns 0 early
on, before setting flushed=TRUE.

auth: Fix leaking memory if auth client disconnects with pending penalty delays

 * auth penalty lookup returns that auth_request needs a penalty delay
 * during the penalty timeout auth client disconnects
 * auth requests are freed, but auth_request_handler isn't unreferenced

This resulted in memory leak, and after recent changes also logging warnings
about event leaks.

lib-auth: Remove duplicate auth_client_connection.event

It's already in auth_client_connection.conn.event. Just use it directly
to avoid any confusion between them.

auth: Fix compiling gssapi, bsdauth, sia, vpopmail

Broken by 5ff7299c9d85b1bab0c7d53d9459dbb31a2bd9d6

lib-http: test-http-client-errors - Add tests involving idle connections.

Tests idle timeout and connection reuse.

lib-http: http-client-connection - Use http_client_connection_is_active() to check idle status.

This makes the check shorter and easier to understand.

lib-http: http-client-queue - Fix unsigned int arithmetic problem in http_client_queue_request_timeout_cmp().

lib-http: http-client-connection - Use timeout_add_short_to() for idle timeout.

The idle timeout can be very short.

lib-http: http-client-connection - Make idle timeout calculation more robust.

lib-http: http-client-connection - Explicitly handle an infinite connection limit for setting idle timeout.

This can just use the maximum idle timeout directly.

lib-http: http-client-connection - Deal with first idle connection separately for setting idle timeout.

This can just use the maximum idle timeout directly.

lib-http: http-client-connection - Improve overall logic in http_client_connection_start_idle_timeout().

Make clear that idle_count < max when it is used.

lib-http: http-client-connection - Start idle state in a common function.

Removes code duplication.

lib-http: http-client-connection - Handle infinite idle timeout consistently.

lib-http: http-client-connection - Start idle timeout in a common function.

lib-http: http-client-connection - Use separate flag for idle status.

It used the presence of the idle timeout before, which isn't acceptable when the
timeout is changed to be optional (happens in later commit).

lib-http: http-client-connection - Determine idle timeout consistently.

It should not matter whether connection got idle due to lost peer or otherwise.

lib-http: http-client-connection - Restructure http_client_connection_check_idle().

lib-http: http-client-connection - Restructure http_client_connection_lost_peer().

lib-http: http-client-peer - Properly saturate result of http_client_peer_shared_max_connections() at UINT_MAX.

lib-http: Reformat http-client-connection.c.

lib-http: Reformat http-client-private.h.

lib-http: Reformat http-client-queue.c.

lib-http: Reformat http-client-peer.c.

lib-auth: Do not send ssl details to auth process

They are not used for anything. But we still provide them
as auth_client event fields, so that we can e.g. do metrics
on which TLS protocol is used.

lib-auth: Add user_mask to auth_userdb_list events

lib-auth: Add new fields to auth_client_userdb events

doveadm: doveadm-auth - Add support for real_{remote|local}_{ip|port} -x parameters

doveadm: doveadm-auth - Add session and local_name -x parameters

lib-auth: Add session_id and local_name to master auth

lmtp: Rename orig_user event field to original_user

lib-auth: Add more fields to auth client event

This way it becomes more useful

lib-auth: Always iterate input arguments

Makes next change easier

lib-auth: Send event after setting all fields

man: doveadm-auth - List more -x fields

auth: Add some unit testing for auth_request_import/export()

auth: Escape exported session ID string in protocol replies

Session ID is normally coming only from trusted sources, so the lack of
escaping shouldn't have mattered too much.

auth: Worker commands: Rename "id" event field to "command_id"

Now that auth_request events are inherited from worker command events, the
"id" field was also inherited. This is rather confusing and might conflict
with other IDs in the future, so better to rename it already.

auth: Support inheritance for master auth_requests' events

Requests created by auth worker will inherit from the command's event, while
other events inherit from the global auth_event for now (since
auth-master-connection doesn't have its own event yet).

auth: Inherit auth client connection event from the global auth_event

doveadm auth: Support forward and extra fields with -x parameter

Using "forward_" prefix assumes that it's a forwarded field. Otherwise
all unknown parameters are assumed to be extra fields.

lib-auth: auth-client - Support sending extra_fields.

lib-auth: auth-master - Support sending extra_fields.

auth: Add more event fields

auth: Set event fields immediately when they're changed in auth_request_fields

This way the fields are available for all auth events, not just the final
events.

auth: Remove "username" and "domain" event fields

They're not very useful in event fields, since event filtering can just do
user=username@* or user=*@domain.

auth: Remove "credentials_scheme" event field

This field wasn't set for plaintext authentication, and in general it's not
quite what it was intended to be. Better to remove it entirely to avoid
confusion.

auth: Rename auth_request.credentials_scheme to wanted_credentials_scheme

Also add comments explaining what it actually does.

auth: Rename "orig_user" event field to "original_user"

It's a bit more understandable to use the full name. There's now also
%{original_user} variable alias.

auth: Rename "mech" event field to "mechanism"

It's a bit more understandable to use the full name. There's now also
%{mechanism} variable alias.

auth: Keep auth_request_fields const for most of the code

This way there's a compiler warning/error if anything outside
auth-request-fields.c attempts to modify them. It makes it easier to
keep the values synced with events.

auth: test-mech - Fix include ordering

Required by the following change.

auth: Add and use auth_request_set_delayed_credentials()