lib-index: Fix deadlock when expunging mails and adding lots of data to cache

This practically happened only when dovecot.index.cache contents were lost
and they were being re-filled while mails were also being expunged.

Broken by 9efb99924d0b7de27ca83e373f2290f3dd5b22cf

zlib: Rename istreams from zlib(parent) to compress(parent)

This clarifies it that the istream is a generic compression stream, not
specifically zlib/gz.

lib-compression: ostreams - Add asserts to clarify how buffer flushing works

If the output buffer isn't fully sent, the flush function returns 0 early
on, before setting flushed=TRUE.

auth: Fix leaking memory if auth client disconnects with pending penalty delays

 * auth penalty lookup returns that auth_request needs a penalty delay
 * during the penalty timeout auth client disconnects
 * auth requests are freed, but auth_request_handler isn't unreferenced

This resulted in memory leak, and after recent changes also logging warnings
about event leaks.

lib-auth: Remove duplicate auth_client_connection.event

It's already in auth_client_connection.conn.event. Just use it directly
to avoid any confusion between them.

auth: Fix compiling gssapi, bsdauth, sia, vpopmail

Broken by 5ff7299c9d85b1bab0c7d53d9459dbb31a2bd9d6

lib-http: test-http-client-errors - Add tests involving idle connections.

Tests idle timeout and connection reuse.

lib-http: http-client-connection - Use http_client_connection_is_active() to check idle status.

This makes the check shorter and easier to understand.

lib-http: http-client-queue - Fix unsigned int arithmetic problem in http_client_queue_request_timeout_cmp().

lib-http: http-client-connection - Use timeout_add_short_to() for idle timeout.

The idle timeout can be very short.

lib-http: http-client-connection - Make idle timeout calculation more robust.

lib-http: http-client-connection - Explicitly handle an infinite connection limit for setting idle timeout.

This can just use the maximum idle timeout directly.

lib-http: http-client-connection - Deal with first idle connection separately for setting idle timeout.

This can just use the maximum idle timeout directly.

lib-http: http-client-connection - Improve overall logic in http_client_connection_start_idle_timeout().

Make clear that idle_count < max when it is used.

lib-http: http-client-connection - Start idle state in a common function.

Removes code duplication.

lib-http: http-client-connection - Handle infinite idle timeout consistently.

lib-http: http-client-connection - Start idle timeout in a common function.

lib-http: http-client-connection - Use separate flag for idle status.

It used the presence of the idle timeout before, which isn't acceptable when the
timeout is changed to be optional (happens in later commit).

lib-http: http-client-connection - Determine idle timeout consistently.

It should not matter whether connection got idle due to lost peer or otherwise.

lib-http: http-client-connection - Restructure http_client_connection_check_idle().

lib-http: http-client-connection - Restructure http_client_connection_lost_peer().

lib-http: http-client-peer - Properly saturate result of http_client_peer_shared_max_connections() at UINT_MAX.

lib-http: Reformat http-client-connection.c.

lib-http: Reformat http-client-private.h.

lib-http: Reformat http-client-queue.c.

lib-http: Reformat http-client-peer.c.

lib-auth: Do not send ssl details to auth process

They are not used for anything. But we still provide them
as auth_client event fields, so that we can e.g. do metrics
on which TLS protocol is used.

lib-auth: Add user_mask to auth_userdb_list events

lib-auth: Add new fields to auth_client_userdb events

doveadm: doveadm-auth - Add support for real_{remote|local}_{ip|port} -x parameters

doveadm: doveadm-auth - Add session and local_name -x parameters

lib-auth: Add session_id and local_name to master auth

lmtp: Rename orig_user event field to original_user

lib-auth: Add more fields to auth client event

This way it becomes more useful

lib-auth: Always iterate input arguments

Makes next change easier

lib-auth: Send event after setting all fields

man: doveadm-auth - List more -x fields

auth: Add some unit testing for auth_request_import/export()

auth: Escape exported session ID string in protocol replies

Session ID is normally coming only from trusted sources, so the lack of
escaping shouldn't have mattered too much.

auth: Worker commands: Rename "id" event field to "command_id"

Now that auth_request events are inherited from worker command events, the
"id" field was also inherited. This is rather confusing and might conflict
with other IDs in the future, so better to rename it already.

auth: Support inheritance for master auth_requests' events

Requests created by auth worker will inherit from the command's event, while
other events inherit from the global auth_event for now (since
auth-master-connection doesn't have its own event yet).

auth: Inherit auth client connection event from the global auth_event

doveadm auth: Support forward and extra fields with -x parameter

Using "forward_" prefix assumes that it's a forwarded field. Otherwise
all unknown parameters are assumed to be extra fields.

lib-auth: auth-client - Support sending extra_fields.

lib-auth: auth-master - Support sending extra_fields.

auth: Add more event fields

auth: Set event fields immediately when they're changed in auth_request_fields

This way the fields are available for all auth events, not just the final
events.

auth: Remove "username" and "domain" event fields

They're not very useful in event fields, since event filtering can just do
user=username@* or user=*@domain.

auth: Remove "credentials_scheme" event field

This field wasn't set for plaintext authentication, and in general it's not
quite what it was intended to be. Better to remove it entirely to avoid
confusion.

auth: Rename auth_request.credentials_scheme to wanted_credentials_scheme

Also add comments explaining what it actually does.

auth: Rename "orig_user" event field to "original_user"

It's a bit more understandable to use the full name. There's now also
%{original_user} variable alias.

auth: Rename "mech" event field to "mechanism"

It's a bit more understandable to use the full name. There's now also
%{mechanism} variable alias.

auth: Keep auth_request_fields const for most of the code

This way there's a compiler warning/error if anything outside
auth-request-fields.c attempts to modify them. It makes it easier to
keep the values synced with events.

auth: test-mech - Fix include ordering

Required by the following change.

auth: Add and use auth_request_set_delayed_credentials()

auth: Add and use auth_request_set_login_username_forced()

auth: LIST - Use auth_request_import() to set missing "service"

auth: Use auth_request_init_userdb_reply() always for initializing userdb_reply

auth: auth_request_init_userdb_reply() - Add add_default_fields parameter

auth: Move auth_request_init_userdb_reply() to auth-request-fields.c

auth: Add and use auth_request_set_password_verified()

auth: Add and use auth_request_set_auth_successful()

auth: Add and use auth_request_set_realm()

auth: Add and use auth_request_set_username_forced()

auth: Change auth_request_fix_username() to return int

auth: Optimize memory usage when auth_username_format is set

The per-request memory pool was used unnecessarily to allocate the username
before the formatting was applied.

auth: Move auth_request_fields initialization code to auth_request_fields_init()

auth: Move auth_request_master_lookup_finish() to auth-request-fields.c

Also rename it to auth_request_master_user_login_finish().

auth: Move username changing functions to auth-request-fields.c

auth: Change auth_request_get_log_prefix_db() to be public

auth: test-lua - Use auth_request_set_username()

Instead of changing the user directly.

auth: test-lua - Deduplicate code into test_db_lua_auth_request_new()

auth: auth_request_fix_username() - Don't temporarily modify auth_request_fields.user

Use the new username parameter in auth_request_get_var_expand_table_full()
instead.

auth: auth_cache_insert() - Don't temporarily modify auth_request_fields.user

Use the new username parameter in auth_request_get_var_expand_table_full()
instead.

auth: auth_request_get_var_expand_table_full() - Add username parameter

auth: Add %{original_*} aliases for %{orig_*}

auth: Add %{mechanism} alias for %{mech}

auth: Add %{[real_]local/remote_ip/port} aliases for %{[real_]lip/rip/lport/rport)

auth: Move auth_request_export/import*() to auth-request-fields.c

auth: Move imported/exported fields to struct auth_request_fields

This makes it clearer what fields are being passed between auth master and
worker processes.

auth: Remove auth_request->debug

Use event_want_debug(auth_request->event) instead.

auth: Remove unnecessary auth_request->debug checks

e_debug() already checks whether debug logging is enabled.

lib: events - Use const event pointer for "get" functions

lib-storage: mail_user_init_fs_settings() - Use user's event as fs parent event

auth: test-mech - Fix type mismatch

auth: test-mech - Fix APOP challenge format

submission: submission-backend-relay - Handle relay server replies consistently.

Initial connection setup errors were handled differently when the reply came
into the ready callback first.

lib-smtp: test-smtp-client-errors - Add test for server presenting invalid SSL certificate.

lib-smtp: smtp-client-connection - If SSL connection gets lost, log the last SSL error.

lib-smtp: smtp-client-connection - Handle connection loss uniformly at a single location.

Also amend the logged error message with SSL information when relevant.

lib-smtp: smtp-client-connection - Properly log SSL handshake failure occuring during input read as an error.

lib-smtp: smtp-client-connection - Restructure handling of immediate connection failure.

The delayed error callback is now started at a single location, much like
lib-http/client deals with this situation.

master: Make sure a listener isn't added to a throttled service

This fixes master process using 100% CPU in some situations when a service
is being throttled.

auth: mech-gssapi - GSSAPI can contain NUL.

imap: Add "mailbox" field to successful imap_client_unhibernated event

imap-hibernate: Add "mailbox" field to events

imap, imap-hibernate: Track how long hibernation lasted

imap-hibernate: Add imap_client_unhibernate_retried event

imap-hibernate: Add imap_client_unhibernated event for errors

Successful unhibernation is logged by imap process.

imap-hibernate: Handle unhibernation errors more consistently.

Log an error with the exact reason, and just log "Failed to unhibernate
client" as the info-level disconnect reason.