notify-status: Fix crash if user initialization fails

The deinit code crashed if mail_namespaces_created hook hadn't been called
before user was deinitialized.

dsync: Fix handling mailboxes with % character when BROKENCHAR isn't explicitly set in config

When vname_escape_char (= BROKENCHAR) isn't explicitly set in configuration,
'%' character (or if it was hierarchy separator, '~') was used as the default
internal escape character. However, this was used inconsistently between local
and remote mailbox trees. The remote tree stored the mailbox names unescaped,
while the local mailbox names were escaped. This inconsistency caused dsync
to do unnecessary mailbox renames, which might have ended up failing.

This especially fixes dsync failures when mailbox name ended with the '%'
character.

dsync: Refactor dsync_brain_mailbox_to_parts() into dsync_mailbox_name_to_parts()

lib-dns: dns_lookup_timeout() - Append timeout value in error message

imap-login: Handle each command in its own data stack frame

lib-master: stats_client_deinit() - Ensure conn.output is flushed before returning

This prevents losing exported events still waiting in buffers while the process exits.

lib-master: stats_event_callback() - Skip if conn.output is already closed

This also prevents further errors from happening on the closed stream.

lib-master: stats_client_send_event() - Also flush conn.output and check for errors

lib-master: stats_event_write() - Don't accumulate more than IO_BLOCK_SIZE bytes in str buffer

master: Fix service { idle_kill } to work better on busy servers

The previous behavior was to kill a process once it had idled for idle_kill
seconds. However, on a busy server the new connections are picked up somewhat
randomly by all the idling processes, so there's never any single process
idling for a long time. This effectively prevents the idle_kill from killing
any processes, even if there are unnecessarily many of them.

The new behavior here tracks the lowest number of idling processes during
idle_kill time interval. Then it kills that many processes. If the load
stays the same, this should shrink the number of processes to the number
that is needed to handle the load, but no more.

master: Replace per-process idle_kill timeout with per-service

This is much more efficient, since it doesn't have to keep updating the
timeout constantly for busy processes.

This change still preserves the original way the idle_kill setting behaves.

master: Add asserts to make sure counters don't wrap

master: Add service.process_idling to count number of idling processes

master: Split processes list to busy and idling processes

Keep the idling processes sorted by idle_start time. This will be needed
by the next commit.

lib: backtrace_append() with libc - Remove dead code

04d6a2e763bce8640a8192298025d0717e425a66 changed the "out of memory" case to
be handled by returning an error instead. This is better than returning
unnamed backtrace pointers, which aren't very useful.

login-imap, imap: Truncate excessively large IMAP ID parameters in log messages

imap-login: Do not log login ID parameter

Special IMAP ID parameters are used when proxying to retain additional
values from the original client, these should not produce any log
entries.

imap-login: Clarify variable naming of login ID param

client_try_update_info() returns a boolean value that represents whether
the given key has a login ID parameter handler, i.e. it is a login ID
parameter. This commit changes the name to represent this more clearly.

config: Deprecate imap_id_log setting

lib-imap: Remove obsolete ID parameter log functions

imap-login: Log Pre-login ID parameters as the imap_id_received event

Drop the manual filtering of the 'imap_id_log' fields in favor of using
a named event and respective log string.

imap: Log Post-login ID parameters as the imap_id_received event

Drop the manual filtering of the 'imap_id_log' fields in favor of using
a named event and respective log string.

lib-imap: Add function to log IMAP ID parameters

imap-login: Prevent memory leak if ID command gets disconnected before finishing

virtual: virtual_backend_box_lookup() - Enforce callers to check if the call succeeded

virtual: virtual_sync_apply_existing_expunges() - Don't crash if the backend mailbox has been removed

lib: data_stack_grow event - Add backtrace_error field

This field is set if backtrace_get() failed.

lib: backtrace_get/append() - Add error_r parameter

lib: process-stat - Use eacces_error_get() for EACCES errno

This tells better why the open failed.

lib: process-stat - Increase maximum /proc/self/status size

Kernel 6.x has larger status file.

lib: process-stat - Use buffer_append_full_istream() to read files

global: Enable login_server_settings.update_proctitle

lib-login: Add login_server_settings.update_proctitle

Update the current login state in process title when enabled.

lib-login: Keep connection in server's linked list until it's fully freed

Otherwise the connection isn't accessible from any global variables.

imap: Update process title while unhibernating

Previously the process title stayed as [idling] even though the process was
busy waiting on the imap-hibernate process to finish sending the
unhibernation request.

lib-master: Set process title to [initializing] until master_service_init_finish()

lib: Add process_title_get_counter()

master: Set VERBOSE_PROCTITLE environment to child processes

This is needed for updating process title during initialization before
settings are read.

lib: md5: Fix strict aliasing violation

Followup to f0c1cf42ea78d22e2674b03fe65f0ee6545c5b99. It's exactly the
same code as in md4, so let's rip it out here too.

stats: openmetrics - Set field always when used

Satisfied static analysers.

Broken in ba19a18d54cb7cf7de93d6a235862a408cfe5828

lib: md4 - Fix violation of strict aliasing.

Fix miscompilation when LTO is enabled.

imap: Improve disconnection log message if it happens immediately after unhibernation

The "No commands sent after unhibernation" can mean that imap-hibernate
process saw a timeout while unhibernating and shutdown the connection.
Or it can also mean just that the client itself disconnected.

imap-hibernate: If unhibernation fails, make sure imap process won't finish it later on

Especially if unhibernation fails due to a connection timeout to imap
process due to high load, it's possible that the imap process will
eventually finish the unhibernation and continue with the client. This is
rather confusing, since imap-hibernate process already logged that the
client got disconnected.

imap: Disconnect imap-master client if it's not sending anything for 25 seconds

lib-imap-urlauth: imap-urlauth - Make sure a host name is available in imap_urlauth_check_hostport().

Addresses FIXME.

lib-imap-urlauth: imap-urlauth - Make struct imap_url parameters const.

imap-urlauth: imap-urlauth-worker-client - Use the input_args handler of the connection API.

imap-urlauth: imap-urlauth-worker-client - Use generic line input handling from connection API.

imap-urlauth: imap-urlauth-worker - Fully perform client-to-server VERSION handshake with connection API.

imap-urlauth: imap-urlauth-worker - Perform client-to-server VERSION handshake in separate function.

imap-urlauth: imap-urlauth-worker - Enable connection API's server-to-client VERSION handling.

imap-urlauth: imap-urlauth-worker - Use connection API's client-to-server VERSION handling.

Requires reordering sending FDs with VERSION line.

imap-urlauth: imap-urlauth-worker - Use the connection.h API.

imap-urlauth: imap-urlauth-client - Use the connection.h API.

imap-urlauth: imap-urlauth-client - Connect worker client last in client_create().

In later commit the worker client will depend on full unitialization of main
client struct.

imap-urlauth: imap-urlauth-worker-client - Use the connection.h API.

imap-urlauth: imap-urlauth-worker-settings - Use socket name definition for default.

imap-urlauth: imap-urlauth-worker-client - Use version definitions to compose handshake.

imap-urlauth: imap-urlauth-client - Move protocol version definitions to imap-urlauth-common.h.

imap-urlauth: imap-urlauth-worker - Move protocol version definitions to imap-urlauth-worker-common.h.

imap-urlauth: imap-urlauth-worker-client - Create sub-event for the worker.

imap-urlauth: imap-urlauth-worker-client - Make the worker a separate struct.

imap-urlauth: imap-urlauth-worker-client - Rename functions to have the proper prefix.

imap-urlauth: imap-urlauth-worker-client - Rename most client variables to wclient.

imap-urlauth: Make imap-urlauth-worker-client compile as a separate module.

imap-urlauth: Move worker client to separate source file.

imap-urlauth: imap-urlauth-client - Rename to_idle to to_destroy.

Makes more sense.

imap-urlauth: imap-urlauth-login - Send server-to-client VERSION line.

lib-imap-urlauth: imap-urlauth-connection - Use the connection.h API.

lib-imap-urlauth: imap-urlauth-connection - Move sending of authentication command to separate function.

lib: ostream-file - Improve write errors: mention the failing syscall.

imap-urlauth: Reformat imap-urlauth-client.h.

imap-urlauth: Reformat imap-urlauth-client.c.

lib-imap-urlauth: Reformat imap-urlauth-connection.c.

lib-imap-urlauth: Reformat imap-urlauth.h.

lib-imap-urlauth: Reformat imap-urlauth.c.

lib-http: http-server-connection - Fix segfault occurring when output is resumed on closed connection.

login-common: client_get_extra_disconnect_reason() - Add shutting_down and process_full reasons

login-common: Add shutting_down and resource_constraint fields to client struct

login-common: Remove no_extra_disconnect_reason

This got obsolete by previous changes and prevented properly set reason
for the login_aborted event on some internal failures.

login-common: client_disconnect() - Handle NULL reason separately

login-common: login_aborted_event() - Add more event fields

login-common: Change struct client's auth_first_started and auth_finished to timeval

login-common: client_disconnect() - Split off login_aborted_event()

Adds the login_aborted event.

login-common: client_disconnect() - Split off client_disconnected_log()

login-common: client_get_extra_disconnect_reason() - Remove auth_waiting_server and auth_waiting_server_finish

These reasons are not supposed to happen only if a process gets actively
killed. For the shutting_down reason will be added.

login-common: client_get_extra_disconnect_reason() - Increase auth_aborted_by_client reason priority

login-common: Disconnect reason - Add event reasons

login-common: Disconnect reason - clarify client sending untrusted cert

Changed the wording from "invalid cert" to "untrusted cert", which is
is a bit clearer in what the rejection reason usually is.

login-common: Disconnect reason - Return auth counts and secs for most replies

Earlier some reasons weren't returned when there were more than one attempt,
because it would hide if there were a lot of auth attempts. Now that the
auth attempt count is always returned, these less important reasons can also
be returned.

login-common: Use a reason string array for client_auth_fail_code

login-common: Disconnect reason - Add missing CLIENT_AUTH_FAIL_CODE_ANONYMOUS_DENIED

login-common: Add comments

login-common: Disconnect reason - Move auth_process_comm_fail check earlier

Likely doesn't matter, but this is more important reason to be logged than
the ones coming later.

login-common: Disconnect reason - Clarify "auth aborted by client" handling

Rename client.auth_try_aborted to auth_aborted_by_client and clarify the
disconnect reason message.

login-common: Disconnect reason - Check for missing SSL certs before auth attempts

login-common: client_get_extra_disconnect_reason() - Remove parenthesis from returned string

The caller now adds the parenthesis in one place.

login-common: Rename client.auth_waiting to auth_client_continue_pending

login-common: Reset auth_try_aborted if a new auth is started

This only affects the disconnection log message. It is likely better to
forget about this state when a new auth attempt begins, since if the new
auth fails also it is likely something completely different.

stats: openmetrics - Create metrics for all specified fields