login-common: Rename client.auth_waiting to auth_client_continue_pending

login-common: Reset auth_try_aborted if a new auth is started

This only affects the disconnection log message. It is likely better to
forget about this state when a new auth attempt begins, since if the new
auth fails also it is likely something completely different.

stats: openmetrics - Create metrics for all specified fields

lib: fd-util - Try to read link from procfs to see which file leaked

Makes it easier to determine why the leak occured.

lib-storage: Check return status from mailbox_create() in tests

This addresses Coverity complaints.

master: Don't pass config file in two fds to child processes

Broken by 1955e81a2ffe023f937d87f2b555bcec0fb4aee9

lib-storage: Update "user" field in mail_storage_service_user.event after userdb lookup

The userdb lookup may change the username.

stats: Add support for discrete modifiers

stats: Populate group_by field earlier in settings check

This is needed in next commit to avoid crash.

pop3: Add pop3_command_finished event

pop3: Add pop3 command context

lmtp: Add smtp server statistics to user event

lib-smtp: Include net_in_bytes, net_out_bytes in event

Ensure they end up in connection finished event

lib-smtp: Move struct smtp_server_stats

This is needed for next commit

lmtp: Remove useless cast

submission: Include net_in_bytes, net_out_bytes in event

These fields are mainly intended for the mail_user_session_finished event.

pop3: Include net_in_bytes, net_out_bytes in event

These fields are mainly intended for the mail_user_session_finished event.

imap: Include net_in_bytes, net_out_bytes in event

These fields are mainly intended for the mail_user_session_finished event.

pop3: Use i_stream_get_absolute_offset() in stats

Consistent with other protocols

imap: Rename bytes_in,_out to net_in_,out_bytes in cmd stats

login-common: Rename bytes_in,_out to net_in_,out_bytes

lib-http: Rename bytes_in,_out to net_in_,out_bytes

lib: connection - Rename bytes_in,_out to net_in_,out_bytes

lib: connection - Expose connection_update_counters()

dbox: dbox_cleanup_temp_files() - Fuzz scan interval adding 0..+30% based on username hash

dbox: dbox_cleanup_temp_files() - Reformat code

dbox: dbox_cleanup_temp_files() - Remove unnecessary else/else if after returns

dbox: dbox_mailbox_open() - Drop unused ctime

dbox: dbox_mailbox_open() - Move dbox_cleanup_temp_files() to dbox_mailbox_close()

dbox: dbox_mailbox_open() - Infer last_temp_file_scan from dir's atime if 0

dbox: dbox_mailbox_create() - Update last_temp_file_scan

lib-storage: dbox_cleanup_temp_files() - Fix inverted check for ENOENT

doveadm: Panic if doveadm_print_header() is called too late

Otherwise it's not noticed unless the doveadm command is called for multiple
users (-A, -F).

doveadm: Panic if doveadm_print_init() is called too late

Otherwise it's not noticed unless the doveadm command is called for multiple
users (-A, -F).

fts-flatcurve: Move doveadm_print_header() eariler

Otherwise the newly introduced checks trigger faults

fts: fts tokenize - Move doveadm_print_init() eariler

Otherwise the newly introduced checks trigger faults

mail-crypt: Move doveadm_print_init/header() eariler

Otherwise the newly introduced checks trigger faults

doveadm: pw - Allow weak schemes in verification

auth: mech-gssapi - Remove KRB5_USEROK check

It should be there always these days. Enables cross-realm
and cross-identity authentication always.

sdbox: Fix panic due to leaked mail_index_view if sync fails

Fixes:
Panic: Leaked view for index .../dbox-Mails/dovecot.index: Opened in mail-index-sync.c:445

lib-index: Don't update log_file_tail_offset on sync if reading dovecot.index.log failed

This is more of a theoretical issue, since dovecot.index.log read failure is
very unlikely.

lib-index: Don't update max_tail_offset if write to dovecot.index.log fails

The max_tail_offset didn't actually increase in that situation.
This fixes wrongly updating mail_index_header.log_file_tail_offset after
write to dovecot.index.log failed (due to out of disk space), which in
turn can cause some unexpected errors.

lib-index: Fix event leak if purging dovecot.index.cache fails

lib: event-filter-parser.y - Add workaround for nerrs being unused warning

Fixes with clang-17:
warning: variable 'event_filter_parser_nerrs' set but not used

global: Remove dead code

lib: istream - Don't call memcpy() with NULL parameter --with-devel-checks

lib: lib - Add value for defines that don't have it

Fixes compilation with FreeBSD that requires a value for
defines.

Broken in e6f2682b32ff5b366ee7242841c3194425202880

lib: lib - Remove memcpy macro in C++

This breaks C++ compilation due to too wide impact.

Broken in 38dbeec767ad10021020e3833b1dbc3d04442f85

lib-auth: Remove external libraries from dependencies

This just breaks compilation when they contain -L.

Broken in 5d632abbf571f8e9157b1526533d677a1b8eb829

lib-mail: Remove obsolete mail-user-hash

login-common: Remove obsolete include of mail-user-hash.h

fts: cmd_fts_expand_run() - Fix for crash invoking doveadm fts expand -A

imap: imap_parser_read_next_atom() - Reject special character DEL 0x7F

atom-specials includes CTL, which in turn contains \x00-\x1F and \x7F DEL

imap: imap_parser_read_next_atom() - Accept "]" in cmd-tag(s)

despite "]" being in atom-specials, a specific exception is made
for that in ASTRING-CHAR, which is used by tag

lib-imap-client: Fix crash if SSL initialization fails when connecting

This could be for example due to invalid SSL certificate settings.

lib-imap-urlauth: imap-urlauth - Don't return errors from imap_msgpart_url*() as internal errors.

These are explicitly suitable as client errors; e.g. about nonexistent folders.

lib-imap-urlauth: imap-urlauth - Don't replace error returned by imap_msgpart_url_open_mailbox()

The original error is intended to be sent to the client.

lib-imap-urlauth: imap-urlauth - Rename error_r parameters to client_error_r

This indicates that the error messages are safe to be sent to the client.

imap-urlauth: imap-urlauth-worker - Fix event leak.

lib-imap-urlauth: imap-urlauth-connection - Retain callback when callback returns 0.

Makes sure callback can be called for the next pass; e.g., for abort.

submission: submission-commands - Make sure BURL request abort does not try to send second reply.

submission: submission-commands - Remember whether chunk was added for BURL command.

imap: cmd-urlfetch - Prevent assertion failure upon error in urlfetch callback.

Panic was:

Panic: file imap-client.c: line 988 (client_command_free): assertion failed: (!cmd->executing)

auth: auth-request - Snapshot the userdb fields upon authentication success.

Otherwise, fields added by mechanisms that don't use a passdb lookup (such as
DOVECOT-TOKEN) can be lost upon the subsequent userdb lookup.

auth: auth-client-connection - Fix assertion occurring when DOVECOT-TOKEN mechanism is used.

It was not returned as a "private" mechanism, which now triggers a panic due to
a recently added assertion.

Panic was:

Panic: file sasl-server.c: line 520 (sasl_server_auth_begin): assertion failed: (!private || (mech->flags & MECH_SEC_PRIVATE) != 0)

config: old-set-parser - Remove mention about external auth server

master: Update comment in mkdir_login_dir()

master: Remove settings_have_auth_unix_listeners_in()

External authentication has not worked since v2.0.

configure: Fix linking order of lib-auth and lib-otp

lib-auth depends on lib-otp, so it should be first.

lib-imap-client: Fix/clarify selection state handling

The old code assumed that selected_box would be non-NULL while a new mailbox
is being selected. That's not true though, the imapc-storage code closes the
old mailbox before selecting the next one. So the QRESYNC-specific code for
tracking selected-state was never being used. Fixed this, and clarified in
general how the selected-state is supposed to work.

lib-imap-client: Rename imapc_connection.selecting_box to qresync_selecting_box

It's only used when QRESYNC extension is enabled.

imapc: Fix handling EXISTS reply to previous mailbox while selecting new mailbox

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 10 EXISTS
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The first EXISTS is meant for box1, not box2. Fixed by not starting a FETCH
(FLAGS) for the mailbox being selected until the tagged reply is received.

imapc: Don't process untagged replies in mailbox that isn't fully selected yet

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 1 EXPUNGE
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The expunge was intended for box1, not box2. This caused:
Warning: imapc(...): Mailbox '...' state corrupted: EXPUNGE received for empty mailbox - reconnecting

Fixed this by ignoring untagged EXPUNGE, FETCH, SEARCH and ESEARCH replies
when the UIDVALIDITY reply hasn't been yet received for a mailbox.

lib-storage: Omit irrelevant mail uid=0 for saved mails in mail event log prefix

lib-storage: Make mail error UID reporting consistent for corrupted cache

global: Access mail errors directly instead of mailbox errors

lib-storage: Unit test mail*_get_last_internal_error() functions

lib-storage: Unit test mail_set_critical()

lib-storage: Report critical mail errors without redundant mail prefix

Don't report mail prefix unless it's different from last tracked mail
uid, similar to mailbox_get_last_internal_error().

lib-storage: Fix typo in note-comment of mailbox_get_last_internal_error()

fts: Remove unused fts-expunge-log

lib-master: Fail if SOCKET_COUNT environment is empty in non-standalone mode

The master process is expected to always set SOCKET_COUNT.

lib-master: Ignore SOCKET_COUNT with MASTER_SERVICE_FLAG_STANDALONE

This could have caused problems when e.g. doveadm command was executed
inside a process started via master process.

auth: test-lua - Check that password is returned in lookup

auth: test-lua - Test bad keynames end up ignored

lib-storage: mail-user - Add event_ prefixed values from userdb as event fields

lib-auth-client: auth-client-request - Use split value in args_parse_user()

Since we already split this in previous commit, we can take advantage
of the provided key-value.

login-common: Add event_ prefixed values from auth as event fields

auth: db-lua - Skip invalid keys and values on field export

lib: t_split_key_value*() - Use ATTR_NOWARN_UNUSED_RESULT

doveadm auth login: Separate userdb's user from userdb actual extra fields in command output

lib-storage: set_line() - Add check against empty lines and keys, drop suffixing lines without '='

The previous check is no longer necessary as keys are now always followed
by '=', but in case of empty lines now the function would crash instead
of setting "plugin/=yes" (which didn't make sense either)

auth: Remove extra tabs inserted using auth_fields_append()

auth: Drop auth_fields_booleanize()

Booleanization is no longer necessary as now the fields expecting it
expect just the field presence, not a specific value.

auth: Allow auth extra-fields with empty strings, NULL values enforced to empty string ""

auth: Use t_split_key_value_eq()

auth_user_fields_parse() use t_split_key_value_eq

lib-storage: mail_user_get_alt_usernames() - Skip empty string values

lib-storage: Use t_split_key_value_eq()

login-common: authenticate_callback() - Accept valued items for nologin,proxy,anonymous

Previously these fields were expected to be sent only value-less (i.e. with no trailing '=<value>')

login-common: sasl-server - Use t_split_key_value_eq()