imap: Include net_in_bytes, net_out_bytes in event

These fields are mainly intended for the mail_user_session_finished event.

pop3: Use i_stream_get_absolute_offset() in stats

Consistent with other protocols

imap: Rename bytes_in,_out to net_in_,out_bytes in cmd stats

login-common: Rename bytes_in,_out to net_in_,out_bytes

lib-http: Rename bytes_in,_out to net_in_,out_bytes

lib: connection - Rename bytes_in,_out to net_in_,out_bytes

lib: connection - Expose connection_update_counters()

dbox: dbox_cleanup_temp_files() - Fuzz scan interval adding 0..+30% based on username hash

dbox: dbox_cleanup_temp_files() - Reformat code

dbox: dbox_cleanup_temp_files() - Remove unnecessary else/else if after returns

dbox: dbox_mailbox_open() - Drop unused ctime

dbox: dbox_mailbox_open() - Move dbox_cleanup_temp_files() to dbox_mailbox_close()

dbox: dbox_mailbox_open() - Infer last_temp_file_scan from dir's atime if 0

dbox: dbox_mailbox_create() - Update last_temp_file_scan

lib-storage: dbox_cleanup_temp_files() - Fix inverted check for ENOENT

doveadm: Panic if doveadm_print_header() is called too late

Otherwise it's not noticed unless the doveadm command is called for multiple
users (-A, -F).

doveadm: Panic if doveadm_print_init() is called too late

Otherwise it's not noticed unless the doveadm command is called for multiple
users (-A, -F).

fts-flatcurve: Move doveadm_print_header() eariler

Otherwise the newly introduced checks trigger faults

fts: fts tokenize - Move doveadm_print_init() eariler

Otherwise the newly introduced checks trigger faults

mail-crypt: Move doveadm_print_init/header() eariler

Otherwise the newly introduced checks trigger faults

doveadm: pw - Allow weak schemes in verification

auth: mech-gssapi - Remove KRB5_USEROK check

It should be there always these days. Enables cross-realm
and cross-identity authentication always.

sdbox: Fix panic due to leaked mail_index_view if sync fails

Fixes:
Panic: Leaked view for index .../dbox-Mails/dovecot.index: Opened in mail-index-sync.c:445

lib-index: Don't update log_file_tail_offset on sync if reading dovecot.index.log failed

This is more of a theoretical issue, since dovecot.index.log read failure is
very unlikely.

lib-index: Don't update max_tail_offset if write to dovecot.index.log fails

The max_tail_offset didn't actually increase in that situation.
This fixes wrongly updating mail_index_header.log_file_tail_offset after
write to dovecot.index.log failed (due to out of disk space), which in
turn can cause some unexpected errors.

lib-index: Fix event leak if purging dovecot.index.cache fails

lib: event-filter-parser.y - Add workaround for nerrs being unused warning

Fixes with clang-17:
warning: variable 'event_filter_parser_nerrs' set but not used

global: Remove dead code

lib: istream - Don't call memcpy() with NULL parameter --with-devel-checks

lib: lib - Add value for defines that don't have it

Fixes compilation with FreeBSD that requires a value for
defines.

Broken in e6f2682b32ff5b366ee7242841c3194425202880

lib: lib - Remove memcpy macro in C++

This breaks C++ compilation due to too wide impact.

Broken in 38dbeec767ad10021020e3833b1dbc3d04442f85

lib-auth: Remove external libraries from dependencies

This just breaks compilation when they contain -L.

Broken in 5d632abbf571f8e9157b1526533d677a1b8eb829

lib-mail: Remove obsolete mail-user-hash

login-common: Remove obsolete include of mail-user-hash.h

fts: cmd_fts_expand_run() - Fix for crash invoking doveadm fts expand -A

imap: imap_parser_read_next_atom() - Reject special character DEL 0x7F

atom-specials includes CTL, which in turn contains \x00-\x1F and \x7F DEL

imap: imap_parser_read_next_atom() - Accept "]" in cmd-tag(s)

despite "]" being in atom-specials, a specific exception is made
for that in ASTRING-CHAR, which is used by tag

lib-imap-client: Fix crash if SSL initialization fails when connecting

This could be for example due to invalid SSL certificate settings.

lib-imap-urlauth: imap-urlauth - Don't return errors from imap_msgpart_url*() as internal errors.

These are explicitly suitable as client errors; e.g. about nonexistent folders.

lib-imap-urlauth: imap-urlauth - Don't replace error returned by imap_msgpart_url_open_mailbox()

The original error is intended to be sent to the client.

lib-imap-urlauth: imap-urlauth - Rename error_r parameters to client_error_r

This indicates that the error messages are safe to be sent to the client.

imap-urlauth: imap-urlauth-worker - Fix event leak.

lib-imap-urlauth: imap-urlauth-connection - Retain callback when callback returns 0.

Makes sure callback can be called for the next pass; e.g., for abort.

submission: submission-commands - Make sure BURL request abort does not try to send second reply.

submission: submission-commands - Remember whether chunk was added for BURL command.

imap: cmd-urlfetch - Prevent assertion failure upon error in urlfetch callback.

Panic was:

Panic: file imap-client.c: line 988 (client_command_free): assertion failed: (!cmd->executing)

auth: auth-request - Snapshot the userdb fields upon authentication success.

Otherwise, fields added by mechanisms that don't use a passdb lookup (such as
DOVECOT-TOKEN) can be lost upon the subsequent userdb lookup.

auth: auth-client-connection - Fix assertion occurring when DOVECOT-TOKEN mechanism is used.

It was not returned as a "private" mechanism, which now triggers a panic due to
a recently added assertion.

Panic was:

Panic: file sasl-server.c: line 520 (sasl_server_auth_begin): assertion failed: (!private || (mech->flags & MECH_SEC_PRIVATE) != 0)

config: old-set-parser - Remove mention about external auth server

master: Update comment in mkdir_login_dir()

master: Remove settings_have_auth_unix_listeners_in()

External authentication has not worked since v2.0.

configure: Fix linking order of lib-auth and lib-otp

lib-auth depends on lib-otp, so it should be first.

lib-imap-client: Fix/clarify selection state handling

The old code assumed that selected_box would be non-NULL while a new mailbox
is being selected. That's not true though, the imapc-storage code closes the
old mailbox before selecting the next one. So the QRESYNC-specific code for
tracking selected-state was never being used. Fixed this, and clarified in
general how the selected-state is supposed to work.

lib-imap-client: Rename imapc_connection.selecting_box to qresync_selecting_box

It's only used when QRESYNC extension is enabled.

imapc: Fix handling EXISTS reply to previous mailbox while selecting new mailbox

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 10 EXISTS
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The first EXISTS is meant for box1, not box2. Fixed by not starting a FETCH
(FLAGS) for the mailbox being selected until the tagged reply is received.

imapc: Don't process untagged replies in mailbox that isn't fully selected yet

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 1 EXPUNGE
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The expunge was intended for box1, not box2. This caused:
Warning: imapc(...): Mailbox '...' state corrupted: EXPUNGE received for empty mailbox - reconnecting

Fixed this by ignoring untagged EXPUNGE, FETCH, SEARCH and ESEARCH replies
when the UIDVALIDITY reply hasn't been yet received for a mailbox.

lib-storage: Omit irrelevant mail uid=0 for saved mails in mail event log prefix

lib-storage: Make mail error UID reporting consistent for corrupted cache

global: Access mail errors directly instead of mailbox errors

lib-storage: Unit test mail*_get_last_internal_error() functions

lib-storage: Unit test mail_set_critical()

lib-storage: Report critical mail errors without redundant mail prefix

Don't report mail prefix unless it's different from last tracked mail
uid, similar to mailbox_get_last_internal_error().

lib-storage: Fix typo in note-comment of mailbox_get_last_internal_error()

fts: Remove unused fts-expunge-log

lib-master: Fail if SOCKET_COUNT environment is empty in non-standalone mode

The master process is expected to always set SOCKET_COUNT.

lib-master: Ignore SOCKET_COUNT with MASTER_SERVICE_FLAG_STANDALONE

This could have caused problems when e.g. doveadm command was executed
inside a process started via master process.

auth: test-lua - Check that password is returned in lookup

auth: test-lua - Test bad keynames end up ignored

lib-storage: mail-user - Add event_ prefixed values from userdb as event fields

lib-auth-client: auth-client-request - Use split value in args_parse_user()

Since we already split this in previous commit, we can take advantage
of the provided key-value.

login-common: Add event_ prefixed values from auth as event fields

auth: db-lua - Skip invalid keys and values on field export

lib: t_split_key_value*() - Use ATTR_NOWARN_UNUSED_RESULT

doveadm auth login: Separate userdb's user from userdb actual extra fields in command output

lib-storage: set_line() - Add check against empty lines and keys, drop suffixing lines without '='

The previous check is no longer necessary as keys are now always followed
by '=', but in case of empty lines now the function would crash instead
of setting "plugin/=yes" (which didn't make sense either)

auth: Remove extra tabs inserted using auth_fields_append()

auth: Drop auth_fields_booleanize()

Booleanization is no longer necessary as now the fields expecting it
expect just the field presence, not a specific value.

auth: Allow auth extra-fields with empty strings, NULL values enforced to empty string ""

auth: Use t_split_key_value_eq()

auth_user_fields_parse() use t_split_key_value_eq

lib-storage: mail_user_get_alt_usernames() - Skip empty string values

lib-storage: Use t_split_key_value_eq()

login-common: authenticate_callback() - Accept valued items for nologin,proxy,anonymous

Previously these fields were expected to be sent only value-less (i.e. with no trailing '=<value>')

login-common: sasl-server - Use t_split_key_value_eq()

lib: Add t_split_key_value_eq()

run-test-valgrind.supp: Suppress OpenSSL EVP_DecryptFinal_ex() use of uninitialized value

This issue seems to be https://github.com/openssl/openssl/issues/19719

aggregator: Fix assert-crash when output to replicator starts queuing

If the output was less than IO_BLOCK_SIZE (as it usually would be), the code
just skipped over the whole buffered output and was confused that it didn't
find LF. Fixed by skipping over all but the last byte in the buffer, which
should be the LF.

Fixes:
Panic: file replicator-connection.c: line 99 (replicator_send_buf): assertion failed: (len < buf->used)

master: Fix fd leak check at startup with DEBUG

Don't fail at startup because config fd is set.

Broken by 9280367fdb767d9248dd9a3713519ee3cdad6b3f

lib: Add memcpy() macro that assert-crashes if either parameter is NULL

global: Make sure memcpy() isn't called with NULL parameters

Add an explicit if-check to make sure neither destination nor source pointer
parameter is NULL, since it's undefined behavior and can lead to crashes
with current compilers.

Currently this code isn't known to have caused issues.

global: Add asserts to make sure memcpy() won't be called with NULL parameters

These asserts aren't expected to trigger with current code.

lib: ostream-file - Fix assert to be more restrictive

lib-dict: Parse proxy attributes as millisecond based interval

lib-dict: Rename proxy attributes

Make the naming of the attributes consistent with other storage
parameters, especially the http-storage.

lib-dict: Fix comment of default proxy timeout millisecond macro

global: Complete unsigned int declarations

To be more consistent with the rest of the code base and because of code
quality reasons this commit adds the "int" keyword that is theoretically
optional for unsigned integer types.

lib-http: Remove unnecessary NULL check

This is confusing static analyzers.

Broken by 987fab8f4e143ab851c3318c8614e81bb0f2b360

lib: Add unit test for random_fill()

lib-http: test-http-payload - Use ostream-final-trickle for client connections

lib-http: test-http-payload - Add more server last byte trickle tests.

lib-http: test-http-payload - Rename server last byte trickle test.