lib-imap-urlauth: imap-urlauth - Rename error_r parameters to client_error_r

This indicates that the error messages are safe to be sent to the client.

imap-urlauth: imap-urlauth-worker - Fix event leak.

lib-imap-urlauth: imap-urlauth-connection - Retain callback when callback returns 0.

Makes sure callback can be called for the next pass; e.g., for abort.

submission: submission-commands - Make sure BURL request abort does not try to send second reply.

submission: submission-commands - Remember whether chunk was added for BURL command.

imap: cmd-urlfetch - Prevent assertion failure upon error in urlfetch callback.

Panic was:

Panic: file imap-client.c: line 988 (client_command_free): assertion failed: (!cmd->executing)

auth: auth-request - Snapshot the userdb fields upon authentication success.

Otherwise, fields added by mechanisms that don't use a passdb lookup (such as
DOVECOT-TOKEN) can be lost upon the subsequent userdb lookup.

auth: auth-client-connection - Fix assertion occurring when DOVECOT-TOKEN mechanism is used.

It was not returned as a "private" mechanism, which now triggers a panic due to
a recently added assertion.

Panic was:

Panic: file sasl-server.c: line 520 (sasl_server_auth_begin): assertion failed: (!private || (mech->flags & MECH_SEC_PRIVATE) != 0)

config: old-set-parser - Remove mention about external auth server

master: Update comment in mkdir_login_dir()

master: Remove settings_have_auth_unix_listeners_in()

External authentication has not worked since v2.0.

configure: Fix linking order of lib-auth and lib-otp

lib-auth depends on lib-otp, so it should be first.

lib-imap-client: Fix/clarify selection state handling

The old code assumed that selected_box would be non-NULL while a new mailbox
is being selected. That's not true though, the imapc-storage code closes the
old mailbox before selecting the next one. So the QRESYNC-specific code for
tracking selected-state was never being used. Fixed this, and clarified in
general how the selected-state is supposed to work.

lib-imap-client: Rename imapc_connection.selecting_box to qresync_selecting_box

It's only used when QRESYNC extension is enabled.

imapc: Fix handling EXISTS reply to previous mailbox while selecting new mailbox

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 10 EXISTS
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The first EXISTS is meant for box1, not box2. Fixed by not starting a FETCH
(FLAGS) for the mailbox being selected until the tagged reply is received.

imapc: Don't process untagged replies in mailbox that isn't fully selected yet

For example if the communication was:

C: a SELECT box1
...
C: b SELECT box2
S: * 1 EXPUNGE
S: * 1 EXISTS
S: * OK [UIDVALIDITY 1675948459] UIDs valid
S: ...
S: b OK

The expunge was intended for box1, not box2. This caused:
Warning: imapc(...): Mailbox '...' state corrupted: EXPUNGE received for empty mailbox - reconnecting

Fixed this by ignoring untagged EXPUNGE, FETCH, SEARCH and ESEARCH replies
when the UIDVALIDITY reply hasn't been yet received for a mailbox.

lib-storage: Omit irrelevant mail uid=0 for saved mails in mail event log prefix

lib-storage: Make mail error UID reporting consistent for corrupted cache

global: Access mail errors directly instead of mailbox errors

lib-storage: Unit test mail*_get_last_internal_error() functions

lib-storage: Unit test mail_set_critical()

lib-storage: Report critical mail errors without redundant mail prefix

Don't report mail prefix unless it's different from last tracked mail
uid, similar to mailbox_get_last_internal_error().

lib-storage: Fix typo in note-comment of mailbox_get_last_internal_error()

fts: Remove unused fts-expunge-log

lib-master: Fail if SOCKET_COUNT environment is empty in non-standalone mode

The master process is expected to always set SOCKET_COUNT.

lib-master: Ignore SOCKET_COUNT with MASTER_SERVICE_FLAG_STANDALONE

This could have caused problems when e.g. doveadm command was executed
inside a process started via master process.

auth: test-lua - Check that password is returned in lookup

auth: test-lua - Test bad keynames end up ignored

lib-storage: mail-user - Add event_ prefixed values from userdb as event fields

lib-auth-client: auth-client-request - Use split value in args_parse_user()

Since we already split this in previous commit, we can take advantage
of the provided key-value.

login-common: Add event_ prefixed values from auth as event fields

auth: db-lua - Skip invalid keys and values on field export

lib: t_split_key_value*() - Use ATTR_NOWARN_UNUSED_RESULT

doveadm auth login: Separate userdb's user from userdb actual extra fields in command output

lib-storage: set_line() - Add check against empty lines and keys, drop suffixing lines without '='

The previous check is no longer necessary as keys are now always followed
by '=', but in case of empty lines now the function would crash instead
of setting "plugin/=yes" (which didn't make sense either)

auth: Remove extra tabs inserted using auth_fields_append()

auth: Drop auth_fields_booleanize()

Booleanization is no longer necessary as now the fields expecting it
expect just the field presence, not a specific value.

auth: Allow auth extra-fields with empty strings, NULL values enforced to empty string ""

auth: Use t_split_key_value_eq()

auth_user_fields_parse() use t_split_key_value_eq

lib-storage: mail_user_get_alt_usernames() - Skip empty string values

lib-storage: Use t_split_key_value_eq()

login-common: authenticate_callback() - Accept valued items for nologin,proxy,anonymous

Previously these fields were expected to be sent only value-less (i.e. with no trailing '=<value>')

login-common: sasl-server - Use t_split_key_value_eq()

lib: Add t_split_key_value_eq()

run-test-valgrind.supp: Suppress OpenSSL EVP_DecryptFinal_ex() use of uninitialized value

This issue seems to be https://github.com/openssl/openssl/issues/19719

aggregator: Fix assert-crash when output to replicator starts queuing

If the output was less than IO_BLOCK_SIZE (as it usually would be), the code
just skipped over the whole buffered output and was confused that it didn't
find LF. Fixed by skipping over all but the last byte in the buffer, which
should be the LF.

Fixes:
Panic: file replicator-connection.c: line 99 (replicator_send_buf): assertion failed: (len < buf->used)

master: Fix fd leak check at startup with DEBUG

Don't fail at startup because config fd is set.

Broken by 9280367fdb767d9248dd9a3713519ee3cdad6b3f

lib: Add memcpy() macro that assert-crashes if either parameter is NULL

global: Make sure memcpy() isn't called with NULL parameters

Add an explicit if-check to make sure neither destination nor source pointer
parameter is NULL, since it's undefined behavior and can lead to crashes
with current compilers.

Currently this code isn't known to have caused issues.

global: Add asserts to make sure memcpy() won't be called with NULL parameters

These asserts aren't expected to trigger with current code.

lib: ostream-file - Fix assert to be more restrictive

lib-dict: Parse proxy attributes as millisecond based interval

lib-dict: Rename proxy attributes

Make the naming of the attributes consistent with other storage
parameters, especially the http-storage.

lib-dict: Fix comment of default proxy timeout millisecond macro

global: Complete unsigned int declarations

To be more consistent with the rest of the code base and because of code
quality reasons this commit adds the "int" keyword that is theoretically
optional for unsigned integer types.

lib-http: Remove unnecessary NULL check

This is confusing static analyzers.

Broken by 987fab8f4e143ab851c3318c8614e81bb0f2b360

lib: Add unit test for random_fill()

lib-http: test-http-payload - Use ostream-final-trickle for client connections

lib-http: test-http-payload - Add more server last byte trickle tests.

lib-http: test-http-payload - Rename server last byte trickle test.

lib-http: test-http-payload - Add server_ prefix to tset.trickle_final_byte.

lib-http: test-http-payload - Clean up global http client context between tests.

lib-http: test-http-payload - Restructure client init/deinit.

lib-http: test-http-payload - Fix segfault occurring upon out-of-sequence request completion.

lib-http: http-client - Make http_client_global_context_free() public for testing.

lib-http: client - Don't unlock connection output before request is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: client - Don't unlock connection output before request payload is fully sent

lib-http: http-client-request - Make sure connection output is unlocked if blocking request receives response.

Otherwise, a race condition between outgoing payload transmission and receiving
the response may cause connection to hang.

lib-http: http-client-connection - Remove useless early state transition.

Happens in http_client_request_callback() already.

lib: ostream-wrapper - Don't halt/resume output upon error.

lib: ostream-wrapper - Call output_finished() callback when wrapper stream is finished and empty.

Before, it would only be called when the parent output is also fully flushed,
which is too late.

lib-test: ostream-final-trickle - Call o_stream_set_flush_pending(..., TRUE) in timeout.

lib-test: ostream-final-trickle - Fix bug occurring when writing single byte.

lib-http: Reformat http-client.h.

lib-http: Reformat http-client.c.

lib-sql: Don't allow passing NULL duration_r to sql_query_finished_event()

Almost everyone provides it in any case.

lib-sql: driver-sqlite - Handle CANTOPEN like READONLY

Older SQLite will not use READONLY.

lib-sql: driver-sqlite - Include rc in database connection error message

fs-randomfail: Make sure 100% probability always fails

The randomness was previously divided 50% pre-operation and 50%
post-operation, so it wasn't guaranteed to always fail.

lib-storage: shared - Fix handling errors initializing shared mailbox owner user

Broken by 46289fd0efce678c07f13bfa5f3cb077d2ea8cb8

global: Fix libauth and libotp linking issues using --without-shared-libs

login-common: Rename login_auth_socket_path to login_socket_path

lib-master, config: Ignore SSL server settings when executing doveconf via doveadm

This is just a temporary kludge to allow running doveadm (as non-root) when
SSL cert/key files aren't readable. Changes later on fix this properly.

lib-master: Add DOVECONF_SERVICE environment to doveconf

This is needed to avoid calling managesieve dump-capability for doveadm and
other processes that don't need it.

lib-master, config: Support disabling settings checks

This is intended for managesieve's dump-capability.

config: Remove last traces of modules based filtering

config: config_parse_file() - Remove unused modules parameter

config: config_parse_file() - Change expand_values parameter to enum

lib-master: Keep the config always mmap()ed

The config fd is no longer necessary to keep open.

lib-master, lib-login: Remove master_service_close_config_fd()

Config fd is now always kept open and it shouldn't be closed.

lib-master, global: Remove MASTER_SERVICE_FLAG_KEEP_CONFIG_OPEN

The config is now always kept open.

lib-master, config: Change parsed config file syntax to binary

Also use mmap() to parse the config more efficiently. The late doveconf
exec fallback is also removed here, since mmap() isn't expected to fail and
afterwards the errors are about the config file syntax errors. (The
doveconf fallback is still there in the earlier code before config fd is
received.)

lib-settings: Remove unused settings_stream_unescape() and SETTING_STREAM_LF_CHAR

lib-settings: Remove unused settings_parse_stream*()

lib-settings: test-settings-parser - Parse settings one line at a time instead of as streams

stats: unit tests - Parse settings one line at a time instead of as streams

lib-settings: Remove unused settings_parse_environ()

lib-master: Remove support for reading settings from environment

This is no longer necessary with doveconf -F parameter. The settings were
previously also being read from environment if -k parameter was used, but
there was never any real benefit in doing that. This change was introduced
by a88696bd63b2ce0f7b02ee3352e4bf739497352a simply to keep the behavior
identical when reading settings via doveconf vs config socket.

lib-master, master: Remove MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This is no longer necessary now that settings are passed via fd.

master, log: Pass config fd from master to log process

The log process must not depend on the config process, because they would
have a circular dependency. Previously the configuration was sent to the
log process via environment filled by the master process. Now that we have
the full config available in a file descriptor, pass that config fd instead.