lib: test-file-cache - Use the new test-dir API

lib: test-cpu-limit - Use the new test-dir API

lib: test-buffer-istream - Use the new test-dir API

lib-test: Add support for temporary test directories

lib-test: test-common - Add test generic event

Use it to replace events created for some individual tests. Also replace the
event created by test-submission.

lib-test: test-subprocess - Move most signal and cleanup code to test-common for re-use

lib: safe-mkstemp - Add safe_mkstemp_dir*()

lib: safe-mkstemp - Split off safe_mkstemp_create()

imap: test-imap-client-hibernate - Rename test_init() to test_tmp_dir_init()

lib: test-path-util - Rename test_init() to test_path_util_init()

stats: test-stats-common - Rename test_init() to test_stats_init()

lib-test: Fix whitespace issues in test-subprocess.c

lib-sasl: fuzz-sasl-authentication - Limit the length of the passwords

For hashed algorithms, the password length could rise limitless, causing
fuzzer timeouts.

OSS-Fuzz report: 457240545

util: health-check.sh - Use a cleaner way to kill sleep

With the 6ee85b80857d241622a349aac47d51b70b27cc46 approach it introduced
errors like:

Error: ... Terminated { sleep $timeout; kill -3 $$ 2> /dev/null; }

config: Support config version 2.4.2

lib-sasl: sasl-server-mech-otp - Fix parsing of authid from initial client response

Before, it assumed this part to be nul-terminated, while it is not. Therefore,
it could read out-of-bounds memory, possibly crashing, which is wat became
apparent in the fuzzer.

The actual auth service code implicitly always provides a NUL termination
though, because the client response data comes via t_buffer_create() content
which always reserves +1 byte for NUL. Therefore, the auth service would not
have encountered this issue.

OSS-Fuzz report: 456423266

lib-sasl: server - Enforce absolute limit on the length of authid/authzid

OSS-Fuzz report: 455796070

lib-sasl: Enforce absolute limit on SASL message size for both client and server

This is a second layer of defence against abuse. The real limit enforced by the
auth service can be (is) smaller. Additionally, these limits will make sure the
fuzzer does not time out.

OSS-Fuzz report: 455796070

lib-regex: Remove LIBPCRE_LIBS from test dependencies

Was accidentically added in 49ae6e798310e5c4b96709db435a3714ea6468a8

lib: crc32 - Use zlib's built-in CRC32 function

Performance-wise, according to fastmail's crc32 test suite, this is 10x
faster than the previous code.

dovecot-sysreport: Add -D|--destdir support

This allows pointing a directory where to write files

lib-master: Split off master_service_can_idle_die()

lib-master: If SIGINT idle-kill is ignored due to handling a new client, make sure master status is notified

Master should have been notified usually, but it could have been an
unimportant notification that was ignored due to write() returning EAGAIN.

lib-master: If SIGINT idle-kill is ignored, make sure master sees the status update

If initial write() to master status pipe fails with EAGAIN, try to send it
when possible.

lib: Clarify io_loop_stop_delayed() comment

global: Remove default service/*/service_extra_groups=$SET:default_internal_group

This is no longer necessary now that mail_access_groups sets it.

config: Support versioned defaults for service settings

lib-storage: Change mail_access_groups default to $SET:default_internal_group

acl: vfile_object_modify_right() - Remove the whole identifier if it has no rights left

NEWS: Add news for 2.4.2

lib: Fix signedness in assert in time_to_uint32()

If time_t is signed and 32-bit, this can cause warnings.

lib-master: Fix pre-accept() handling for services with restart_request_count=1

Broken by 06045a9b2160229dcf78619f6208094843dfacd1

auth: test-mech - No mechanism is expected to log errors anymore in this test

auth: test-mech - The OTP mechanism no longer logs errors for client protocol violations

Yet, we forgot to amend this test. It only failed in Valgrind.

lib-storage: Don't try to mkdir root directory for unusable namespaces

The unusable namespaces are for nonexistent user shared namespaces.

doveadm: Add deleted to mailbox status

It is also added to the 'all' field

lib-storage: Add deleted mail count to dovecot.list.index

lib-storage: Add support for struct mailbox_status.deleted

lib-sasl: fuzz-sasl-authentication - Forgot to ignore token-based mechanisms for password validity check

OSS-Fuzz report: 454518406

lib-sasl: fuzz-sasl-authentication - Check validity of authentication success in separate function

lib-auth: auth-scram-client - Reduce maximum hash iterations in fuzzer to prevent timeout

OSS-Fuzz report: 454444201

doveadm: cmd_copy_alloc_source_user() - Fix crash on source user not existing

lib-ssl-iostream: Handle delayed handshake failure explicitly

The previous commit already fixed the busy loop bug, but errno=EINVAL is
better for the handshake failure than EPIPE.

lib-ssl-iostream: Fix potential busy loop when handshake has failed

If the stream is already destroyed, handshaking should return -1 as error
instead of "more data needed".

This fixes at least a potential busy loop when login-proxy tries to connect
to a remote server with mismatching SSL certificate name. It was timing
sensitive though, only seeming to happen when running with valgrind.

This code has been there since 9d0640616c30701bed286034840facfb386db90e

anvil: Fix memory leak when kicking clients

lib-storage: Sync "Time moved forward by" warning message with master process

master had "by", while lib-storage didn't.

imap: Fix memory leak when using STORE with keywords on an EXAMINEd mailbox

stats: Fix memory leak when deinitializing file transport

lib-ldap: Fix memory leak at connection deinit

auth: ldap - Make sure ldap log prefix doesn't contain (null)

This could have happened with invalid ldap_uris.

lib: str_to_*() - Fix compiler warnings

Some gcc versions think endp may be uninitialized.

lib-storage: Use case-insensitive ns_prefix/INBOX only for shared namespace

For example OtherNamespace/Inbox shouldn't be converted to INBOX.

Broken by 776d3e6f408ae5c4f903c4ed9e906d84e3e741a1

lib-storage: Make sure shared INBOX mailbox is always uppercased

This fixes issues where if shared/user/INBOX was accessed without
uppercasing the INBOX, it wasn't handled consistently.

auth: Add assert to make sure NULL cache key isn't tried to be expanded

auth: Don't do cache lookup on internal passdb failure when passdb_use_cache=no

This was the only place where passdb_cache_lookup_credentials() caller didn't
already check for key=NULL.

lib: iostream-temp - Optimize writing many small writes

There was no buffering for o_stream_send*() calls after the initial
in-memory buffer size was exceeded. Each one was immediately written to
disk.

This fixes inefficiencies at least with doveadm-server HTTP responses.

lib: iostream-temp - Remove support for o_stream_seek()

It's not needed by anything, and it's just making the code more complex.

lib: iostream-temp - Remove support for o_stream_pwrite()

It's not needed by anything, and it's just making the code more complex.

lib-storage, imapc: Fix caching headers as empty values when handling partial header fetches

When imapc does FETCH BODY.PEEK[HEADER.FIELDS (a b)], the result is valid
only for headers "a" and "b". The header parsing was expecting that it was
seeing the full header, so if caching decisions had remembered that also
header "c" is wanted to be cached, it was done with an empty value.

imap: Remove duplicate SPECIAL-USE from imap_capability setting list

This duplication wasn't actually visible in the client's CAPABILITY list.

lib-http: Handle HTTP request timeouts in separate data stack frames

master: accept() unix/inet connections before creating child process to handle it

This way if the child processes are slow to start, it won't affect how
rapidly they can be created.

lib-master: Support handling a pre-accept()ed connection from master process

lib-master: Split off master_service_connection_init_finish()

lib-master: Remove unused master_service_get_socket_name()

lib-master: Use master_service_listener.name directly

lib-master: Remove unused master_service_get_socket_type()

lib, global: Change net_accept() to return only -1 on failure

Use NET_ACCEPT_ENOCONN() to further check the errno if it's a failure that
should be logged or not. The previous way of using -1 vs -2 return value
wasn't very understandable.

util: health-check.sh - Don't leave "sleep 10" process running

lib-regex: Run unit tests

check-local section was missing in Makefile.am, so tests weren't
executed.

Forgotten from 49ae6e798310e5c4b96709db435a3714ea6468a8

lib-mail: istream-header-filter - Fix memory leak

Broken by 1f383819329d7637dc2f4a91b264af24a15f0256

lib-sql: driver-mysql - Remove wrappers for async

lib-sql: driver-sqlite - Remove wrappers for async

lib-sql: sql-api - Implement async calls for drivers that can't

Changes the behaviour of asynchronous functions to be truly asynchronous
even if the underlying driver isn't capable of doing this. Implemented
by adding immediate timeouts to call the callbacks after returning from the
synchronous function and ending up back to ioloop.

lib-sql: driver-sqlite - Use driver_sqlite_transaction_rollback() always for rolling back failures

lib-sql: driver-sqlite - Handle rollback errors correctly

Can't really claim we rolled back anything if rollback fails.

lib-sql: driver-sqlite - Stop transaction at first error

If the transaction has failed, refuse to execute any new
queries. This prevents especially situations where BEGIN failed.

lib-sql: driver-sqlite - Check access errors more carefully

Provide more useful information why database cannot be accessed,
including why it's in unexpected readonly mode.

lib-sql: driver-sqlite - Fix sqlite_journal_mode=wal setting to actually work

Forgotten in 316fdee91e4d672ec555626f620059c0748bab70

lib-sql: driver-sqlite - Automatically reconnect read-only

Simplifies cases where we just want to read the database

lib-sql: driver-sqlite - Explicitly initialize sqlite3

This allows catching initialization errors early

lib-sql: driver-sqlite - Use result.error for error storage

This allows better errors than using rc alone

lib-sql: driver-sqlite - Also consider SQLITE_PERM as access error

lib-sql: driver-sqlite - Extract message generation to driver_sqlite_result_str()

lib-sql: driver-sqlite - Include the real database connect error in event

lib-sql: driver-sqlite - Use driver_sqlite_connect_error() in driver_sqlite_result_log()

Simplifies next commit

lib-sql: driver-sqlite - Extract connection error handling to driver_sqlite_connect_error()

lib-sql: driver-sqlite - SQLITE_DONE is not an error

lib-sql: driver-sqlite - Use sqlite3_errstr()

This allows looking up error for the rc we are interested.

lib-sql: driver-sqlite - Use sqlite3_system_errno()

lib-sql: driver-sqlite - Add and use per-result errors

lib-sql: driver-sqlite - Rename db->rc to db->connect_rc

lib-sql: driver-sqlite - Use ctx->rc instead of db->rc in transactions

lib-sql: driver-sqlite - Log error if database closing fails

lib-sql: sql-api - Use i_gettimeofday() to get current time

It's more accurate

lib-sql: test-sql-sqlite - Remove redundant code

lib-sql: sql-api - Clarify that results are free'd after callback returns

lib-sql: driver-sqlite - Refactor struct sqlite_db

lib-index: Update comments about how transaction log corruption is handled

lib-index: Remove obsolete FIXMEs about upcoming sync lock removal

That is never going to happen.