lib-test: Log error with top_test_dir

TEST_DIR is not used as mkdir parameter.

lib: unicode-transform - Avoid using constant artihmetic involving variables

This does not strictly conform to the C standard and can trigger compiler errors
for some systems.

config: Panic if default setting value differs between setting_parser_infos

submission-login: Fix setting the default submission_max_mail_size=unlimited

Pre-login default value is intended to be unlimited, while post-login
default value is 40 MB, unless overridden by the relay server.

The old code was relying on the default settings struct being different for
submission and submission-login, which was rather kludgy. This also wasn't
visible in doveconf output.

submission[-login]: If submission_max_mail_size=unlimited, advertise SIZE capability without a number

lib-smtp: smtp-server-connection - Fix reading remaining payload of failed (DATA) command

doveadm: dsync - Sync mailbox before updating mailbox metadata

Fixes highestmodseq increasing unnecessarily after sync.

doveadm: dsync - Log used search

This can be helpful in debugging

doveadm: dsync - Search exportable mails with SMALLER

This speeds up dsync with -I, especially over network connection.

doveadm: dsync - Fix -e parameter when used with dsync-server

It was set to sync_since_timestamp.

Broken in ee8294dbc7bb549557f6ba1264d66b55fbef69b6

doveadm: dsync - Search exportable mails with timestamps

This speeds up dsync with -t and -e, especially over network connection.

doveadm: dsync - Extract dsync_mailbox_import_init() arguments to a structure

It's easier to extend in future

doveadm: dsync - Extract dsync_mailbox_export_init() parameters to a structure

It's easier to extend in future

fts-flatcurve: Fix mailbox leak if it couldn't be opened

This could also result in a crash:
Panic: file mail-user.c: line 185 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

lib-var-expand: var-expand-parser - Add YYFPRINTF() wrapper

Useful if one needs to debug parser.

lib-var-expand: test-var-expand - Print more useful error if test->out is empty

lib-var-expand: Generate 8-bit flexer

This is needed for proper utf-8 support in future.

lib-var-expand: Add fuzzer for var_expand_program_create()

lib-var-expand: Fix list manipulation in make_new_program()

Fixes signal 11 crash when handling multiple chained programs like
hello%{}world.

lib-mail: test-istream-qp-decoder - Keep limit constant in get_encoding_size_diff()

Broken in e3b45a1e30c98dcf33bc79dc9370f1217eadc36a

lib-mail: Add more fuzzers

lib-mail: message-date - Add missing bounds checking

All current callers are guaranteed to pass input that is NUL-terminated.
In case of SEARCH SENT* commands the input comes from buffer_t, which is also
guaranteed to be NUL-terminated (although not necessarily immediately after the
input data).

Found by naoki-wa via yeswehack.

lib: Move cpu-limit test to its own test binary

This allows running it in parallel with the rest of the tests.

Makefile.test.include: Use "make check" tests in parallel

lib-program-client, lib-smtp: Move unit test runs to Makefile.test.include

These add NOCHILDREN_TESTS for some tests.

global: Move most unit test runs to Makefile.test.include

The special cases are changed by the next commit.

lib-sql: Makefile.am - Use test_programs instead of check_PROGRAMS variable

This makes it consistent with other unit tests.

lib-test: Give a clear panic if test_dir_init() call is missing

lib-storage, mail-crypt: test-mail* - Use the new test-dir API

mail-crypt's test-mail-key also uses test-mail-storage-common API, so it
now needs the test_dir_init() call.

lib-http, lib-smtp: test-*-payload - Skip files created by make check

These may change during "make check", breaking the test.

config: Fail if trying to give section name for strlist or boollist setting

For example this should fail:

mail_plugins foo {
}

config: Fail if trying to use non-strlist and non-boollist setting as a section

For example this was silently ignored:

mail_driver {
}

doveadm: dsync_remote_cmd setting - Remove obsolete -U parameter

This was forgotten to be removed in 4c04e4c30fd4817a8b0e11d04d9681173f696f41

lazy-expunge: Change lazy_expunge_only_last_instance default to yes

lib-compression: test-compression - Use the new test-dir API

lib-index: test-mail-index-write - Use the new test-dir API

lib-http: test-http-payload - Use the new test-dir API

lib-smtp: test-smtp-payload - Use the new test-dir API

lib-smtp: test-smtp-submit - Use the new test-dir API

lib-program-client: test-program-client-* - Use the new test-dir API

lib-index: test-mail-{index,cache} - Use the new test-dir API

lib-imap-client: test-imapc-client - Use the new test-dir API

lib-fs: test-fs-posix - Use the new test-dir API

imap: test-imap-client-hibernate - Use the new test-dir API

config: test-config-parser - Use the new test-dir API

lib-json: test-json-istream - Use the new test-dir API

lib: test-ostream-file - Use the new test-dir API

lib: test-iostream-temp - Use the new test-dir API

lib: test-istream-seekable - Use the new test-dir API

lib: test-event-log - Use the new test-dir API

lib: test-path-util -  Use the new test-dir API

lib: test-file-create-locked - Use the new test-dir API

lib: test-file-create-locked - Use the new test-subprocess API

lib: test-file-cache - Use the new test-dir API

lib: test-cpu-limit - Use the new test-dir API

lib: test-buffer-istream - Use the new test-dir API

lib-test: Add support for temporary test directories

lib-test: test-common - Add test generic event

Use it to replace events created for some individual tests. Also replace the
event created by test-submission.

lib-test: test-subprocess - Move most signal and cleanup code to test-common for re-use

lib: safe-mkstemp - Add safe_mkstemp_dir*()

lib: safe-mkstemp - Split off safe_mkstemp_create()

imap: test-imap-client-hibernate - Rename test_init() to test_tmp_dir_init()

lib: test-path-util - Rename test_init() to test_path_util_init()

stats: test-stats-common - Rename test_init() to test_stats_init()

lib-test: Fix whitespace issues in test-subprocess.c

lib-sasl: fuzz-sasl-authentication - Limit the length of the passwords

For hashed algorithms, the password length could rise limitless, causing
fuzzer timeouts.

OSS-Fuzz report: 457240545

util: health-check.sh - Use a cleaner way to kill sleep

With the 6ee85b80857d241622a349aac47d51b70b27cc46 approach it introduced
errors like:

Error: ... Terminated { sleep $timeout; kill -3 $$ 2> /dev/null; }

config: Support config version 2.4.2

lib-sasl: sasl-server-mech-otp - Fix parsing of authid from initial client response

Before, it assumed this part to be nul-terminated, while it is not. Therefore,
it could read out-of-bounds memory, possibly crashing, which is wat became
apparent in the fuzzer.

The actual auth service code implicitly always provides a NUL termination
though, because the client response data comes via t_buffer_create() content
which always reserves +1 byte for NUL. Therefore, the auth service would not
have encountered this issue.

OSS-Fuzz report: 456423266

lib-sasl: server - Enforce absolute limit on the length of authid/authzid

OSS-Fuzz report: 455796070

lib-sasl: Enforce absolute limit on SASL message size for both client and server

This is a second layer of defence against abuse. The real limit enforced by the
auth service can be (is) smaller. Additionally, these limits will make sure the
fuzzer does not time out.

OSS-Fuzz report: 455796070

lib-regex: Remove LIBPCRE_LIBS from test dependencies

Was accidentically added in 49ae6e798310e5c4b96709db435a3714ea6468a8

lib: crc32 - Use zlib's built-in CRC32 function

Performance-wise, according to fastmail's crc32 test suite, this is 10x
faster than the previous code.

dovecot-sysreport: Add -D|--destdir support

This allows pointing a directory where to write files

lib-master: Split off master_service_can_idle_die()

lib-master: If SIGINT idle-kill is ignored due to handling a new client, make sure master status is notified

Master should have been notified usually, but it could have been an
unimportant notification that was ignored due to write() returning EAGAIN.

lib-master: If SIGINT idle-kill is ignored, make sure master sees the status update

If initial write() to master status pipe fails with EAGAIN, try to send it
when possible.

lib: Clarify io_loop_stop_delayed() comment

global: Remove default service/*/service_extra_groups=$SET:default_internal_group

This is no longer necessary now that mail_access_groups sets it.

config: Support versioned defaults for service settings

lib-storage: Change mail_access_groups default to $SET:default_internal_group

acl: vfile_object_modify_right() - Remove the whole identifier if it has no rights left

NEWS: Add news for 2.4.2

lib: Fix signedness in assert in time_to_uint32()

If time_t is signed and 32-bit, this can cause warnings.

lib-master: Fix pre-accept() handling for services with restart_request_count=1

Broken by 06045a9b2160229dcf78619f6208094843dfacd1

auth: test-mech - No mechanism is expected to log errors anymore in this test

auth: test-mech - The OTP mechanism no longer logs errors for client protocol violations

Yet, we forgot to amend this test. It only failed in Valgrind.

lib-storage: Don't try to mkdir root directory for unusable namespaces

The unusable namespaces are for nonexistent user shared namespaces.

doveadm: Add deleted to mailbox status

It is also added to the 'all' field

lib-storage: Add deleted mail count to dovecot.list.index

lib-storage: Add support for struct mailbox_status.deleted

lib-sasl: fuzz-sasl-authentication - Forgot to ignore token-based mechanisms for password validity check

OSS-Fuzz report: 454518406

lib-sasl: fuzz-sasl-authentication - Check validity of authentication success in separate function

lib-auth: auth-scram-client - Reduce maximum hash iterations in fuzzer to prevent timeout

OSS-Fuzz report: 454444201

doveadm: cmd_copy_alloc_source_user() - Fix crash on source user not existing

lib-ssl-iostream: Handle delayed handshake failure explicitly

The previous commit already fixed the busy loop bug, but errno=EINVAL is
better for the handshake failure than EPIPE.

lib-ssl-iostream: Fix potential busy loop when handshake has failed

If the stream is already destroyed, handshaking should return -1 as error
instead of "more data needed".

This fixes at least a potential busy loop when login-proxy tries to connect
to a remote server with mismatching SSL certificate name. It was timing
sensitive though, only seeming to happen when running with valgrind.

This code has been there since 9d0640616c30701bed286034840facfb386db90e

anvil: Fix memory leak when kicking clients

lib-storage: Sync "Time moved forward by" warning message with master process

master had "by", while lib-storage didn't.

imap: Fix memory leak when using STORE with keywords on an EXAMINEd mailbox