auth: ldap - Avoid repeating error messages if iteration fails due to invalid settings

auth: ldap - Fix crash if users are iterated, but userdb_ldap_iterate_fields is not set

auth: Don't initialize cache key if caching is disabled for the userdb

auth: userdb.preinit() - Add userdb_parameters parameter

auth: Don't initialize cache key if caching is disabled for the passdb

auth: passdb.preinit() - Add passdb_parameters parameter

auth: Fix auth caching to work with passdb_ldap_bind_userdn

passdb_ldap_bind_userdn wasn't part of the cache key, so:
 * If no %variables were given in ldap_base or passdb_ldap_filter, startup
   failed with "Cache key must contain at least one variable"
 * If the same %variables were part of ldap_base or passdb_ldap_filter,
   it worked correctly.
 * If different %variables were part of ldap_base or passdb_ldap_filter,
   cached lookups may have returned wrong results.

auth: ldap - Add debug log when bind started/finished

configure: Quote abs_top_builddir in TEST_CFLAGS sufficiently

build-aux/run-test.sh.in: Export DOVECONF_PATH if it's set

m4: Set DOVECONF_PATH

If dovecot is not installed, it points to dovecot build location.

lib-master: Support executing doveconf with DOVECONF_PATH enviroment variable

This helps with e.g. Pigeonhole testing when Dovecot is not installed,
and doveconf is needed.

submission-login: Halt the handling of the AUTH commmand while the auth service is not connected

submission-login: Rename client->pending_auth to client->auth_cmd

login-common: client-common-auth - Assert that a new authentication does not occur when one is still running

login-common: Add notify_auth_connected() vfunc

This gets called when the auth service connection is restored after disconnect.

lib: test-path-util - Normalize cwd

Avoids unnecessary failure later on.

lib-test: Log error with top_test_dir

TEST_DIR is not used as mkdir parameter.

lib: unicode-transform - Avoid using constant artihmetic involving variables

This does not strictly conform to the C standard and can trigger compiler errors
for some systems.

config: Panic if default setting value differs between setting_parser_infos

submission-login: Fix setting the default submission_max_mail_size=unlimited

Pre-login default value is intended to be unlimited, while post-login
default value is 40 MB, unless overridden by the relay server.

The old code was relying on the default settings struct being different for
submission and submission-login, which was rather kludgy. This also wasn't
visible in doveconf output.

submission[-login]: If submission_max_mail_size=unlimited, advertise SIZE capability without a number

lib-smtp: smtp-server-connection - Fix reading remaining payload of failed (DATA) command

doveadm: dsync - Sync mailbox before updating mailbox metadata

Fixes highestmodseq increasing unnecessarily after sync.

doveadm: dsync - Log used search

This can be helpful in debugging

doveadm: dsync - Search exportable mails with SMALLER

This speeds up dsync with -I, especially over network connection.

doveadm: dsync - Fix -e parameter when used with dsync-server

It was set to sync_since_timestamp.

Broken in ee8294dbc7bb549557f6ba1264d66b55fbef69b6

doveadm: dsync - Search exportable mails with timestamps

This speeds up dsync with -t and -e, especially over network connection.

doveadm: dsync - Extract dsync_mailbox_import_init() arguments to a structure

It's easier to extend in future

doveadm: dsync - Extract dsync_mailbox_export_init() parameters to a structure

It's easier to extend in future

fts-flatcurve: Fix mailbox leak if it couldn't be opened

This could also result in a crash:
Panic: file mail-user.c: line 185 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

lib-var-expand: var-expand-parser - Add YYFPRINTF() wrapper

Useful if one needs to debug parser.

lib-var-expand: test-var-expand - Print more useful error if test->out is empty

lib-var-expand: Generate 8-bit flexer

This is needed for proper utf-8 support in future.

lib-var-expand: Add fuzzer for var_expand_program_create()

lib-var-expand: Fix list manipulation in make_new_program()

Fixes signal 11 crash when handling multiple chained programs like
hello%{}world.

lib-mail: test-istream-qp-decoder - Keep limit constant in get_encoding_size_diff()

Broken in e3b45a1e30c98dcf33bc79dc9370f1217eadc36a

lib-mail: Add more fuzzers

lib-mail: message-date - Add missing bounds checking

All current callers are guaranteed to pass input that is NUL-terminated.
In case of SEARCH SENT* commands the input comes from buffer_t, which is also
guaranteed to be NUL-terminated (although not necessarily immediately after the
input data).

Found by naoki-wa via yeswehack.

lib: Move cpu-limit test to its own test binary

This allows running it in parallel with the rest of the tests.

Makefile.test.include: Use "make check" tests in parallel

lib-program-client, lib-smtp: Move unit test runs to Makefile.test.include

These add NOCHILDREN_TESTS for some tests.

global: Move most unit test runs to Makefile.test.include

The special cases are changed by the next commit.

lib-sql: Makefile.am - Use test_programs instead of check_PROGRAMS variable

This makes it consistent with other unit tests.

lib-test: Give a clear panic if test_dir_init() call is missing

lib-storage, mail-crypt: test-mail* - Use the new test-dir API

mail-crypt's test-mail-key also uses test-mail-storage-common API, so it
now needs the test_dir_init() call.

lib-http, lib-smtp: test-*-payload - Skip files created by make check

These may change during "make check", breaking the test.

config: Fail if trying to give section name for strlist or boollist setting

For example this should fail:

mail_plugins foo {
}

config: Fail if trying to use non-strlist and non-boollist setting as a section

For example this was silently ignored:

mail_driver {
}

doveadm: dsync_remote_cmd setting - Remove obsolete -U parameter

This was forgotten to be removed in 4c04e4c30fd4817a8b0e11d04d9681173f696f41

lazy-expunge: Change lazy_expunge_only_last_instance default to yes

lib-compression: test-compression - Use the new test-dir API

lib-index: test-mail-index-write - Use the new test-dir API

lib-http: test-http-payload - Use the new test-dir API

lib-smtp: test-smtp-payload - Use the new test-dir API

lib-smtp: test-smtp-submit - Use the new test-dir API

lib-program-client: test-program-client-* - Use the new test-dir API

lib-index: test-mail-{index,cache} - Use the new test-dir API

lib-imap-client: test-imapc-client - Use the new test-dir API

lib-fs: test-fs-posix - Use the new test-dir API

imap: test-imap-client-hibernate - Use the new test-dir API

config: test-config-parser - Use the new test-dir API

lib-json: test-json-istream - Use the new test-dir API

lib: test-ostream-file - Use the new test-dir API

lib: test-iostream-temp - Use the new test-dir API

lib: test-istream-seekable - Use the new test-dir API

lib: test-event-log - Use the new test-dir API

lib: test-path-util -  Use the new test-dir API

lib: test-file-create-locked - Use the new test-dir API

lib: test-file-create-locked - Use the new test-subprocess API

lib: test-file-cache - Use the new test-dir API

lib: test-cpu-limit - Use the new test-dir API

lib: test-buffer-istream - Use the new test-dir API

lib-test: Add support for temporary test directories

lib-test: test-common - Add test generic event

Use it to replace events created for some individual tests. Also replace the
event created by test-submission.

lib-test: test-subprocess - Move most signal and cleanup code to test-common for re-use

lib: safe-mkstemp - Add safe_mkstemp_dir*()

lib: safe-mkstemp - Split off safe_mkstemp_create()

imap: test-imap-client-hibernate - Rename test_init() to test_tmp_dir_init()

lib: test-path-util - Rename test_init() to test_path_util_init()

stats: test-stats-common - Rename test_init() to test_stats_init()

lib-test: Fix whitespace issues in test-subprocess.c

lib-sasl: fuzz-sasl-authentication - Limit the length of the passwords

For hashed algorithms, the password length could rise limitless, causing
fuzzer timeouts.

OSS-Fuzz report: 457240545

util: health-check.sh - Use a cleaner way to kill sleep

With the 6ee85b80857d241622a349aac47d51b70b27cc46 approach it introduced
errors like:

Error: ... Terminated { sleep $timeout; kill -3 $$ 2> /dev/null; }

config: Support config version 2.4.2

lib-sasl: sasl-server-mech-otp - Fix parsing of authid from initial client response

Before, it assumed this part to be nul-terminated, while it is not. Therefore,
it could read out-of-bounds memory, possibly crashing, which is wat became
apparent in the fuzzer.

The actual auth service code implicitly always provides a NUL termination
though, because the client response data comes via t_buffer_create() content
which always reserves +1 byte for NUL. Therefore, the auth service would not
have encountered this issue.

OSS-Fuzz report: 456423266

lib-sasl: server - Enforce absolute limit on the length of authid/authzid

OSS-Fuzz report: 455796070

lib-sasl: Enforce absolute limit on SASL message size for both client and server

This is a second layer of defence against abuse. The real limit enforced by the
auth service can be (is) smaller. Additionally, these limits will make sure the
fuzzer does not time out.

OSS-Fuzz report: 455796070

lib-regex: Remove LIBPCRE_LIBS from test dependencies

Was accidentically added in 49ae6e798310e5c4b96709db435a3714ea6468a8

lib: crc32 - Use zlib's built-in CRC32 function

Performance-wise, according to fastmail's crc32 test suite, this is 10x
faster than the previous code.

dovecot-sysreport: Add -D|--destdir support

This allows pointing a directory where to write files

lib-master: Split off master_service_can_idle_die()

lib-master: If SIGINT idle-kill is ignored due to handling a new client, make sure master status is notified

Master should have been notified usually, but it could have been an
unimportant notification that was ignored due to write() returning EAGAIN.

lib-master: If SIGINT idle-kill is ignored, make sure master sees the status update

If initial write() to master status pipe fails with EAGAIN, try to send it
when possible.

lib: Clarify io_loop_stop_delayed() comment

global: Remove default service/*/service_extra_groups=$SET:default_internal_group

This is no longer necessary now that mail_access_groups sets it.

config: Support versioned defaults for service settings

lib-storage: Change mail_access_groups default to $SET:default_internal_group

acl: vfile_object_modify_right() - Remove the whole identifier if it has no rights left

NEWS: Add news for 2.4.2