lib-sql: cassandra - Add data stack frame

lib-fs: Add fs_get_root_fs()

doveadm auth: Fix potential crash when auth is aborted with a signal

dict-ldap: Avoid linking to a dovecot-ldap shared library

The dict-ldap itself is the plugin, which is dynamically loaded.
There's no need for dovecot-ldap shared library to be used. This
changes the lib-ldap linking behavior to same as lib-sql.

lib-dns: dnc_client_lookup*() - Add data stack frames

doveadm: Use a separate memory pool for parsing doveadm command line parameters

This avoids spending a lot of the data stack for the actual command
processing, causing them to grow the data stack.

doc: Replace html documentation with redirect to documentation

NEWS: Add news for 2.3.21.1

lib-http: Add http_client_request_retrieve_headers()

lib-sql: Link test binaries to libdovecot.la

Otherwise it tries to use installed one, if available.

configure: Use $SED and $GREP to make sure we get correct tools

imap: Don't try to hibernate if it's not enabled

imap-hibernate: If not enabled, do not include in settings either

net: net_connect_ip*() - Handle OpenBSD errors similarly to FreeBSD

auth: Replace random() with proper i_rand_minmax()

dsync: Use correct format for time_t in dsync_brain_recv_mailbox_tree_deletes()

configure: Split grep into multiple -e expressions

This is more portable.

lib-ssl-iostream,lib-dcrypt: Raise minimum OpenSSL compatibility level to 1.1.1

But retain compatibility with LibreSSL.

lib: mkdir_parents() - Avoid unnecessary syscalls when uid/gid doesn't change

There's no need to open() + fchown() the directory after mkdir(), if neither
uid nor gid changes.

lib-settings: Fix variable type mismatches

Just use size_t everywhere since it points to mmap()ed memory.

auth: Fix userdb auth cache with username changes

The problem was for example when userdb lookup uses only the username part
of the username@domain lookup. Then:

 * "username" lookup caches the results for "username". Since the username
   didn't change, it doesn't store in the cache the "user" field.
 * "username@domain" lookup looks up "username" from cache. Since there is
   no "user" field, the code didn't think the username had changed.

Fix this by saving the "user" field to auth cache, regardless of whether
it's the same as the current username.

mdbox: Fix crash if resync fails because of an early failure

This mainly happened if dovecot.map.index.log was locked and resync timed
out waiting for it.

lib-lua: test-lua-http-client - Prevent HTTP client context from traversing fork

The children will start fighting over the connection FDs and the test will
panic out:

DNS: Panic: epoll_ctl(mod, 8) failed: No such file or directory
CLIENT: Panic: epoll_ctl(mod, 8) failed: No such file or directory

This happens very infrequently.

configure.ac: Fix generating DOVECOT_CONFIG_VERSION

configure.ac, config: Change supported config versions to work based on PACKAGE_VERSION

For git this means 0.0.0, but the supported versions still include hardcoded
2.4.0 / 3.0.0, which can be used.

lib-lua: Fix lua library dependencies when building --without-shared-libs

Linking against libdlua didn't automatically link with liblua, causing
lua plugin loading to fail.

lib: istream-concat - Fix potential hang when reaching max buffer size

imap: Fix potential hang when client sends too long line

imap: Fix potential hang when client sends too long APPEND line

imap: Fix potential hang/assert-crash when client sends too long line

If client sent some commands pipelined, followed by a command with too long
line, the previous commands' tagged replies weren't sent. This caused it to
hang until more input was received. After that it crashed.

Fixes:
Panic: file imap-client.c: line 1098 (client_check_command_hangs): assertion failed: (!have_wait_unfinished || unfinished_count > 0)

lib-smtp: Fix UTF-8 local-parts

configure: Explicitly check for icu-uc

Ensure we link against libicu-uc when it's split in v76.

lib-index: Fix potential crash after resetting index

The log's sync_offset wasn't updated after the reset if there were no other
changes. This ended up in a broken state in
mail_transaction_log_append_locked() where it thought there was garbage at
the end of the transaction log, and crashed trying to truncate it.

imapc: If a shared namespace INBOX is listed as \Noselect enforce it

In specific configurations a shared namespace INBOX is listed as
\Noselect
* LIST (\HasChildren) "/" shared/user
* LIST (\HasChildren \Noselect) "/" shared/user/INBOX

This is fixed by adding this extra check.

dsync: Fix potential crash when handling mailbox renames

Fixes:
Panic: file dsync-mailbox-tree-sync.c: line 575 (node_mailbox_trees_cmp): assertion failed: (ret != 0)

lib-storage: Mailbox list rebuild - avoid opening mailbox on recovery name collision

If recovered-lost-folder-$guid already unexpectedly exists, there's no need
to open it (at this point) to try to recover its name. This didn't really harm
anything, so it mainly fixes the code logic to make sense.

imap: Fix potential hang/crash when unhibernating

This fixes two potential bugs:

a) Unhibernation is triggered by new mailbox changes. While sending these
to IMAP client, Dovecot notices that the client has disconnected. The
process will stay IDLEing for 30 minutes until it gets disconnected with
"Disconnected: Inactivity - no input for 1800 secs"

b) Unhibernation is triggered by DONE command with some further pipelined
commands. During unhibernation new mailbox changes are noticed, and
again IMAP client is found to be disconnected while sending the changes.
This causes a segfault.

doveadm: doveadm-print-json - Prevent crash on subsequent user prints

Move closing the final json array delimiter to the deinitialization
routine instead of on flush.

lib-dcrypt: Ensure bd is not used uninitialized in store_jwk_key()

Makefile: Fix LIBDOVECOT_OPENSSL for installed dovecot-config file

lib-http, lib-smtp: unit tests - Make sure expected DNS lookup failures will fail

Use ".invalid" suffix just to be safe. More importantly, use a trailing
dot to disable search domains.

doc: Remove strict library version requirement from solr-config-9.xml

doc: Use solr.install.dir in solr-config-9.xml

Removes hardcoded path

lib: test_hash - Reduce loop counts with valgrind to save time

lib: test_hash - Add missing test_begin()/test_end()

lib: istream-multiplex tests - Reduce loop counts with valgrind to save time

lib: base64 tests - Reduce loop counts with valgrind to save time

lib: test-hash-method - Skip "large input" test with valgrind to save time

run-test-valgrind.supp: Add leak suppression for fatal_ostream_file test

The test is supposed to panic while destroying ostream, so there's no way to
prevent the leak.

auth: Fix typo in ssl_ja3_hash field name

Fixes passing ssl_ja3_hash to a blocking passdb

Broken in 70baf893e85222d071d21cdd5ead546a905d477a

lib: test-ostream-file - Make sure lack of error handling panics

lib: o_stream_close() - Don't reset error checking on automatic flush

Otherwise it will be difficult to find missing o_stream_flush() calls.
The missing error handling would be found only when the flushing fails,
which would result in assert-crash.

This is how the code was originally intended to behave. Broken by
5ec4fc44e8d4e2160f07b1a7f4fce1ccfec3f6c1

imap: Ignore error handling for side channel output

lib-index: Ignore ostream errors when cache purging is aborted due to file too large

lib-smtp: test-smtp-client-errors - Add missing ostream finish

mbox: Fix ostream error handling in mbox_move()

o_stream_nsend_send_istream() needs to be followed by o_stream_flush().
It also detects the istream error.

virtual: Fix copying storage error on mail_precache() failure

fts: Don't ignore parent mail_precache() failure

dovecot.service.in: Add time-sync.target dependency

This way Dovecot won't be started before time has been synchronized.
systemd-time-wait-sync.service also needs to be enabled.

doc: Fix cp usage to be more portable when installing html docs

lib-dcrypt: Replace safe_memset() with buffer_clear_safe() for buffers

mail-crypt: Fix detecting chacha20-poly1305 in algorithm

lib-dcrypt: iostream - Support using same cipher algorithm for key encryption

lib-oauth2: Link dcrypt-openssl directly to unit test

This fixes an issue with runtime linking:
Error: No functional dcrypt backend found - skipping some tests:
Couldn't load required plugin libdcrypt_openssl.so: dlopen() failed:
libssl_iostream_openssl.so: undefined symbol: connection_is_valid_dns_name

lib-dcrypt: Build libdcrypt_openssl_static.la

lib-dcrypt: dcrypt-private.h - Fix dependencies when including directly

lib: Avoid wrongly thinking time moved forwards for larger ioloop wait times

lib: istream-failure-at - Never set readable_fd

Otherwise o_stream_send_istream() could bypass istream-failure-at's read()
by using sendfile().

lib-program-client: test-program-client-unix - Change to NULL initialization

This makes scan-build happy.

login-common, imap-login: Add proxy_no_multiplex passdb extra field

configure: Fix LIBDOVECOT_LUA for static builds

lib-lua: Build also libdlua.la

This can be used for static linking.

global: Makefile.am - Use LIBDOVECOT* variables where possible

It behaves differently when using static linking.

lib-dict-backend: Makefile.am - Use BUILT_SOURCES instead of rm in distclean hook

dovecot-config: Add LIBDOVECOT_OPENSSL[_DEPS]

This is usable only when linking statically.

This change also removes LIBDOVECOT_SSL[_DEPS], which weren't used for anything.

stats: Change discrete modifiers to be %variables

%{value} and %{domain} variables can be used.

stats: Fix group_by discrete modifiers to actually work

stats: Move label_by_mod_str()

pop3: Logout format specifier 'u' is always empty

Due to mistake in var_get_key() invocation, if 'u' key is used
the value is never populated. Call var_get_get_key() with correct
short char.

Broken in acfda38b75d0f0e899ef692fef01593bd56ed85e

configure.ac: Fix wrong capability name

lib-http: Move conn_type default value to switch block

lib-program-client: Change to NULL initialization in test_program_input()

var-expand-crypt: Change to NULL initialization

Found by static analysis

lib-dcrypt: Ensure pkey is loaded from point or bn

dovecot-config: Add DOVECOT_PRO_BUILD variable

configure: Use https for support URL

configure: Fix asset URL to be version specific

lib-dict: dict_have_async_operations() - Ignore non-committed transactions

If the transaction isn't committed, it can't be waited on.

lib: events - Fix negative integer fields

lib-lua: http - Fix parent_event setting

Broken by 85449f6a6cf3f0df1d63728ab107413436595b49

lib-lua: dlua_check_event() - Fix calling with negative arg

lib-sql: cassandra - Remove ssl_verify=cert-dns

This has been deprecated by Cassandra, because it's vulnerable to MITM
attacks.

lib: ostream-file - Fix writing over IOV_MAX iovecs at a time

The output offset became wrong, which either corrupted the written file, or
caused lseek() errors for non-seekable output streams.

This was likely a visible problem only with ostream-dot, used by doveadm
proxying and lib-smtp.

doveadm: auth test/login - Print internal failures to stderr

doveadm: auth test/login - Return EX_TEMPFAIL on internal failures

Previously EX_NOPERM was returned, which was the same as for invalid
passwords.

auth: Add auth_internal_failure_delay setting

When >0, delay before sending "internal failure" replies to auth clients.
The idea is to prevent clients from hammering the server with immediate
retries. Also, a random 0..50% extra delay is added on top of this delay
to try to prevent thundering herd issues.

auth: auth_request_handle_passdb_callback() - Change return type to int

This is needed by the next commit.

lib-imap-client: Fix IDLE timeout leak / crash

login-commmon: Add connection_limit reason for login_aborted

When mail_max_userip_connections is reached, log it with connection_limit
reason rather than internal_failure.

lib-smtp: Replace "Aborted login by logging out" with "Logged out"

Similar to the login-common change, this also now shows up in logs as:
"Login aborted: Logged out"