lib-sql: driver-sqlite - Handle permission errors when opening database

lib-sql: driver-sqlite - Handle memory allocation errors

global: Don't use ENUM_NEGATE() with non-enum variables

Fixes compiler warnings.

m4/dovecot.m4: Fix including all symbols from .a libs with new glibc

New glibc no longer has libdl, so the check for it no longer works.
Use -export-dynamic instead, which is used with both old and new glibc.

config: Add missing flags when linking

Remove accidentally committed list.txt

doveadm log errors: Show also errors from master process

master: Track the last 1000 errors in a buffer

This is the same as what the log process does. The master process errors
aren't sent to the log process though.

doveadm: Split off master_service_send_cmd()

doveadm log errors: Add microseconds to timestamp

log: Move log-error-buffer to lib-master

imap-acl: Check if ACL context is enabled for a namespace before accessing it

This will prevent a crash when accessing an ACL context from a user that
doesn't exist and return an appropriate NONEXISTENT message.

lib-smtp: unit tests - Use signals to ensure client doesn't start before server is ready

lib-smtp: smtp_server_connection_input() - Ensure output errors (and closure) are handled

This is especially critical while performing the DATA command.
The DATA (and AUTH) command use smtp_server_connection_reply_immediate()
from within the connection input handler. Without the new code, output
errors in that function are not caught and lead to the server to hang
if the connection is closed in the right moment.

lib-smtp: cmd_data_next() - Fix whitespaces

global: unit-tests - Extract TEST_SIGNALS_DEFAULT_TIMEOUT_MS constant

lib-http: test-http-client-errors - Add synchronization for test_run_dns() startup

lib-http: test_run_client_server() - Rearrange the reset/wait calls that sync test_run_server() startup

SECURITY.md: Update information

lib-http: server - Fix potential crash with previous change on client disconnect

Broken by 1418d1e9018fc34287722467c6ee506f3e378e1a

lib-storage: Cache all wanted fields whenever possible

doveadm fetch: Add mime.parts field

This is mainly useful for debugging/testing. It writes the internally
parsed message_parts which are usually in dovecot.index.cache.

lib-http: test-http-payload - Use ostream-final-trickle for server connections

lib-http: test-http-payload - Add filenames to data mismatch error messages

lib-test: Add ostream-final-trickle

lib: Add connection_vfuncs.init()

lib-http: server - Don't disconnect client before response is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: server - Don't disconnect client before payload is fully sent

lib-storage: Add mail_storage_service_input.unexpanded_set_parser

lib-storage: Write vsize record always for <4GB-1 mails

dict: Handle each dict iteration flush in separate data stack frame

cassandra: Handle each reply in a separate data stack frame

login-common: Use separate data stack frames when looping through clients

global: Avoid using data stack as memory pool for potentially large allocations

The previous usage wasn't really bad, since the memory was freed soon
enough. However, these make it more difficult to find when data stack
really is growing excessively.

virtual: Sync each backend mailbox in its own data stack frame

fts: Add data stack frames to reduce memory usage when parsing many MIME parts

fts: Call backend vfuncs in separate data stack frames

Add only to vfuncs that are run in loops.

fts: fts_user_language_init_tokenizers() - Add data stack frames

acl: mailbox list iteration - Add data stack frames for autocreated mailbox handling

A large number of autocreated mailboxes could have unnecessarily grown data
stack.

lmtp: Deliver each local mail in its own data stack frame

auth: Flush failed auth requests in their own data stack frames

dsync: Add data stack frame when importing mails

doveadm: Run command vfuncs in their own data stack frames

This slightly reduces memory usage by doveadm commands.

doveadm: Don't use data stack for permanent memory allocations in init()

Until now this didn't really matter, since callers weren't freeing the data
stack memory anyway. The following commit changes this though.

imapc: Add data stack frame when parsing untagged fetches during sync

imapc: Add data stack frame when parsing message headers

This makes sure the data stack memory usage won't grow too much while
parsing a large number of headers.

sdbox: Add data stack frame when syncing each file

This could have caused extra memory usage when altmoving lots of mails.

sdbox: saving - Add data stack frame when assigning UIDs for mails

Since each saved mail was already using memory, this wasn't causing much
extra memory usage.

lib-storage: Mailbox index list rebuild - Add mailboxes in separate data stack frames

lib-storage: Autoexpunge each mailbox in its own data stack frame

lib-storage: mail_search_args_simplify() - Add data stack frame

lib-storage: index_mail_get_raw_headers() - Don't use data stack for allocations

For some reason this was changed to data stack allocation in
53712af0e7f357e7279d9ff03831428aae85aa45. It looks accidental, since the
change wasn't described in the commit message. This didn't actually cause
any problems, since the callers duplicated the allocations from data_pool.

lib-storage: mail_event_create() - Free data stack allocations before returning

lib-storage: mail_expunge() - Move sending event inside data stack frame

Each call was using a bit more data stack due to this.

lib-storage: Add data stack frames when searching messages

This makes sure memory usage doesn't increase too much while searching a
large number of messages. A few of these data stack frames are likely
unnecessary, but it's better to be safe.

lib-storage: Add missing data stack frames to public API functions

lib-index: mail_index_update_keywords() - Add missing data stack frame

lib-index, global: mail_cache_register_get_list() - Allocate results from a new pool

The memory allocations can get large enough that it causes data stack to be
grown.

lib-index: mail_cache_purge_later() - Change reason string to format string

This way callers don't have to allocate the string from data stack, which
also simplifies reducing data stack usage in
mail_cache_header_fields_read().

lib-index: Add data stack frames

These functions are using data stack a bit unexpectedly. May help a bit
with memory usage, but likely not much.

lib-ssl-iostream: Don't duplicate strings passed to BIO_new_mem_buf()

It was originally done because BIO_new_mem_buf() didn't have a const pointer
parameter, but nowadays it does.

dict-sql: Don't return iterated values from data stack

This just causes data stack to grow while iterating. Use a memory pool
for the last returned value instead.

lib-dict: Add missing data stack frames to public API functions

lib-mail: message-[header-]parser - Call callbacks in their own data stack frames

This makes sure the data stack memory usage won't grow too much while
parsing a large number of headers.

lib-mail: istream-header-filter - Call callbacks in their own data stack frames

This makes sure the data stack memory usage won't grow too much while
parsing a large number of headers.

lib-http: Create new HTTP client connections in their own data stack frames

lib: libc backtrace_append() - Remove directory paths from binary names

The backtrace unnecessarily contained directory paths, causing the backtrace
to become excessively large just repeating the directories.

This change is only for libc backtrace, not for libunwind backtrace.

lib-fts: More fixes for address tokenizer to handle large input properly

lib: Add warning that timeval event field filtering is unimplemented

lib: Add string inequality warning to strlist fields in event filters

lib: Warn about event filter type mismatches between integer fields and wildcard values

lib: Warn about event filter type mismatches if comparing integer fields with strcmp flag

Reorder branches to preserve existing behavior.

lib: Warn about unsupported inequality string comparisons in event filters

lib: Remove unnecessary explicit initialization of event_filter_node's bool flags

ChangeLog: Stop generating ChangeLog

It is not very useful, you can get same information with
git commands anyways, and NEWS file contains more useful
information.

NEWS: Update news

lib-dcrypt: istream-decrypt - Do not attempt to get digest length after finalizing hmac context

This breaks with OpenSSL 3.0 because the internal context is free'd
after finalization.

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

m4: crypt_xpg6.m4 - Define _DEFAULT_SOURCE for current glibc

Current glibc no longer implements the CRYPT extension, so it does not
declare crypt in <unistd.h> in strict standard modes.  The check
defines _XOPEN_SOURCE, which enables one of these modes.  Defining
_DEFAULT_SOURCE as well again makes available the crypt function
prototype.

This avoids a configure check result change with compilers which do
not support implicit function declarations.

lib-index: Fix assert-crash when header's log_file_seq/offset shrinks

mail_index_sync_set_log_view() is also missing this check, but it doesn't
seem to actually happen. It's likely handled by mail_index_map() already.

Fixes:
Panic: file mail-transaction-log-view.c: line 165 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-dict: Improve handling of invalid replies for commits and lookups

Prevent dict_cmd_callback_error() calling the command's callback
recursively. This fixes a crash when dict-client received an invalid
reply on commit or lookup.

auth: Fix auth_request_password_verify() result handling

Pass the result directly to caller, as auth_request_password_verify()
returns passdb result already.

auth: Change auth_request_password_verify() to return enum passdb_result

This does not break anything, because PASSDB_RESULT_OK is 1 and mismatch
is 0.

lib-storage: Fix unnecessary data stack growth when iterating mailboxes

When listing mailbox list indexes, it was possible that each iteration
increased the data stack memory usage. It was all freed at the end though,
so this didn't cause any permanent leaks.

Broken by 4fdb040d2471c6e5006579bef1dd0586f89c8570

login-common: Get client certificate name only once

get_cert_username() already sets the username, so do not
get it again in different way here.

Broken 9296ff61b4044d6e1e5b5a65e9585c89517605fb

lib-ssl-iostream: Return NULL from ssl_iostream_get_security_string when not handshaked

lib-ssl-iostream: Add comment for ssl_iostream_get_server_name

lib-ssl-iostream: Add comment for ssl_iostream_get_compression

lib-ssl-iostream: Return NULL from ssl_iostream_get_peer_name when name not available

Broken in 59d268145378a7368f373b711cb53b3e48512659

lib-ssl-iostream: Use unsigned constants in JA3 code

Avoids promotion to signed integer. Fixes compiler warning
'comparison of integer expressions of different signedness'

Forgotten in 3ca8852ec531b83c86c30b890b7f0200cf86105a

fts-flatcurve: Close Xapian databases on deinit

fts-flatcurve: Fix segmentation fault if plugin is loaded but not enabled

Flatcurve's GitHUB PR #39

login-common: Add ssl_ja3 log element

auth: auth-request-var-expand - Add ssl_ja3_hash key

Expands into the JA3 value from lib-ssl-iostream if present

auth: auth-request-var-expand - Add ALIAS() macro to specify offset

This makes it much easier to add new aliases and new values
to the var expand table.

login-common: Include ssl3_ja3_hash from ssl connection

lib-auth: Send ssl_ja3_hash field

auth: Import ssl_ja3_hash field

lib-ssl-iostream: Add JA3 string

config: Warn about obsolete imapc features

global: Reverse imapc feature detection

Auto-enable a selected subset of imapc features and reverse the feature
flags.