fts: Correctly handle internal http-client response errors

Previously, only server triggered 5xx errors would cause a retry. However,
there are multiple categories of errors from http-client that should
also cause a retry (9xxx errors).

e.g., setting Tika to restart after every processed file can easily
cause either 9003 (connect failed) or 9005 (connection_lost) errors, which
is a temporary condition.

fts: Don't send request to Tika if there is no body text

Nothing to parse, so waste of network RT, and Tika will log error anyway

lib-var-expand-crypt: Check that hex decoding actually succeeds

Found by Aurelien DESBRIERES <aurelien@hackers.camp>

lib-var-expand-crypt: Fix invalid cipher test

lib-var-expand-crypt: Fix error matching in tests

lib-sql: sqlite - Apply sqlite_journal_mode via PRAGMA

The sqlite_journal_mode setting was never actually applied to the
database. The code added SQLITE_OPEN_WAL to sqlite3_open_v2() flags,
but that flag is documented as VFS-internal and has no effect on the
journal mode of the database.

Issue a 'PRAGMA journal_mode = <mode>' statement after connecting so
the setting takes effect. Without this, databases remained in the
default rollback journal mode, where readers block on writers and
writers block on readers, causing spurious 'database is locked'
failures under concurrency.

lib-storage: Auto-rename non-NFC subscription file entries to NFC on read

Mailbox listing already auto-renames non-NFC mailbox names to NFC form
during iteration. Apply the same treatment to the subscription file:
when mailbox_list_subscriptions_refresh reads a subscription whose name
is not in NFC form, insert the NFC version into the in-memory
subscription tree and rewrite the file on disk to use the NFC name.

The rewrite first adds the NFC subscription and then removes the
non-NFC one, so a crash between the two leaves the subscription intact
under the old name and the next refresh retries. If either subsfile
operation fails, log the error and stop processing further renames.

lib-storage: Remove unnecessary duplicate data stack frame

lib-storage: Normalize subscription name to NFC in mailbox_list_set_subscribed

When mailbox_list_normalize_names_to_nfc is enabled, normalize the
subscription name to NFC before passing it to the backend. Ensures that
subscribe/unsubscribe operations on non-NFC mailbox names hit the same
entry as the NFC name, matching the existing NFC handling for mailbox
listing.

login-proxy: Fix crash with rawlog and multiplexing during reconnection

If login_proxy_rawlog_dir was enabled, reconnection (especially with
immediate SSL like SMTPS) caused a panic in proxy_rawlog_deinit().
login_proxy_disconnect() destroyed server_input directly, leaving
rawlog_input/rawlog_output pointing to freed streams. On reconnect the
new server_input no longer matched rawlog_input, tripping the
assertions in proxy_rawlog_deinit().

Fix this by having login_proxy_disconnect() tear down the stream chain
(multiplex + rawlog) properly before destroying server_input, and by
clearing pre_rawlog_input/output in proxy_rawlog_deinit().

Also reorder login_proxy_starttls() so multiplex is removed before
rawlog. Multiplex sits on top of rawlog, so rawlog_deinit()'s
server_input == rawlog_input assertion requires multiplex to be gone
first.

proxy_multiplex_deinit() gains a NULL check so it is safe to call
unconditionally from login_proxy_disconnect().

login-proxy: Extract proxy_multiplex_deinit()

The same multiplex teardown was inlined in login_proxy_starttls() and
login_proxy_detach(). Extract it into a helper. No functional change.

lib: Fix truncation of long log messages with event_set_log_message_callback()

event_get_log_message() cached a pointer from str_c(glmctx->log_prefix)
at the top of the function, then kept appending to the same string_t
buffer via str_vprintfa() / str_append(). When the appended data
exceeded the buffer's current allocation, the buffer was reallocated
and the cached pointer was left pointing at the old (truncated) copy.

The stale pointer was then passed to the log_message_callback as
in_message, and also used in the equality check that decides whether
the callback returned its input buffer.

Fix by calling str_c() after each mutation so the pointer always
reflects the current buffer.

lib, global: iostream_rawlog_create*() - Add event and setting name parameters

Log errors using the event. Also if creation failed due to directory not
existing or not writable, log a debug event.

lib: ostream-multiplex - Take ownership of parent cork across wrap/unwrap

The multiplex's interaction with the parent ostream's cork was loose:
the channel send paths corked the parent on demand and the trailing
o_stream_multiplex_sendv() blindly uncorked it, even when the cork
had been put there by someone outside the multiplex. That made it
ambiguous who owns the parent's cork while a multiplex is wrapping
it, and easy for a caller to leave the parent corked across a wrap
or to cork it directly through the wrapped pointer and have the
multiplex undo it.

Take ownership explicitly:

 - A new parent_corked bit tracks the cork state the multiplex
   itself has set on the parent. multiplex_cork_parent() asserts
   that the observed cork matches the tracked state on every
   transition, catching any caller that corks/uncorks the parent
   behind the multiplex's back. After the o_stream_(un)cork() call
   it re-reads o_stream_is_corked() so a no-op on a closed/errored
   stream stays consistent with the tracker.
 - The send_packet()/send_stream() transient cork and the matching
   uncork at the tail of o_stream_multiplex_sendv() now go through
   the helper.
 - stream_send_io() in ostream-file.c corks the parent around the
   flush callback, which is the only legal external cork. Undo it
   on entry to o_stream_multiplex_flush() so the invariant
   (parent_corked reflects reality) holds everywhere else.

Transfer the parent's cork across wrap/unwrap. At wrap time, if the
parent is corked, move the cork onto channel 0 - from the caller's
point of view nothing changed, the ostream they got back is corked
and a later o_stream_uncork() on it stays balanced. At destroy time
do the reverse: if channel 0 is corked when it goes away, re-cork
the parent in o_stream_multiplex_try_destroy() before releasing the
multiplex's reference, so a caller still holding the parent ostream
sees the cork preserved.

The transfer cannot go through o_stream_(un)cork(): o_stream_uncork()
flushes data already buffered in the parent (ostream-file.c
buffer_flush(), default cork's o_stream_flush()), which would defeat
the transparency of the transfer - the caller wrapped a corked parent
and expects its buffered bytes to stay buffered until they uncork
channel 0. multiplex_transfer_parent_cork() bypasses the public API
and writes the corked bit directly, asserting first that the parent
is in the expected state and is neither closed nor errored. The
destroy direction uses the same helper for symmetry.

The flush-callback invariant (parent_corked tracks reality) is kept:
the cork is moved off the parent during create, and back on as the
last step of try_destroy() when the multiplex no longer manipulates
the parent.

Adds unit tests covering both transfer directions and the
buffered-parent case that the direct-bit transfer protects against.

lib-event: Add event_register_callback_prepend()

A plugin that wants to annotate outgoing events with extra fields has
no good way to get in front of the stats client today. The stats
client registers its event callback in master_service_init(), well
before any module is loaded, and event_register_callback() always
appends - so a plugin's own callback runs after the stats client has
already exported the event.

Add event_register_callback_prepend() for callers that need to run
first. Implementation is a one-line array_push_front() against the
same event_handlers array.

lib-sasl: Test malformed input

lib-sasl: sasl-server-mech-oauth2 - Fix one byte out of bounds read

This could cause a segfault, but so far this was only spotted by an address
sanitizer.

lib: iostream_fd_unref() - NULL out the pointer like other unref APIs

iostream_fd_unref() takes a pointer-to-pointer argument but did not
set *_ref to NULL after unreferencing. This left fstream->fd_ref in
both file_istream and file_ostream dangling after close, which made
the fstream->fd_ref != NULL guard in stream_closed() and
i_stream_file_close() ineffective if either function was called more
than once on the same stream. A second call would dereference freed
memory, either hitting the refcount > 0 assertion or corrupting the
heap (detected later as a malloc crash).

Observed in managesieve-login during SSL proxying when the post-login
managesieve process crashed shortly after starting: the iostream_fd
shared between the socketpair istream and ostream got double-unrefed
through iostream_fd_proxy_finished() -> iostream_proxy_unref() ->
iostream_pump_unref() -> o_stream_unref().

Fixes:
Panic: file iostream.c: line 28 (iostream_fd_unref): assertion failed: (ref->refcount > 0)

lib-sql: Link libsql.la with SSL if cassandra is not plugin

config: Add __weak__ to rest of the structs too

lib-sql: cassandra - Suppress libcrypto's atexit handler

libcassandra initializes libcrypto lazily on first SSL use.  In processes
that do not load lib-ssl-iostream (e.g. dict-async with a cassandra SSL
dict backend), nobody else passes OPENSSL_INIT_NO_ATEXIT first, so
libcrypto registers atexit(OPENSSL_cleanup).

That handler runs after main() returns, which is after Dovecot has
dlclose()d libdriver_cassandra.so and its libcassandra dependency.
OPENSSL_cleanup() then walks per-thread OpenSSL state holding method
pointers into unmapped libcassandra/libuv code, crashing the process at
exit.

Call OPENSSL_init_crypto(OPENSSL_INIT_NO_ATEXIT, NULL) from
driver_cassandra_init() so that even in minimal processes where
dovecot_openssl_common_global_ref() is never called, libcrypto's unsafe
atexit handler is suppressed.  The per-process OpenSSL state is leaked at
exit, which is harmless as the kernel reclaims it.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

lib-ssl-iostream: Pass OPENSSL_INIT_NO_ATEXIT to OPENSSL_init_ssl()

Prevent libcrypto from registering its own atexit() handler.  libcrypto's
handler runs after main() returns, which is after Dovecot has dlclose()d
plugins that may have registered OpenSSL callbacks (e.g. libcassandra).
Accessing those unmapped code pages from OPENSSL_cleanup() crashes the
process at exit.

Dovecot already calls OPENSSL_cleanup() explicitly via
dovecot_openssl_common_global_unref() while the relevant modules are still
loaded, so libcrypto's own atexit handler was redundant and unsafe.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

lib-dcrypt: Validate hex_to_binary() return in key loading paths

Check return value of hex_to_binary() at all call sites that process
untrusted key material. Previously ignored return value meant invalid
hex input (non-hex characters) would silently produce truncated buffers
rather than an explicit error.

lib-dcrypt: Limit key lengths and replace VLA with dynamic buffer

Reject oversized key material early to prevent large datastack/buffer
allocations from untrusted input. DCRYPT_MAX_KEY_BUFFER_SIZE = 16 KB
for raw keys, x2 for hex-encoded fields, x4 for JWK/PEM.

Replace VLA (unsigned char keybuf[keylen]) in
dcrypt_openssl_load_public_key_dovecot_v2() with a pool_datastack_create()
buffer to avoid potential stack overflow.

mail-crypt: Use crypt_settings_to_flags()

Fixes crash in mail crypt plugin when HMAC based algorithm
is used.

Also fixes that ChaCha20-Poly1305 will use AEAD instead of HMAC.

mail-crypt: Add crypt_settings_to_flags()

Returns correct flags for given settings.

lib-index: Fix dangling index->map pointer when fsck fails in mail_index_map_latest_file()

If mail_index_fsck() returns -1 (e.g. log lock failure), index->map was
left pointing at new_map. The subsequent mail_index_unmap(&new_map) freed
that object, leaving index->map as a dangling pointer.

Fix by restoring index->map = old_map before breaking on fsck error,
mirroring what the success path already does.

quota: quota-status - Limit input buffer size to 1 kB

This should be more than enough.

auth: ldap - Fix escaping 0x13 control character

Broken by 74a6f1612e7732026e69e8d8489291842df68589

config: Add __attribute__((weak)) to global variable definitions in all-settings.c

all-settings.c copies global variable definitions (e.g. mail_storage_default_settings,
setting_parser_info structs) verbatim from plugin settings files. The same symbols
are also compiled into the plugin .so files. When doveconf dlopen()'s a plugin at
runtime, ASAN detects duplicate definitions and reports an ODR violation.

Fix by injecting __attribute__((weak)) on these definitions as settings-get.pl
generates all-settings.c. ASAN doesn't flag weak+strong as an ODR violation, and
the strong definition from the .so correctly takes precedence at runtime. Static
symbols are excluded since Clang rejects __attribute__((weak)) on internal-linkage
declarations.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

lib-language: Fix compiler warning when building without libicu

lib: Fix unsigned underflow in buffer_check_limits() bounds check

When pos > buf->max_size, the unsigned subtraction buf->max_size - pos
wraps to a large value instead of triggering the panic. Add an explicit
check before the subtraction so out-of-range positions are caught.

This does not affect buffers created with buffer_create_dynamic(), which
use max_size == SIZE_MAX.

Also add an i_assert in buffer_check_append_limits() to verify the
invariant that used <= writable_size.

lib-sql: cassandra - Fix reusing Cassandra SSL connections

Cassandra SSL settings were compared wrong. This could have caused it to keep
creating new Cassandra connections instead of reusing existing ones.

fts: tika - Fix use-after-free crash during DNS lookup

This is a similar fix as 3d0aea564e7f3d0763c290f0bc86c9483cb6dab7 for
fts-solr.

lib-ldap: Don't use OpenLDAP default CA if either ssl_client_ca_dir/file is set

lib-ldap: Use default ldap settings if not overridden by Dovecot config

This fixes e.g. using system default CAs.

lib-ldap: Add ldap_init_defaults()

lib-ldap: Require LDAP_OPT_X_TLS_NEWCTX to exist

It's unclear what the behavior will be if it's not supported.
Better to fail at compiling.

imap: cmd-append - Fix assertion panic occurring upon invalid 'REPLACE 0' command

Panic was:
Panic: file mail-cache-lookup.c: line 354 (mail_cache_field_exists): assertion failed: (seq > 0)

imap: cmd-append - Properly consume message literal for invalid REPLACE message sequence

fts-solr: Fix use-after-free crash during DNS lookup

The solr_http_client singleton outlived the user session that created
it. Its event chain held a ref on the mail_storage_service_user event,
keeping it alive after the user was freed. The SETTINGS_EVENT_INSTANCE on
that event still pointed to the already-freed settings_instance. On the
next user session, dns_lookup() walked the stale event chain and
dereferenced the dangling pointer in settings_instance_get().

Fix this by using a shorter lived HTTP client.

lib-http: Calculate "other ioloop" statistics also when request wasn't sent

lib-http: Count lock and ioloop wait statistics beginning when request is queued

Previously they were counted only after the request was sent. However,
it's important to also know where time is spent while the request is still
queued.

This also fixes wrong output for lock wait statistics when the request
was never sent (e.g. DNS lookup failure).

lib-master, master: Fix inet_listener_reuse_port=yes handling

This only works properly if the listener sockets don't change and
there is always a process listening on each of the sockets.

Now master process creates the reuse_port=yes listeners for all of the
processes at startup (up to process_limit). Each child process inherits
exactly one unique listener socket based on its assigned process index.

Since with reuse_port=yes connections are assigned to a specific socket,
processes can no longer rely on other processes picking up connections when
they are full. Instead, each process is now responsible for rejecting
connections when they reach client_limit.

master: Add checks to services with inet_listener_reuse_port=yes

 * They must have process_min_avail = process_limit
 * All or none of the inet_listeners must have reuse_port=yes

Otherwise reuse_port=yes doesn't work very well.

lib-master, master: Replace inet_listener_reuse_port with service_reuse_port

All inet_listeners require the same value for reuse_port, so it's better to
be a service setting.

pop3: Fix memory leak when using DELE+RSET+DELE

This fixes a leak where calls to delete -> reset -> delete would leak memory because the
client->deleted flag is checked but the state of the client->deleted_bitmask isn't.

This removes client->deleted and uses the bitmask as a marker instead.

lmtp: Add back service_extra_groups=$SET:default_internal_group

Reverts 8ec25c24db9f1ad9be437ef266688272686daf42 for lmtp.

plugins/push-notification: push-notification-driver-ox - Remove trailing whitespace

plugins/push-notification: push-notification-driver-ox - Restore default http-client settings

This was dropped with the config-rewrite conversion.

plugins/push-notification: push-notification-driver-ox - Use settings_event_add_filter_name()

plugins/push-notification: push-notification-driver-lua - Use settings_event_add_filter_name()

plugins/push-notification: push-notification-driver-dlog - Add filter name for dlog driver

This makes this push notification driver work the same as the ox and lua ones.

plugins/quota: Use settings_event_add_filter_name()

auth: Use timing safe comparison for certificate and public key fingerprint

lmtp: lmtp-proxy - Make passdb lookup for recipient redirect asynchronous

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_redirect_relookup_cb() from lmtp_proxy_rcpt_redirect_relookup()

This is not an actual callback yet.

lmtp: lmtp-proxy - Rename variable "ret" to "result" in lmtp_proxy_rcpt_redirect_relookup()

lmtp: lmtp-proxy - Make normal passdb lookup for recipient asynchronous

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_user_lookup_cb() from lmtp_proxy_rcpt()

This is not an actual callback yet.

lmtp: lmtp-proxy - Drop orig_username variable in lmtp_proxy_rcpt()

lmtp: lmtp-proxy - Rename variable "ret" to "result" in lmtp_proxy_rcpt()

lmtp: Make RCPT command implementation suitable for asynchronous lookups

lib-smtp: smtp-server - Make smtp_server_command_ref/unref() public

lib-smtp: smtp-client-connection - Make sure all ioloop objects are created on the connection's ioloop

lib-dns-client: dns-lookup - Allow performing lookups on a specific ioloop

lib: connection - Retain pre-initialized ioloop

lib-auth-client: auth-master - Prevent hangs and crashes when lookups are nested

lmtp: Add debug log message indicating which backend will serve the recipient

lib-smtp: smtp-server-recipient - Add debug logging for submitted RCPT reply

lib-smtp: smtp-server-recipient - Add recipient index to event log once recipient is accepted

lib-smtp: smtp-server-recipient - Use public recipient struct as smtp_server_recipient_update_event() parameter

lib-smtp: smtp-server-reply - Fix presence of dash in smtp_server_reply_write_one_line() output

lib-smtp: Reformat smtp-server-reply.c

indexer-worker: Drop root privileges permanently

indexer-worker: Change default restart_request_count

For Pro, use default 1000 like with imap/pop3/etc processes.

For CE, use default 1 so that it works with multiple UIDs after the
following change.

Add settings history only for Pro, because with CE the old default
value might not work anymore now that root privileges are permanetly
dropped.

util: script-login - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

quota: quota-status - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

lib-auth-client: Avoid "unknown id" errors for aborted auth requests

Delay freeing aborted request until its response is received or auth server
is disconnected.

Fixes:
Error: auth-client: conn ...: Auth entication server sent unknown id ...

lib-auth-client, auth: CANCEL command now replies with CANCELLED reply

This is done when auth client protocol is >=v1.4. The CANCELLED reply is
used to free the auth request, if it still exists.

login-common: When process is full, don't destroy clients waiting on master auth

These clients have already successfully authenticated. Killing their client
is only going to cause errors.

login-common: Give better reason for auth_client_request_abort()

login-common: Remove unused client_auth_abort()

lib-master: Fix crash when reaching client_limit with restart_request_count>1 and client_limit>1

Fixes:
Panic: file master-service.c: line 1909 (master_service_listen): assertion failed: (service->master_status.available_count > 0)

lib-master, master: Fix behavior for services with client_limit>1 and restart_request_count

Especially login processes are commonly configured to use client_limit > 1
and process_limit = process_min_avail = number of CPUs. However, this
prevents using restart_request_count, because long lived connections
can reserve the process and prevent a new one from being launched.

Change the behavior so that when restart_request_count is reached for a
process whose service has client_limit > 1, the process is no longer
counted towards process_limit.

master: service_status_more() - Change status parameter to status_available_count

Simplifies the next commit.

lib-http: Count time spent in any ioloop waiting on HTTP request as "http ioloop"

Previously only http_client_wait() caused times to be counted in "http
ioloop". This isn't relevant though. The important difference is that
time spent on "http ioloop" is actually time spent on waiting for the
HTTP request, while "other ioloop" is time spent on waiting for an ioloop
without the HTTP request.

virtual: virtual_storage_create() - Deny index rather than allowing just fs

m4: want_mysql.m4 - Fix detecting SSL support with libmariadb

lib-regex: Fix memory leak when replace pattern doesn't match

lib-program-client: program-client - Assert that program_input is set in program_client_input_finish()

Even though all paths leading to this function make sure it is assigned,
Coverity is worried about it being NULL at some point (CID: 42244).

lib-json: json-istream - Assert that value_stream either both set or unset in json_istream_consume_value_stream()

This confuses Coverity otherwise (CID: 42255).

lib-http: http-server-request - Assert that response is set in http_server_request_finished()

Previous code suggested it may be NULL, which is not true.

Found by Coverity (CID: 42271)

lib-auth: auth-scram-server - Assert that hash method never gets to be NULL somehow

Stack-based buffer sizes are based on it a field in the hash method struct. An
assert is easier to debug than a segfault. Also, this makes code consistent with
auth-scram-client.

lib-auth: auth-scram-client - Check assertions earlier so that no segfault is triggered instead

Issue found by Coverity (CID: 42292)

lib-var-expand: Remove pointless assigment in var_expand_program_execute_one_real()

Forgotten from 2b8036fbb90c0c0d716ee419a5595a4328c118be

doveadm: Remove CORS headers from OPTIONS reply

lib-program-client: program-client-local - Drop any real root privileges before program execvp()

Running programs with real root privileges while the effective privileges are
user-level is risky and often unexpected.

auth: auth_request_validate_client_fp() - Ensure client certificate can be checked

lib-sasl: oauth2 - Send configured scope for failure responses