lib-fs: Add fs_file_equals()

lib-json: remove misleading >0x80 check from generator

json_append_escaped_char() is called only by json_append_escaped_ucs4()
and only when the unicode character is <0x80, therefore this check is
useless at best and misleading at worst.

configure: Report all CFLAGS and LDFLAGS

m4: dovecot - Bump serial

m4: dovecot - Fix AM_LDFLAGS usage

m4: dovecot - Add address & memory sanitizers to linker flags too

lib: ostream-file - Shrink buffer to optimal size after it is flushed

If the ostream buffer was temporarily grown large, it was never shrunk back
to a small value, causing memory to be wasted for long-lived streams.

lib-index: Fix potential crash when handling corrupted cache file header

Corrupted deleted_record_count could have caused "division by zero" crash.
Fix both calculations to avoid integer overflows.

imap: Make sure proctitle is refreshed after failed unhibernation

This should avoid hanging [waiting on unhibernate client] proctitles.

imap: Change imap-master socket to be owned by default_internal_user

This allows imap-hibernation to work with default settings. The previous
change of requiring DOVECOT-TOKEN authentication for imap-master makes
this change safe.

imap, imap-hibernate: Use DOVECOT-TOKEN authentication for unhibernation

The hibernated sessions provide an authentication token to imap-hibernate
process, which sends the token to imap-master socket when unhibernating.
If the token doesn't match, the unhibernation will fail. This allows
giving imap-master socket wider permissions, since it can no longer be
used to log in as any user.

login-common: Improve logging internal failure errors for proxy reauth

doveadm auth test/login: Log the reason for auth failure

lib-auth-client: Fill a more exact log_error for auth_request_callback_t

lib-auth-client: Add log_error parameter to auth_request_callback_t

lib-auth-client: Add comments to auth-client.h

lib-auth-client: Add code=temp_fail to all internal failures

This makes sure the caller handles the internal failure as a temporary
failure.

lib-auth-client: Fix error message if channel binding not supported by caller

lib-auth-client, global: auth_client_set_connect_notify() - Change callback to have error string

auth: Add a default auth-token UNIX socket

The permissions are 0666, so everyone can connect to it. This should be
safe enough, because only token authentication is allowed and failures are
delayed. Someone might flood the socket with connections, but auth-userdb
socket already has the same potential issue.

auth: Fix request leak when client tries to authenticate with unsupported mechanism

lib-mail: mbox_from_parse() - Fix bounds check in time parsing

Add bounds checks before hour/minute parsing (msg + 5 > msg_end)
and before optional seconds parsing (msg + 3 > msg_end). The
alt_stamp path consumes a variable number of bytes for the day
field, which can exhaust the initial budget before reaching the
time section.

Also guard the optional seconds entry with msg >= msg_end to
handle truncated inputs that end after minutes.

Found by fuzzing with libFuzzer and AddressSanitizer.

Signed-off-by: Mark Esler <mark@hexproof.dev>

lib-mail: mbox_from_parse() - Fix bounds check in named timezone

The named timezone check reads msg[0] through msg[3] without
verifying 4 bytes remain. The else-if branch below reads msg[0]
through msg[5]. When optional seconds consume the initial budget,
this reads past the buffer.

Based on code by Mark Esler <mark@hexproof.dev>

lib-mail: mbox_from_parse() - Fix bounds check in trailing timezone

The trailing timezone check used msg != msg_end before reading
msg[0] through msg[5]. When fewer than 6 bytes remain, this
reads past the buffer. Replace with msg + 6 <= msg_end.

Found by fuzzing with libFuzzer and AddressSanitizer.

Signed-off-by: Mark Esler <mark@hexproof.dev>

lib-http: http-message-parser - Fail parsing messages containing both a Content-Length and a Transfer-Encoding header

lib-http: http-server - Add global request_finished() callback

lib-http: http-server - Properly traverse through HTTP_SERVER_REQUEST_STATE_SENT_RESPONSE state

lib-http: test-http-server-errors - Properly clear client/server callback pointers

m4/ssl.m4: Fix openssl checks not picking up CFLAGS being provided by pkg-config

lib: punycode_decode() - Fix reading out of input bounds on invalid input

Based on code by rootvector2 (Dexter.k)

lib: punycode_decode() - Minor code refactoring

Helps also the next commit.

lib: punycode_decode() - Fix parsing empty string [after delimiter]

This caused an assert crash when --enable-experimental-mail-utf8 was
used and invalid punycode domain was being parsed.

Based on code by rootvector2 (Dexter.k)

fs-metawrap: Set FS_METADATA_OBJECTID on fs_get_nlinks()

This fixes obox + fs-posix to work with lazy_expunge_only_last_instance=yes

fs-posix: Set FS_METADATA_OBJECTID on fs_stat()

This fixes obox + fs-posix to work with lazy_expunge_only_last_instance=yes

sdbox: Update MAIL_FETCH_REFCOUNT_ID to include device numbers

This makes it more reliable when using multiple filesystems.

maildir: Update MAIL_FETCH_REFCOUNT_ID to include device numbers

This makes it more reliable when using multiple filesystems.

virtual: virtual_search_next_update_seq() - Do not crash if next_update_seq is no longer there

lib: unicode-transform: Fix assert crash in NFx normalizer occurring at very long non-starter sequences

doc: Fix installed dovecot.conf permissions

Use INSTALL_DATA instead of INSTALL to install dovecot.conf with 644 instead
of 755 file permission.

Signed-off-by: Xiao Pan <xyz@flylightning.xyz>

lib-compression: test_lz4_chunk_size() - Check return values of ()

Found by coverity, id 42237, Error handling issues

config: Fix delaying errors for SET_FILE type

The error delaying requires access to the full setting name, but the
previous code might have used autoprefixed short setting name.

lib-http: http-server-connection - Add debug log line for triggering of expected 100 Continue response

lib-http: http-server-connection - Fix sending of expected 100 Continue response

It was never sent when a response was preemptively created but not yet submitted.

lib-http: http-server-response - Add debug log line for creation of response

global: Replace open-coded allocation size arithmetic with overflow-safe helpers

Replace several instances of multi-term allocation size arithmetic
(e.g. a + b + c) with small helper MALLOC_ADD3() macro built on
existing MALLOC_ADD().

This keeps overflow handling centralized, improves consistency across
the codebase, and makes size computations easier to audit.

No behavioral changes intended.

doveconf: Remove -H argument

This is a relic of (removed) replicator.

global: Create most files with O_NOFOLLOW flag for extra safety

lib-smtp: BDAT - Avoid ubsan warning about integer wrapping with large sizes

lib-smtp: Reject overly large MAIL FROM and BDAT SIZE parameters

At least events use signed intmax_t for storing the mail size, which
can cause such large numbers to wrap to negative numbers.

m4: dovecot - Bump serial

m4: dovecot - Disable valgrind when running with asan or msan

These conflict with each other

m4: dovecot - Add --enable-msan

m4: dovecot - Move fsanitize=address to --enable-asan

Otherwise we will not be able to use google oss-fuzz properly

m4: dovecot - Remove extra cflags in DOVECOT_WANT_UBSAN

m4: dovecot - Fix typo sanitizes -> sanitizers

doveadm: mail dict - Use user event for dict settings

Fixes mail user variables to work with config.

doveadm: dict - Use cctx->set_event to initialize dict

This allows using different event for looking up settings.

util: script - Fix handling environment variables if they contain \001 characters

This could have resulted in a crash or at least wrong behavior.

Broken since the environment code was added in
7e993ece468916599df2feb3d4c64a91c69cedf8

lib: Reformat unlink-directory.c

lib: unlink-directory - Rename error to first_error

It describes better what it does

lib: Assume O_NOFOLLOW exists in unlink_directory_r()

This flag is a FreeBSD extension, which was added in Linux
2.1.126, and has subsequently been standardized in
POSIX.1-2008.

lib-charset: Increase CHARSET_MAX_PENDING_BUF_SIZE to 16 bytes

The old 10 bytes is likely enough, but lets make it safer based on AI's
recommendation:

While the 4–8 byte rule covers most common encodings, ISO-2022 variants
(like ISO-2022-JP) are the primary reason you might need a slightly larger
buffer. Because these encodings use multi-byte "escape sequences" to switch
between character sets, iconv() may stop mid-sequence.

For standard ISO-2022 variants, a buffer of 10 to 16 bytes is generally
considered the absolute "safe" maximum for unconverted bytes.

Why 16 Bytes? While individual characters or escape sequences rarely exceed
4–6 bytes, choosing 16 bytes provides a power-of-two alignment that safely
handles even the most obscure registered ISO-IR sequences and provides a
margin for implementation-specific behavior.

lib-mail: Reset charset translation buffer between MIME parts

If MIME part ended with an incomplete charset translation, the buffer was
kept for the next MIME part. This could have produced garbage in the next
MIME part, or a crash.

Fixes:
Panic: file message-decoder.c: line 232 (translation_buf_decode): assertion failed: (orig_size < CHARSET_MAX_PENDING_BUF_SIZE)

lib-mail: message-decoder - Clarify comments around charset_to_utf8()

virtual: Fail with proper error if list layout is not 'fs'

rather than failing later with hard to interpret messages

configure: Remove --disable-asserts option

Asserts provide important safety checks, and they don't take much CPU.
There's no reason to ever disable asserts.

autoconf: Make --enable-experimental-mail-utf8 required for --enable-experimental-imap4rev2

imap: select_open() - Add untagged LIST response when on IMAP4rev2

imap: select_open() - Fix whitespace

imap: imap_client_enable_imap4rev2() - Make IMAP4rev2 imply UTF8=ACCEPT

imap: imap_settings_verify() Make mail_utf8_extensions required for imap4rev2_enable

lib-storage: Add mailbox_was_vname_changed_by_nfc() and mailbox_suppress_notifying_nfc_name_change()

lib: Preserve errno in our malloc() and free() wrappers

Various places assume that e.g. t_strdup_printf() calls and such don't
modify errno. But because they internally call malloc() or calloc(), this
isn't actually guaranteed now and it can happen at least with newer glibc
versions. Explicitly preserve the errno for these calls where it might
be a problem.

lib-compression: Add asserts to make static analyzer happy

master: Don't check default_login_user and default_internal_user existence in config parsing

In some situations the check may run with default settings, even if the
settings have been changed in config file, which results in causing a
failure if the default users don't exist.

lib-compression: Add test for partial header reads

lib-compression: istream-lz4 - Try again if no data was decompressed

lib-compression: istream-lz4 - Ensure uncompressed chunk size is not 0

lib-compression: istream-lz4 - Fix handling of partial header reception

lib-compression: istream-lz4 - Use container_of() macro

lib-compression: istream-zstd - Fix handling of partial header reception

lib-compression: istream-zlib - Fix handling of partial header and trailer reception

lib-compression: istream-zlib - Use struct zlib_istream as parameter to i_stream_zlib_read_header()

For consistency.

lib-compression: istream-zlib - Use container_of() macro

lib-compression: istream-decompress - Fix hangs when stream is used in asynchronous context

Do not call i_stream_read() blindly. Make sure that if it is called, it's return
value is always evaluated, because otherwise data might get stalled in the
stream while no more input events are incoming; this causes a hang in
asynchronous contexts.

lib-compression: istream-decompress - Fix closing parent stream

lib-compression: istream-decompress - Fix handling of partial header reception

global: Rename version text file

This prevents compilation issues when using C++.

auth: penalty - Log a debug line how long the penalty is

auth: penalty - Log a warning if auth process is restarted due to anvil not connected

auth: penalty - Add penalty(ident): prefix to log messages

anvil: Allow default_internal_group access to anvil-auth-penalty socket by default

This way if auth process crashes, it can reconnect to anvil.

This is only done for CE version, since with Pro the default is to disable
anvil-auth-penalty entirely.

anvil: Allow anvil-auth-penalty socket to use only PENALTY-* commands

anvil: anvil_connection_create() - Replace master boolean with enum type

anvil: Add a comment about first listen_fd being special

imap, pop3: Don't autoexpunge if Dovecot is shutting down or process is killed

This avoids load spikes.

lib-master: Increase ANVIL_DEFAULT_LOOKUP_TIMEOUT_MSECS from 5s to 30s

This may provide better behavior when there are server hangs. In any case
auth process reconnecting to anvil after a timeout is rarely helpful.

lib: timeval_add/sub_usecs() - Fix usecs type

Some callers expect it to be 64bit, but suseconds_t isn't guaranteed to be.
Added assert mainly to catch callers that try to provide negative values
as parameter, which wrap to large unsigned values.

lib: unicode-transform - Fix panic caused by Stream-Safe Text Process encountering composed non-starters

UAX15-D4: Stream-Safe Text Process is the process of producing a Unicode string
in Stream-Safe Text Format by processing that string from start to finish,
inserting U+034F COMBINING GRAPHEME JOINER (CGJ) within long sequences of
non-starters.

The current implementation did not properly account for composed non-starters,
which decompose in more than a single code point. This is something not
found in normal valid Unicode text. This could trigger one of two assert
failures, because these asserts did not account for the buffer
still being full at a second attempt.

Panic was:
Panic: file unicode-transform.c: line 504 (unicode_nf_cp): assertion failed:
(ctx->pending_decomp == 0)

Apart from the panic, the output could also be wrong in that the CGJ code point
was inserted at the wrong position.

lib: unicode-transform - Use UNICODE_NF_STREAM_SAFE_NON_STARTER_LEN instead of literal 30