login-common: Change login_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

lib-storage, doveadm: Change auth_socket_path setting to be hidden

Now that director is gone, there's no need to change it anymore in the
config.

global: Replace mail service binaries' -a parameter with auth_master_socket_path setting

lib-lua: Add dlua_var_expand() allow var_expand() from lua

lib-dict-extra: dict-client - Fix crash if server sends invalid iteration reply

lib-dict-extra: Install dict-client.h

lib-dict: Remove unused enum dict_data_type

dict: Remove unnecessary parsing of value_type parameter in handshake

It's not actually used for anything

lib: Fix crash when config is reloaded and logging to syslog

openlog() was called with a string pointing to settings. When settings were
reloaded, the pointer became invalid, causing syslog() to crash.

imapc: imapc_list_subscriptions_refresh() - Use LIST (SUBSCRIBED) when available rather than LSUB

imapc: imapc_untagged_list() - Handle the \Subscribed flag

These are especially needed in the following change that uses LIST (SUBSCRIBED)

imapc: imapc_untagged_lsub() - Extract tree variable

imapc: imapc_list_update_tree() - Always get a node

These are especially needed in the following change that uses LIST (SUBSCRIBED),
as \Subscribed, but non-existent, mailboxes must still be returned.

lib-imap-client: Add imapc_cmd_has_imap4rev2()

imap: Add imap_compress_on_proxy hidden setting

Keep it disabled by default for now. Once we're sure COMPRESS on proxy
works properly we'll enable it again.

lib-compression: Fix potential hangs writing to non-blocking ostreams

This especially fixes hangs with IMAP COMPRESS handling in proxies.

lib, lib-ssl-iostream: Split off o_stream_init_buffering_flush()

lib: Fix potential hangs when filter istream read doesn't read from its parent

More specifically, this fixes at least a hang where:
 * SSL istream reads some data into buffer
 * SSL iostream places input into internal BIO buffer, which doesn't yet
   get copied to the SSL istream's buffer
 * zlib_istream gets more data from parent SSL istream. Since there is already
   some data buffered, it doesn't call the parent read(). At the end it checks
   that parent SSL istream has 0 bytes in its buffer, so it doesn't se the
   IO pending.

The problem is that SSL istream would buffer if its read() had been called.
Since there is no more IO pending, it causes a hang.

Alternative rejected ideas I thought of:
 * Add some new i_stream_has_maybe_more_data() method that all istreams
   need to implement and filter istreams need to call and use it to set IO
   pending.
 * Change SSL iostream to immediately place input into SSL istream.
   However, this makes the following i_stream_read() behavior confusing,
   since it won't return the newly added data, and might even return -2
   as buffer full, which the caller might not handle properly. Or if
   i_stream_read() did return the newly added data, it would be wrong for
   i_stream_get_data*() to return the newly added data before, effectively
   making the whole change pointless.

login-common: Write client rawlogs in plaintext

imap, imap-login: Fix libcompress dependency tracking

login-common: Change proxy_no_multiplex to bit field

lib-ssl-iostream: Remove unused OPENSSL_IOSTREAM_SYNC_TYPE_FIRST_READ

lib-ssl-iostream: Remove dead code

o_stream_ssl_buffer() was always called with bytes_sent=0 parameter.

lib-settings: Fix crash when using %variables in SET_FILE type settings

For example this prevented using:

crypt_global_public_key_file = %{userdb:public_file}

imap: Avoid logging an error if unhibernation fails due to mailbox being deleted

imap: Introduce enum imap_state_result for return state in imap import functions

lib-json: drop invalid ATTR_PURE

Several functions in json-types.h mutate one of their arguments (usually *size_r)
and hence aren't eligible for __attribute__((pure)) which promises that
the function has no side-effects.

This manifests as a test failure in test-json-istream.c when building
Dovecot with -ftrivial-auto-var-init=zero (or =pattern).

lib-smtp: test-smtp-client-errors - Add test for LMTP connection loss with two recipients

lib-smtp: smtp-client-command - Generate multiple callbacks when required in smtp_client_command_fail*()

This requirement applies to the LTMP DATA command when more than a single
recipient is approved.

This caused a crash in the LMTP service occurring when the proxy client
connection was lost during the DATA command while more than a single RCPT
command was expected earlier. This situation caused an early free/dangling
pointer for the DATA command struct, subsequently causing a crash at
deinitialization of the proxy.

lib-smtp: smtp-client-command - Always use smtp_client_command_drop_callback() to clear callback

For consistency.

lib-smtp: test-smtp-client-errors - Add LMTP support to test server

lib-smtp: smtp-client-command - Make smtp_client_command_drop_callback(NULL) a no-op

lib-smtp: smtp-client-transaction - Rely on smtp_client_command_abort(NULL) being a no-op

lib-smtp: smtp-client-transaction - Prevent logging a spurious abort event for an approved recipient

lib-smtp: smtp-client-command - Assert aborted command pointer is (still) valid

lib-smtp: Fix minor formatting issues in test-smtp-client-errors.c

auth: mech-gssapi - Fix handling of server sending empty initial response

This situation was erroneously interpreted as sending an out-of-band challenge
for the recently added channel binding feature, which causes GSSAPI
authentication to fail when the client does not send the intial response as part
of the AUTHENTICATION command.

luacheckrc: Add luacheck rules

auth: Fix crash when OAUTH token validation failed with oauth2_use_worker_with_mech=yes

auth_request had already been freed, and also mech_event is NULL in worker.

Broken by 76cc978202c4a53fb83eca84b647ed6e19af6308

login-common: Fix potential crash when login proxy is destroyed

iostream-proxy may have closed the proxy with istream first, which closed
the fd, followed by closing the ostream, which attempted to remove IO for
the already closed fd.

Use iostream_fd refcounting to make sure the fd isn't closed too early.

Fixes:
Panic: epoll_ctl(del, 22) failed: Bad file descriptor

lib: Add functions to reliably autoclose fd for i/ostream-file

These can be used to create iostreams where fd is autoclosed after
both istream and ostream are closed in either order.

config: settings_export() - Fix for null dereference

Found by Coverity, 40224 Explicit null dereferenced

config: config_dump_human_filter_path() - Fix for static checker false positive

Found by Coverity, 40024 Dereference after null check

config: config_parse_finish_service_defaults() - Fix for null dereference

Found by Coverity, 40031 Dereference null return value

imap-hibernate: imap_hibernate_client_parse_input() - Reduce allocation from global to temp for state_r->tag

Found by coverity, 40470 Resource leak

lib-auth-client: auth_client_request_handle_input() - Coalesce duplicated switch (status) {}

auth: auth_request_validate_client_fp() - Add missing (void) in front of auth_request_import()

Found by coverity, 40493 Unchecked return value

lib-storage: maildir_open_mail() - Add i_assert(ctx.path == NULL) on error path

Found by coverity, 40460 Resource leak

lib-storage: mail_storage_create_list() - Remove moot tests for storage_class == NULL

Found by coverity, 40008 Dereference before null check

lib-dns-client: dns_client_cache_clean(), Fix for static checker failing to see that priorityq_peek() cannot return NULL

Found by Coverity, 40466 Dereference null return value

lib-dcrypt: dcrypt_openssl_ctx_sym_init() SSL1 - Fix whitespace

lib-dcrypt: dcrypt_openssl_ctx_sym_init() SSL3 - Add missing return on dcrypt_openssl_error()

Found by coverity, 40465 Dereference after null check

imap: client_send_mailbox_flags() - Don't send PERMANENTFLAGS if not selecting and we have allow_new_keywords

lib-lua: test_io_lua() - Test return code from lua_script_init()

Found by coverity, 40458 Unchecked return value

lib-lua: dlua_dovecot_io_register() - Fix unbalanced stack at exit

lib-lua: dlua_script_init() - Remove unused variable

lib-lua: Add missing lua scripts location

without this make check fails when the build dir is different than the source dir

lib-compression: Add o_stream_create_deflate()

lib-index: Fix storing cache fields' last_used with 32bit big endian CPUs

Debian started in 2025 to build packages on 32-bit platforms with 64-bit
time_t support by default. With that change, dovecot suddenly fails to
build on 32-bit big endian architectures (e.g. hppa, powerpc) with those
testsuite errors:

test-mail-cache-fields.c:52: Assert failed: cache_field.last_used == priv->field.last_used && cache_field.decision == priv->field.decision
test-mail-cache-fields.c:67: Assert failed: cache_field.last_used == priv->field.last_used && cache_field.decision == priv->field.decision
test-mail-cache-fields.c:96: Assert failed: cache_field.last_used == priv->field.last_used && cache_field.decision == priv->field.decision
mail cache fields read-write ......................................... : FAILED

Change the existing code for big endian architectures to actually check
the size of time_t at compile time instead of hardcoding a check for
SIZEOF_VOID_P to fix the issue for 32- and 64-bit big endian
architectures.

Signed-off-by: Helge Deller <deller@gmx.de>
Cc: Timo Sirainen <timo.sirainen@open-xchange.com>
Fixes: 1ee84ba0659f ("lib-index: Fix storing cache fields' last_used with 64bit big endian CPUs")

auth: Fix LDAP SASL support

The settings code didn't see the necessary defines.

Based on patch by Jakob Haufe

Broken by 961275fdb54878fdfa4ee1b9f1a4f00e82bf4a83

lib-master: Don't use USER environment in log prefix

USER environment is not so generally supported anymore. The tools
supporting it should change the log prefix themselves if they want it.

Also this fixes inconsistency where some tools logged "tool(USER): "
or "tool: " log prefix depending on whether the configuration was read
by executing doveconf or not (because doveconf dropped the USER
environment).

lib-master: Always process import_environment for standalone programs

It wasn't processed if config was read via config socket or from config
cache.

lib-settings: Fix settings cache validity checks

inode and size checks were swapped, so settings caching didn't actually
work.

lib-settings, config: Panic if SETTING_DEFINE_LIST_END is missing from settings lists

auth: Terminate properly auth_oauth2_post_setting_defines list

Fixes:
Error: xoauth2: oauth2 failed: Local validation failed: auth_oauth2_fields settings: Failed to parse configuration: settings struct auth_oauth2_fields #1 key mismatch

auth: Fix empty certificate fingerprint error handling

Broken in db01107763ff3ad6afbf91f965ee46d2e3412b05

lib: cpu-count - fix compilation using musl

The macros, types and symbols CPU_* and cpuset_t are not exposed in
musl's sched.h unless _GNU_SOURCE is set.

Signed-off-by: Fabian Groffen <grobian@gentoo.org>

imapc: Automatically enable IMAP4rev2 if server has the capability

imapc: Ignore or disable RECENT if IMAP4rev2 is enabled

lib-http: test-http-client-errors - Increase client progress timeout

Accounts for timeouts sometimes occurring while running in Valgrind.

config: Add asserts to make static analyzer happy

imap: Remove dead assignment

lib-dict-backend: Fix building ldap as plugin

Broken by 49f2c4d3365de502d705db28376bf41927a1a900

configure: Do not modify user-provided CFLAGS variable

As per
https://www.gnu.org/software/automake/manual/html_node/User-Variables.html
CFLAGS is reserved for the user and should not be changed.

AM_CFLAGS is the right variable to use here.

global: Fix wrong inheritance of AM_CFLAGS/AM_CPPFLAGS in target_CFLAGS

target_CFLAGS overrides AM_CFLAGS, not AM_CPPFLAGS, thus $(AM_CFLAGS),
not $(AM_CPPFLAGS), is needed in target_CFLAGS.

m4/dovecot.m4: Use AM_CFLAGS instead of EXTRA_CFLAGS with --enable-ubsan

Mainly to make it consistent with how all other build options are used.

login-common: Copy haproxy fields to client pool

They are stack allocated in lib-master now.

lib-master: Copy haproxy provided fields before calling callback

Otherwise fields get lost, broken in 894610212596c35aade07a4d0af9d5e7fd6245c7

lib: strfuncs - Make t_memdup public

lda: Default mail_home=$HOME environment if not using userdb lookup

The previous code to do this was removed by
e57d5b9002f910c095ee5b55821395fcf1da016a

lda: Fix using USER environment if -d hasn't been specified

This became broken at some point.

auth: Allow ssl cert to be validated by fingerprint

login-common: Allow invalid client cert if ssl_server_request_client_cert=any-cert

auth: Support check_client_fp, check_client_cert_fp, check_client_pubkey_fp fields

When set, these are matched against provided fingerprints, and
must be present in the request.

Field check_client_fp matches either certificate or public key fingerprint.

lib-ssl-iostream: Change ssl_server_request_client_cert to enum

If set to no, client certificates are not asked or verified.
If set to yes, client certificates are asked and verified.
If set to any-cert, client certificates are asked but verified with
fingerprinting

lib-ssl-iostream: Allow missing ca if invalid certs are allowed

login-common: Add ssl_client_cert_fp and ssl_client_cert_pubkey_fp if configured

lib-auth-client: Add ssl_client_cert_fp and ssl_client_cert_pubkey_fp fields

lib-auth-client: Compare ssl_ja3_hash to NULL and not 0

ssl_ja3_hash is a pointer, not a number, so it's more correct
to compare it as pointer.

auth: Add ssl_client_cert_fp and ssl_client_cert_pubkey_fp fields

lib-ssl-iostream: Replace ssl_iostream_has_broken_client_cert() with ssl_iostream_has_client_cert()

Broken cert does not do anything different from valid cert, but we need
to know if there was cert in the first place.

lib-ssl-iostream: Add ssl_peer_certificate_fingerprint_hash setting

lib-ssl-iostream: Add ssl_iostream_get_peer_cert_fingerprint()

Provides fingerprint of peer certificate and it's public key
using the configured hash algorithm in context.

lib-ssl-iostream: Reformat iostream-openssl.c

lib-http: test-http-client-errors - Fix memory leak at sub-process deinit

Broken by dd6f9b3a3fab7d1c4b93d4f65086e8f019338b83

configure: Fix building without LDAP

lib-dcrypt: test-crypto - Store comparison key in DOVECOT format

PEM format is not stable between openssl versions

global: Fix warnings about uninitialized variables when compiling with -flto

These were only false positives, except for the unit test ones, which don't
really matter.

lib-dcrypt: Increase salt to 16 bytes for dovecot v2 keys

This makes it FIPS compatible.

lib-crypt: test-crypto - Enable testing more keys in test_load_v2_public_key()