NEWS: Add news for 2.4.2

lib: Fix signedness in assert in time_to_uint32()

If time_t is signed and 32-bit, this can cause warnings.

lib-master: Fix pre-accept() handling for services with restart_request_count=1

Broken by 06045a9b2160229dcf78619f6208094843dfacd1

auth: test-mech - No mechanism is expected to log errors anymore in this test

auth: test-mech - The OTP mechanism no longer logs errors for client protocol violations

Yet, we forgot to amend this test. It only failed in Valgrind.

lib-storage: Don't try to mkdir root directory for unusable namespaces

The unusable namespaces are for nonexistent user shared namespaces.

doveadm: Add deleted to mailbox status

It is also added to the 'all' field

lib-storage: Add deleted mail count to dovecot.list.index

lib-storage: Add support for struct mailbox_status.deleted

lib-sasl: fuzz-sasl-authentication - Forgot to ignore token-based mechanisms for password validity check

OSS-Fuzz report: 454518406

lib-sasl: fuzz-sasl-authentication - Check validity of authentication success in separate function

lib-auth: auth-scram-client - Reduce maximum hash iterations in fuzzer to prevent timeout

OSS-Fuzz report: 454444201

doveadm: cmd_copy_alloc_source_user() - Fix crash on source user not existing

lib-ssl-iostream: Handle delayed handshake failure explicitly

The previous commit already fixed the busy loop bug, but errno=EINVAL is
better for the handshake failure than EPIPE.

lib-ssl-iostream: Fix potential busy loop when handshake has failed

If the stream is already destroyed, handshaking should return -1 as error
instead of "more data needed".

This fixes at least a potential busy loop when login-proxy tries to connect
to a remote server with mismatching SSL certificate name. It was timing
sensitive though, only seeming to happen when running with valgrind.

This code has been there since 9d0640616c30701bed286034840facfb386db90e

anvil: Fix memory leak when kicking clients

lib-storage: Sync "Time moved forward by" warning message with master process

master had "by", while lib-storage didn't.

imap: Fix memory leak when using STORE with keywords on an EXAMINEd mailbox

stats: Fix memory leak when deinitializing file transport

lib-ldap: Fix memory leak at connection deinit

auth: ldap - Make sure ldap log prefix doesn't contain (null)

This could have happened with invalid ldap_uris.

lib: str_to_*() - Fix compiler warnings

Some gcc versions think endp may be uninitialized.

lib-storage: Use case-insensitive ns_prefix/INBOX only for shared namespace

For example OtherNamespace/Inbox shouldn't be converted to INBOX.

Broken by 776d3e6f408ae5c4f903c4ed9e906d84e3e741a1

lib-storage: Make sure shared INBOX mailbox is always uppercased

This fixes issues where if shared/user/INBOX was accessed without
uppercasing the INBOX, it wasn't handled consistently.

auth: Add assert to make sure NULL cache key isn't tried to be expanded

auth: Don't do cache lookup on internal passdb failure when passdb_use_cache=no

This was the only place where passdb_cache_lookup_credentials() caller didn't
already check for key=NULL.

lib: iostream-temp - Optimize writing many small writes

There was no buffering for o_stream_send*() calls after the initial
in-memory buffer size was exceeded. Each one was immediately written to
disk.

This fixes inefficiencies at least with doveadm-server HTTP responses.

lib: iostream-temp - Remove support for o_stream_seek()

It's not needed by anything, and it's just making the code more complex.

lib: iostream-temp - Remove support for o_stream_pwrite()

It's not needed by anything, and it's just making the code more complex.

lib-storage, imapc: Fix caching headers as empty values when handling partial header fetches

When imapc does FETCH BODY.PEEK[HEADER.FIELDS (a b)], the result is valid
only for headers "a" and "b". The header parsing was expecting that it was
seeing the full header, so if caching decisions had remembered that also
header "c" is wanted to be cached, it was done with an empty value.

imap: Remove duplicate SPECIAL-USE from imap_capability setting list

This duplication wasn't actually visible in the client's CAPABILITY list.

lib-http: Handle HTTP request timeouts in separate data stack frames

master: accept() unix/inet connections before creating child process to handle it

This way if the child processes are slow to start, it won't affect how
rapidly they can be created.

lib-master: Support handling a pre-accept()ed connection from master process

lib-master: Split off master_service_connection_init_finish()

lib-master: Remove unused master_service_get_socket_name()

lib-master: Use master_service_listener.name directly

lib-master: Remove unused master_service_get_socket_type()

lib, global: Change net_accept() to return only -1 on failure

Use NET_ACCEPT_ENOCONN() to further check the errno if it's a failure that
should be logged or not. The previous way of using -1 vs -2 return value
wasn't very understandable.

util: health-check.sh - Don't leave "sleep 10" process running

lib-regex: Run unit tests

check-local section was missing in Makefile.am, so tests weren't
executed.

Forgotten from 49ae6e798310e5c4b96709db435a3714ea6468a8

lib-mail: istream-header-filter - Fix memory leak

Broken by 1f383819329d7637dc2f4a91b264af24a15f0256

lib-sql: driver-mysql - Remove wrappers for async

lib-sql: driver-sqlite - Remove wrappers for async

lib-sql: sql-api - Implement async calls for drivers that can't

Changes the behaviour of asynchronous functions to be truly asynchronous
even if the underlying driver isn't capable of doing this. Implemented
by adding immediate timeouts to call the callbacks after returning from the
synchronous function and ending up back to ioloop.

lib-sql: driver-sqlite - Use driver_sqlite_transaction_rollback() always for rolling back failures

lib-sql: driver-sqlite - Handle rollback errors correctly

Can't really claim we rolled back anything if rollback fails.

lib-sql: driver-sqlite - Stop transaction at first error

If the transaction has failed, refuse to execute any new
queries. This prevents especially situations where BEGIN failed.

lib-sql: driver-sqlite - Check access errors more carefully

Provide more useful information why database cannot be accessed,
including why it's in unexpected readonly mode.

lib-sql: driver-sqlite - Fix sqlite_journal_mode=wal setting to actually work

Forgotten in 316fdee91e4d672ec555626f620059c0748bab70

lib-sql: driver-sqlite - Automatically reconnect read-only

Simplifies cases where we just want to read the database

lib-sql: driver-sqlite - Explicitly initialize sqlite3

This allows catching initialization errors early

lib-sql: driver-sqlite - Use result.error for error storage

This allows better errors than using rc alone

lib-sql: driver-sqlite - Also consider SQLITE_PERM as access error

lib-sql: driver-sqlite - Extract message generation to driver_sqlite_result_str()

lib-sql: driver-sqlite - Include the real database connect error in event

lib-sql: driver-sqlite - Use driver_sqlite_connect_error() in driver_sqlite_result_log()

Simplifies next commit

lib-sql: driver-sqlite - Extract connection error handling to driver_sqlite_connect_error()

lib-sql: driver-sqlite - SQLITE_DONE is not an error

lib-sql: driver-sqlite - Use sqlite3_errstr()

This allows looking up error for the rc we are interested.

lib-sql: driver-sqlite - Use sqlite3_system_errno()

lib-sql: driver-sqlite - Add and use per-result errors

lib-sql: driver-sqlite - Rename db->rc to db->connect_rc

lib-sql: driver-sqlite - Use ctx->rc instead of db->rc in transactions

lib-sql: driver-sqlite - Log error if database closing fails

lib-sql: sql-api - Use i_gettimeofday() to get current time

It's more accurate

lib-sql: test-sql-sqlite - Remove redundant code

lib-sql: sql-api - Clarify that results are free'd after callback returns

lib-sql: driver-sqlite - Refactor struct sqlite_db

lib-index: Update comments about how transaction log corruption is handled

lib-index: Remove obsolete FIXMEs about upcoming sync lock removal

That is never going to happen.

lib-index: Do update log_file_tail_offset on sync if mail_transaction_log_view_next() fails

The previous change assumed that mail_transaction_log_view_next() would
return -1 on read() error. However, it's actually returning -1 to indicate
a corrupted record.

Reverts aae93d3ea73004ba1883bbf91c9e40f613ffc857

lib-compression: Don't calculate crc32 if using zlib in deflate mode

dovecot.conf.in: Update Dovecot quick configuration URL

lib-settings: Fix memory leak with settings overrides

The setting override lookups were allocating memory from wrong memory pool,
causing the process memory to keep growing.

lib-storage: Fix potential crash with SEARCH MIMEPART FILENAME ENDS

If the search value was longer than the checked filename, it accessed
memory outside the allocated buffer.

lib-storage: Reformat index-search-mime.c

lib-storage: Fix "seach" typo in function names

lib-mail: Fix potential crash with SEARCH MIMEPART FILENAME

If the message contained "Content-Disposition: attachment" without
filename or name parameter, it crashed. Fix by using empty string
as the filename so callers don't need to handle NULL separately.

Broken by bdff009cb37eb51aa7a00e17e1b346df18f95bec

lib-test: fuzzer - Remove atexit handler

It seems to cause more issues than it solves.

lib-sasl: test-sasl-authentication - Create an ioloop

Winbind needs this to initiate some async stuff that is not part of this test,
so the ioloop is never actually run. However, in its absence a segfault crash
occurs.

lib-sasl: fuzz-sasl-authentication - Only fuzz Winbind mechanisms when compiled with --enable-local-fuzzer

fs-posix: Fix fs_copy() potentially doing unnecessary unlink()

We need to check if link() failed before checking errno.

lib-index: Avoid unsafe errno check

scan-build thinks mail_cache_file_close() could have modified errno. This
doesn't seem to actually happen, but it's safer to make sure of it.

lib-json: Avoid copying the whole json_value.content union

Mainly because this confuses scan-build, but it should be more efficient as
well.

maildir: Fix error handling if dovecot-uidlist file is unexpectedly lost

It would have failed with lseek() error.

maildir: Add assert to make sure dirfd() returns a valid fd

lib-sasl: test-sasl-authentication - Avoid scan-build dead code complaint

It wasn't really dead code, but test_assert() was marked as ATTR_NORETURN
to static analyzer builds, so it looked like that. However, we can simply
remove this check since test_assert(FALSE) causes the later
failed || test_has_failed() check to match anyway.

global: Use ATTR_NONSTRING macro

m4/dovecot.m4, lib: Add ATTR_NONSTRING macro

m4/dovecot.m4: Use -Wno-default-const-init-field-unsafe if it exists

This causes unnecessary warnings about buffer_t.

lib-storage: Change mail_attachment_detection_options default

Set it to: add-flags content-type=!application/signature. However, this
breaks mbox format so keep it empty for mbox. Also don't enable it for
imapc, since it's unlikely to be useful there and it might cause unwanted
attachment flags to be added in some imapc use cases.

lib-storage: Reduce data stack usage when finding attachment flags from mails with many MIME parts

lib-storage: mail_attachment_detection_options=add-flags - Don't try to add flags for read-only mailbox

lib-storage: index_mail_init_stream() - Add asserts to check state if stream has only header

lib-storage: Don't try to add attachment flags if stream only has message header

This could have caused wrong attachment flag to be added with imapc format,
because the body wasn't parsed. Other mailbox formats always had a message
body included in the stream.

config: Number of new config changes for 0.0.0 version is always 0

config: Assume 0.0.0 version is the latest

It's used for git builds.

config: Support changing defaults for setting_parser_info.default_settings

This requires reading dovecot_config_version before processing the default
settings.

config: Move most boolean fields in config_parser_context to flags enum

Preserve expand_values since it's used all over the place.