NEWS: Add 100% master process CPU item

master: Avoid creating prefork timeout if process_limit is already reached

master: Avoid high CPU usage when process_min_avail reaches process_limit

process_min_avail handling always created a 0ms timeout to try to create the
missing processes. This timeout was supposed to stop when it couldn't launch
all the wanted processes, but the check wasn't done right. This ended up
causing the timeout to be called rapidly over and over again.

fts: Fix internal error when fts_index_timeout is set

Broken by cf114f90e0ba25c18db846ee582e3a130bd52949

NEWS: Updates for v2.3.16

NEWS: Updates for v2.3.15

NEWS: Add news for 2.3.14.1

util: dovecot-sysreport - Fix help to have -o as the short form of --core

util: dovecot-sysreport - Use only spaces for indentation

Stop mixing tabs and spaces.

stats: Revert the previous OpenMetrics info type revert

The OpenMetrics standard does support "info" type. The original Prometheus
format doesn't support it, but our support is for OpenMetrics. They don't
even have any overlapping types that could be used for this, so the only
other possibility would have been to make this configurable.

Reverts 55a519d18fbbb8435854f1fcf2642b908d6fc074

stats: Revert dovecot build information to untyped data

OpenMetrics does not know type 'info', so use 'untyped' instead.

Broken in ae678116a79fff609cdf4fb1eb7eb3db2975bf1c

lib: Fix assert-crash when destroying ioloop that has active context

Normally the ioloop shouldn't have an active context at deinit, but it
seems to be possible in some situations. It's not really bad anyway, so
just allow it.

Fixes:
Panic: file ioloop.c: line 928 (io_loop_destroy): assertion failed: (ioloop->cur_ctx == NULL)

lib-storage: Use escaped name length to calculate truncation margin

This fixes corruption of mailbox names when the storage_name_escape_char
has been part of the parent folder name.

Broken by 5dd81d83d8d9120ed2a74d5bd2aa62622885b49c

configure: Set version to 2.3.16

lib-lua: Fix LIBDICT_LUA variable usage

It needs to be appended to, not set again. Broken by
3d0b7e9bb59e3dc41fd5a4d09832eedea7a92933.

lib-lua: Only link libdict_lua if it's available

plugins/fts: Restore fts_indexer_cmd

It was removed in cf114f90e0ba25c18db846ee582e3a130bd52949 and that
broke some FTS plugins.

lib-dict: Fix linking when building without Lua

Linking didn't work on some non-Linux OSes (non-GNU linkers?)

lib-smtp: test-smtp-payload - Set all timeouts to CLIENT_PROGRESS_TIMEOUT.

This prevents connect and idle timeouts from triggering earlier than the
progress timeout.

acl: Ignore acls in acl_lookup_dict_rebuild_add_backend if ignore_acls is set

In case an namespace has been configured to ignore ACLs also respect
that when acl_lookup_dict_rebuild is called.

Co-Authored-By: Vincent Brillault <vincent.brillault@cern.ch>

lib-storage: Make use of MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

lib-index: Introduce MAIL_INDEX_VIEW_SYNC_FLAG_2ND_INDEX

This flag is used to make sure secondary views flags-index can work
properly without emitting warnings about inconsistency. If an
inconsistency is encountered fix it by fully syncing.

Revert "lib-storage: Always fix inconsistency when syncing private flags index"

This reverts commit 986d9cbbecffd836d977b6ad956b04e3ca606677.

This is reverted because storing flags on private indexes no longer send
untagged replies.

imap: PREVIEW responses need trailing space

2.3.15 regression

Before 2.3.15, there was this same buggy behavior in error cases; 2.3.15
moved that buggy behavior to the success code path

DOP-2463

lib-fs: metawrap - Fix handling empty file

As empty files are already closed when fs-metawrap attempts to append
metadata there have been problems with size calculation. Fix this by
relying on the same mechanism as if metadata changed during write.

This recreates metadata and keeps old body. This fixes an issue when
writing empty mails to cache (failed: Cached message size larger than
expected).

This was introduced by 03e102ddccaae9e944c503d4269de755731798e8a

lib-fs: fs-metawrap - Expect fs_stat to return size 0 for empty file

lib-smtp: smtp-server-connection - Fix STARTTLS command injection vulnerability.

The input handler kept reading more commands even though the input was locked by
the STARTTLS command, thereby causing it to read the command pipelined beyond
STARTTLS. This causes a STARTTLS command injection vulerability.

lib-dict-extra: dict-fs - Escape unsafe paths

Change any path components that are `.` or `..` to `...` and `....`.
Prevents path traversal attacks.

lib-oauth2: Do not escape '.'

This is not really needed and just makes things difficult.

lib-oauth2: Add missing test_begin/test_end to token escape

lib-oauth2: test-oauth2-jwt - Fix linkage for openssl

Without whole archive option ssl_iostream_unref isn't
included in linkage, which will prevent libdcrypt from
loading openssl backend.

lib-oauth2: Ensure azp is escaped too

lib-oauth2: Add test for token escape

lib-oauth2: Improve identifier escaping function

lib-oauth2: Move identifier escaping to own function

lib-storage: Sync mailbox if autoexpunging finds mails that are already expunged

The syncing should remove the mails from the index.

lib-storage: Fix infinite loop in autoexpunging if the mails are already expunged

This happens if the mails exist in the index, but mail_get_save_date()
fails with MAIL_ERROR_EXPUNGED.

plugins/fts: Use event logging

plugins/fts: fts-indexer - Use connection.c functions

plugins/fts: fts-indexer - Move fts_indexer_init to end of file

Simplifies next commit

plugins/fts: fts-indexer - Use connection structures

indexer: worker - Fix busy/free status

Determining whether worker is free or not should be determined
using worker_connection_is_busy, not whether there are
connections in the list.

A worker connection is busy when it has a request.

indexer: indexer-client - Use connection.c functions

indexer: indexer-client - Use connection structure

indexer: indexer-worker - Use event logging

indexer: indexer-worker: Use connection.c functions

indexer: indexer-worker: Use connection structure

indexer: worker-connection - Use connection.c functions

indexer: worker-connection - Prepare for using connection.c

indexer: worker-pool - Use connection_list

indexer: worker-pool - Remove unused last_use

indexer: worker-connection - Use connection.h structures

indexer: worker-connection - Move constructor further down

Simplifies next commit

Reformat worker-connection.c

lib: lib-event - Copy ru_last when making passthrough event

Otherwise user_cpu_usecs does not get added to the sent events.

master: Fix idle-kill for processes with a single short-lived client

lib-master sends unimportant service status updates to master only once per
second when client_limit>1, because within that 1 second the available client
count may have already changed many times. Normally this is fine, but there's a
problem with the initial client:

 * The client connection launches a new process
 * The process sends the initial status notification with available_count=MAX
 * The client connection is handled, but because the status notification was
   just sent, the update won't be sent until 1 second later
 * The client disconnects within the 1 second
 * The available_count is again MAX, so no status notification is sent

In this situation the master process never created the idle-kill timeout.
Usually the following clients will cause a status notification to be sent, but
if there was only the one client then this process won't be idle-killed. Fix the
situation so that the idle-kill timeout is created already by the initial status
notification.

lib: Add array_foreach_reverse[_modifiable]()

This is especially useful when deleting multiple elements inside the loop.

lib: Don't use special code for i_unreached() with STATIC_CHECKER

This was done originally to help scan-build, but this is no longer
necessary. Also actually running code where __builtin_unreachable() was
reached produced (very weird) undefined behavior.

Reverts e2e9ea6da9f3db5fd7fe467db79232d20d03832f

Makefile.am: Update configure parameters for scan-build

Especially add --enable-static-checker.

lib-imap: imap-parser - Parse literal size using as same algorithm as str_parse*().

This prevents wrapping the integer value and fixes an ubsan complaint.

Based on Stephan's similar patch in managesieve-parser.

lib-imap: imap-parser - Fix 8 bit atom check to use unsigned char.

lib-http: Add http-client category to client events

acl: Ignore acls in acl_mailbox_right_lookup if ignore_acls is set

In case an namespace has been configured to ignore ACLs make sure that
also happens for acl_mailbox_right_lookup.

acl: If acl_ignore_namespace is set acl_backend can be NULL

Allow an uninitialized acl backend when ignore_acls is set.

lib-mail: Add MESSAGE_PART_FLAG_OVERFLOW to MIME parts that reached parsing limits

This allows callers to find out which MIME parts were properly parsed.

imap: copy: Abort if client disconnects during COPY

Since the client didn't receive the COPY tagged reply, it doesn't know
whether the COPY succeeded or not. This likely causes it to try the COPY
again and duplicate the mails.

imap: imap-sync - Fix VANISHED response with UID=1

Fixes a bug introduced in 4eb3f6f27, where a UID EXPUNGE 1 command
resulted in a VANSIHED 0:1 response, which is invalid IMAP syntax
(sequence sets must have nonzero values).

fts: Do not consider arbitrary headers with 8-bit data as language-specific

If we do stemming etc processing for arbitrary headers, they might
become impossible to find in subsequent searches due to stemming.

This practically breaks e.g. From/To header searches with non-ascii
names.

lib: DEBUG: Fix potential crash in handling "Growing data stack" debug message

This could have only happened when data_stack_grow event was enabled and
when --enable-devel-checks was used.

lib: test-data-stack: Run each test with the same data stack state

lib-lua: Delay running Lua script until dlua_script_init()

This allows the caller to register globals before running the script.

lib-lua: Move finalizing event and setting linked list to dlua_create_script()

There's no need to delay them until dlua_script_create_finish().

lib-lua: Update dlua_script_create_*() comment

Reusing existing scripts wasn't actually implemented.

lib-lua: dlua_script_init() - Always return -1 if script_init() fails

The previous behavior was to forward the script_init() return value to
the caller. This was somewhat unexpected behavior.

lib-storage: dlua_register_mail_storage() - Fix popping dlua_dovecot in Lua stack

lib-storage: Fix corrupted cache when adding attachment keywords

If IMAP BODYSTRUCTURE parsing fails, it means the BODYSTRUCTURE doesn't
match the MIME parts. This likely means that one or both of them are
corrupted. Handle this by deleting the email from cache, so this error
won't keep repeating.

lib-storage: Don't log error if attachment flags couldn't be set due to missing cache

Ever since 194dcaa65cdd247393633f2daa4b40fd12985440 missing attachment
keywords have been attempted to be automatically added if all the necessary
fields are in dovecot.index.cache. However, if mime.parts wasn't in the
cache an error was unnecessarily logged.

Fixes:
Error: Failed to add attachment keywords: mail_get_parts() failed: Mail field not cached

imap-acl: In case mailbox name is "" set it to INBOX for shared namespaces

To prevent proxying ACL commands with mailbox "" replace it with "INBOX"
when used with shared namespaces.

imapc: Extract imapc_mailbox_name_equals from imapc_untagged_status

imap-acl: Replace mailbox_open_as_admin with mailbox_open_allocated_as_admin

imap-acl: Allow LISTRIGHT replies without opening as admin

As the reply is hardcoded there is no need to proxy the ACL
command to a remote backend in case imapc_feature "acl" is
enabled.

imap-acl: Implement proxying commands to an imapc location for DELETEACL

Before calling imap_acl_cmd_deleteacl in cmd_deleteacl the new code
checks if the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for SETACL

Before calling imap_acl_cmd_setacl in cmd_setacl the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for GETACL

Before calling imap_acl_cmd_getacl in cmd_getacl the new code checks if the
command should be proxied and if so, does the proxying.

imap-acl: Extract imap_acl_cmd_deleteacl from cmd_deletacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_setacl from cmd_setacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_getacl from cmd_getacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Implement proxying commands to an imapc location for MYRIGHTS

Introduce the needed changes to proxy imap-acl commands to a remote
backend using imap-client.

Before calling imap_acl_cmd_myrights in cmd_myrights the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Add imapc_acl_get_mailbox_error

Allows to retrieve full mailbox error.

imap-acl: Split off imap_acl_cmd_myrights from cmd_myrights

imap-acl: Split acl_mailbox_open_as_admin

This allows easier implementation of the imap-acl proxying.

imap-acl: Add imap_acl_storage with module context

imapc: Add imapc_mail_error_to_resp_text_code to access error msg by enum

imapc: Change function signature prefix to imapc_resp_text_code_parse

imapc: Add imapc_storage_client_unregister_untagged function

imapc: Add imapc_features=acl

In order to allow proxying IMAP ACL commands to a remote backend

lib: test-event-filter-*: Hide details of tests unless they fail

This removes ~14k lines of output from test-lib run.

imap: Send tagged login reply before finalizing user initialization

Broken by 5fc66f182ff6941639d30372b414c1b39ae1e67e

m4, dovecot-config: Add LIBDOVECOT_LUA_INCLUDE

This allows building plugins that use lib-lua against uninstalled Dovecot
source code tree.

lib: event filter - Return invalid chars in the lexer

This way, we leave it up to the parser to figure out whether or not they
make sense.