NEWS: Updates for v2.3.15

lib-dict-extra: dict-fs - Escape unsafe paths

Change any path components that are `.` or `..` to `...` and `....`.
Prevents path traversal attacks.

lib-oauth2: Do not escape '.'

This is not really needed and just makes things difficult.

acl: Ignore acls in acl_mailbox_right_lookup if ignore_acls is set

In case an namespace has been configured to ignore ACLs make sure that
also happens for acl_mailbox_right_lookup.

acl: If acl_ignore_namespace is set acl_backend can be NULL

Allow an uninitialized acl backend when ignore_acls is set.

imap-acl: In case mailbox name is "" set it to INBOX for shared namespaces

To prevent proxying ACL commands with mailbox "" replace it with "INBOX"
when used with shared namespaces.

imapc: Extract imapc_mailbox_name_equals from imapc_untagged_status

imap-acl: Replace mailbox_open_as_admin with mailbox_open_allocated_as_admin

imap-acl: Allow LISTRIGHT replies without opening as admin

As the reply is hardcoded there is no need to proxy the ACL
command to a remote backend in case imapc_feature "acl" is
enabled.

imap-acl: Implement proxying commands to an imapc location for DELETEACL

Before calling imap_acl_cmd_deleteacl in cmd_deleteacl the new code
checks if the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for SETACL

Before calling imap_acl_cmd_setacl in cmd_setacl the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for GETACL

Before calling imap_acl_cmd_getacl in cmd_getacl the new code checks if the
command should be proxied and if so, does the proxying.

imap-acl: Extract imap_acl_cmd_deleteacl from cmd_deletacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_setacl from cmd_setacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_getacl from cmd_getacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Implement proxying commands to an imapc location for MYRIGHTS

Introduce the needed changes to proxy imap-acl commands to a remote
backend using imap-client.

Before calling imap_acl_cmd_myrights in cmd_myrights the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Add imapc_acl_get_mailbox_error

Allows to retrieve full mailbox error.

imap-acl: Split off imap_acl_cmd_myrights from cmd_myrights

imap-acl: Split acl_mailbox_open_as_admin

This allows easier implementation of the imap-acl proxying.

imap-acl: Add imap_acl_storage with module context

imapc: Add imapc_mail_error_to_resp_text_code to access error msg by enum

imapc: Change function signature prefix to imapc_resp_text_code_parse

imapc: Add imapc_storage_client_unregister_untagged function

imapc: Add imapc_features=acl

In order to allow proxying IMAP ACL commands to a remote backend

lib-smtp: smtp-server-connection - Fix STARTTLS command injection vulnerability.

The input handler kept reading more commands even though the input was locked by
the STARTTLS command, thereby causing it to read the command pipelined beyond
STARTTLS. This causes a STARTTLS command injection vulerability.

imap: copy/move: Fix memory leak when no messages were found

acl: Fix broken LIST for shared namespaces

Due to the recent changes in the usage of the acl_ignore_namespace
setting shared namespaces where trying to use fast listing too. This
resulted in wrong LIST IMAP command outputs when using acl plugin.

Broken by af18bb0c8c4ffbd3a8008ce9fc7a58db5937b0a6

acl: Prevent crashes with acl_ignore_namespace

In case a namespace was ignored for ACLs an crash could occur because of
"Module context acl_storage_module missing". This panic is prevented by this
change.

acl: Move static acl_namespace_is_ignored

login-common: Add client.list_type to better track which linked list client belongs to

Add asserts to make sure the client is always in the expected list.

login-common: Fix handling destroyed_clients linked list

The client needs to be removed from destroyed_clients linked list before
it's added to client_fd_proxies linked list.

Broken by 1c622cdbe08df2f642e28923c39894516143ae2a

lib-dict: dict-lua - Don't yield again until previous one has completed

lib-dict: dict-lua - Use absolute stack positions for arguments

imap: copy/move: Refresh source mailbox before copying/moving

This way if another session had just expunged mails, the expunges will be
noticed and the copy/move will abort early.

imap: move: Sync source mailbox between commits

This way the messages are actually expunged from storage after the commit,
not just requested to be expunged. Most importantly this means that if
another session attempts to start moving the same messages it can be noticed
earlier and one of the moves aborted.

imap: Add imap_search_anyset_to_uidset()

imap: Allow imap_search_seqset_iter_init() to iterate over uidset also

lib-storage: Fix mailbox_get_uid_range() to handle "*" correctly

Previously attempting to convert e.g. 1:* range would just assert-crash.
There were no such callers currently though.

lib-storage: Always set struct mail.expunged

Previously it was set only when some error noticed that there was a problem
accessing the mail. Now this is set immediately in mail_set_seq(). This
allows e.g. IMAP COPY/MOVE to abort when it encounters expunged mails.

imap: Fix using SETMETADATA NIL to unset value

Broken by 923362d27d9b2428e301614673cb0efba3bf928f

lib-oauth2: Add missing test_begin/test_end to token escape

m4: Include local copy of pkg.m4

We need features not present in early versions. The variable=name
support has been there since 1.7.4 of pkg-config.

lib-storage: Avoid logging the same mail istream read error multiple times

master: Notify systemd after we are really stopped

Makefile.am: Fix systemd detection mess in automake

dovecot.service: Set type to notify only when compiling with systemd

Makefile.am: Make systemd service file generation more readable

configure.ac: Move CFLAGS to right place

Now it's in middle of passdb displaying

lib-storage: Fix detecting duplicate nodes in mailbox list index

The duplicates were checked only for root nodes, not for child nodes.

configure: Bump version to 2.3.15

NEWS: Add news for 2.3.15

NEWS: fix 2.3.14 version

NEWS: Mention XZ/LZMA removal.

NEWS: Update news for 2.3.14

lib-imap: imap_bodystructure_write() - Return error on corruption instead of assert-crash

This could happen if broken message_parts came from cache and
message_part->data was newly read from the mail input.

lib-storage: Split off index_mail_parse_bodystructure_full()

lib-imap: fuzz-imap-bodystructure - Change failures to i_panic() instead of i_fatal()

lib-smtp: smtp-params - Make explicit which extra parameters can be written by smtp_params_*_write().

This can be used to prevent sending unsupported parameters to the remote server,
even when these are listed in extra_parameters. Before, blindly proxying
parameters would cause MAIL/RCPT error replies from the remote server.

lib-smtp: smtp-client-connection - Explicitly specify which MAIL/RCPT parameters are added by extra capabilities.

This is used in later commit to limit which custom parameters are actually sent
to the server based on the capabilities supported by said server.

lib-smtp: smtp-client-connection - Prevent recording extra capabilities from server more than once.

lib-smtp: smtp-client-connection - Prevent duplicate registrations for extra capabilities.

lib-smtp: smtp-client-connection - Move smtp_client_connection_find_extra_capability().

lib-smtp: smtp-client-connection - Change extra capability registration to use a struct.

This is needed for adding additional features in later commit.

lib-smtp: smtp-client-connection - Fix typo in function name.

lmtp: lmtp-commands - Drop XRCPTFORWARD parameter once processed.

This prevents it from popping up elsewhere. This for example crudely fixes a
problem in the proxy where XRCPTFORWARD was sent even without backend server support.

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification (try #2)

Continues the incomplete fix for c4f4058d16096f23eea0b3182205d6653f5954dd

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

lib-oauth2: test-oauth2-jwt - Fix linkage for openssl

Without whole archive option ssl_iostream_unref isn't
included in linkage, which will prevent libdcrypt from
loading openssl backend.

lib-oauth2: Ensure azp is escaped too

lib-oauth2: Add test for token escape

lib-oauth2: Improve identifier escaping function

lib-oauth2: Move identifier escaping to own function

login-common: Fix memory leak if anvil query is aborted

virtual: virtual-mail - Use index_mail_set_seq to ensure cleanup

Forgotten in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Pass wanted_headers and wanted_fields to backend mails only

Broken in 67ab2070cf513179382b564871f2a0f177987cc9

virtual: virtual-mail - Use index_mail_free

Since we are using index_mail_init, we need to use index_mail_free
to free up the virtual mail.

virtual: virtual-mail - Free wanted headers in close if we are freeing

Simplifies next change

virtual: virtual-mail - Free up mails in virtual_mail_close if we are freeing up

Makes next change easier

lib: Add comment to CALLBACK_TYPECHECK() macro

lib-index: Add "mail_cache_lookup" event

Adds new event for cache lookups with lookup name as "field" event field.

lib-index: Small refactor in mail_cache_lookup_field()

Makes it easier to emit event in next commit regardless of code path.

lib-storage: Add "mail_expunged" event

Emitted when a message is actually expunged. Has UID as a field.

lib-storage, plugins/virtual: Use mail_sync_notify()

Instead of calling sync_notify vfunc directly.

lib-storage: Add mailbox_sync_notify()

Instead of calling sync_notify vfunc directly everywhere.

lib-storage: Emit "mail_expunge_requested" event

Adds a new event, "mail_expunge_requested" which is emitted when a
message is marked to being expunged.

lib-storage: Emit "mail_opened" event when mails opened

Adds a new event, "mail_opened" with "reason" as field. Also drop duplicate
event in index_mail_init_stream().

lib-storage: Include "age_days" field in mail.event

Goes back one week, if mail age information is known, an integer field is added
with value of mail age in number of days.

plugins/virtual: Use index_mail_init() to initialize the mail

Cleans up duplicated code. Also, index_mail_init initializes mail.event
as well. Something that was missing previously.

lib-storage: Refactor index_mail_init() to make it more reusable

Adds arguments for two memory pools, to be set for mail.pool and
mail.data_pool. If data_pool is NULL, a pool is allocated but mail_pool
is required.

lib-storage: Recreate mail.event when active mail is changed

This makes sure that the two mails' events are treated completely
independently without any accidental spilling. It also prevents wasting
memory if each mail changes the event and grows the memory pool.

lib-smtp: fuzz-smtp-server - Implement all callbacks required for full transaction.

Before required RCPT and DATA callbacks were omitted, causing assertion failures
when the fuzzer reached the RCPT stage.

lib-test: fuzzer - Fix FD-based fuzzing to only shutdown input FD upon end of data.

Before, it closed the whole socket once the data input ended. This for
example caused the SMTP server fuzzer to end before all replies were sent. This
shortened the test and could have hidden bugs that occur later in the SMTP
transaction.

lib-smtp: smtp-reply - Add debug message for reply send error.

This makes it a little clearer at what point the connection loss or error was
noticed and for which command/reply.

lib-lua: Fix compiler warning with dlua_pcall_yieldable()

lib-storage: Make sure listescape can work correctly with shared namespaces

This makes sure that if storage_name_escape_char is set, shared mailboxes
do not return the invalid/unescaped mailbox storage_name internally which
could result in failures like "Invalid mailbox name: Name must not have '/'
character" even when using the listescape plugin.

Broken by 5fd5ad3a2be6708e81f8dcfcbb06a3957dddd276

lib: Fix buffer_t aliasing problems with LTO

This changes the buffer_t slightly, which requires adding extra braces
when buffer_t contents are directly defined.

This changes Dovecot to require C11 compatible compiler, because it uses
anonymous union and struct. GNU99 extensions are also enough.

lib: buffer - Change real_buffer.r_buffer type to const void *

imap: Fix accessing uninitialized variable warning with LTO

There doesn't seem to be any other way to quiet this warning, although
it's wrong.

doveadm dict: Handle missing parameters without crashing

global: Fix accessing uninitialized variables on unit test failures

lib-imap: imap_envelope_parse() - Refactor to avoid LTO warnings

The original code was correct, but gcc with LTO still gave warnings about
potentially uninitialized envlp_r and error_r.