NEWS: Add news for 2.3.19.1

doveadm deduplicate: Allocate memory properly for keys in hash table

This caused wrong mails to be deleted somewhat randomly.
Broken by 320844f50cd669b602d30210e2e5216f65d2050f

lib-compression: istream-decompress - Copy parent stream name

This is needed, because istream-decompress doesn't actually use the parent
stream as the istream parent.

auth: Fix assert-crash in iterating multiple userdbs

Broken by 501e17ba6b448ba3c88338596e0e8f99f0693f79

Fixes:
Panic: file userdb-blocking.c: line 125 (userdb_blocking_iter_next): assertion failed: (ctx->conn != NULL)

NEWS: Update date for 2.3.19 news

fts: Fix optimizing searches in virtual mailboxes without up-to-date indexes

This could have caused header searches in virtual mailboxes to not return
all results when fts_enforced!=yes

Broken by 9705b81fb51b5bdeaba12932a390ced2cc9dcad7

NEWS: Add news for 2.3.19

NEWS: Update news for 2.3.18 - final fixups

NEWS: Update news for 2.3.18

lib-lua: dlua-dovecot-http - Support more settings with HTTP client

lib-http: Rename max_auto_retry_delay to max_auto_retry_delay_secs

configure: Update version

auth: auth_worker_call() - Return void instead of the connection

The return value is no longer necessary, and it most likely would just be
used wrong.

auth: Fix crash when user iteration request is queued

auth_worker_call() returns NULL when the request couldn't be handled
immediately, which would result in NULL pointer dereference later on.

auth: Add connection parameter to auth_worker_callback_t

doveadm: Fix hang when flushing a corked print-ostream

This could have happened at least with doveadm sync/backup command,
i.e. causing replication to hang until timeout is reached:

Error: write(<local>) failed: Timed out after 60 seconds

lib-index: Always write tail offset the same as head offset

The mail_index_write() must not be called unless this is safe to do.
This prevents unnecessarily reading through dovecot.index.log between
tail..head offsets, which can be expensive due to modseq calculation.

lib-index: Optimize modseq scanning by using the modseq header in index

View is very commonly set to start reading new changes since dovecot.index
was last written. When reading the newer records in dovecot.index.log, the
modseq of each change is needed to be known. However, the initial modseq
calculation was usually done inefficiently by reading the whole
dovecot.index.log from the beginning of the file. This change prevents
that by using instead the "modseq" header in dovecot.index to get the
initial modseq.

lib-index: Handle 0-sized dovecot.index.log record properly

The previous behavior was to just silently ignore it and have the next write
to the transaction log silently truncate away the trailing garbage.

Now if the log file isn't locked the issue is still ignored, since it's
possible that this is just a race condition. But if the log is locked,
it's handled as corruption.

lib: test-event-flatten - Use __FILE__ to get correct expected filename

Fixes out of tree buids

Broken in 4f752d381c8e19dd07d1e593996d02294668c8b6

auth: db-oauth2 - Fix off by one in oauth2 variable handling

Broken in 9b670175445a75987a713ff899d1a945255b0b5b

dsync: Properly terminate escape_chars when escaping mailbox names

Broken by 596c5a52e7e554571285e90063712cb0d37b34eb

dsync: Fix hierarchical mailbox name parts individually

For example with filesystem-based mailbox formats it's not allowed to create
"box/../child" mailbox. With previous code dsync just gave up and created
the mailbox name based on its GUID. This is now improved to instead try to
insert '_' character after each hierarchy separator so the newly fixed
mailbox name is "box/_../child".

dsync: Escape and unescape mailbox names as needed

This should fix various issues with syncing local and remote mailbox names.
It especially avoids changing the escape character to alt_char.

dsync: Track whether escape character was added just for dsync

Will be used by the following commit

dsync: Add clarifying comment about mailbox_log_record.maibox_guid contents

dsync: Add escape_char to dsync-mailbox-tree

This will be used by the following changes.

lib-test: test-subprocess - Free subprocess before forking

Otherwise it'll leak memory.

Broken in 34bdfdcbc7e3b374a219732329b6ce6d84a7666e

lib-lua: Add a minimal interface to lib-http

Adds the ability to
- Creating http clients
- Creating http requests
- Adding arbitrary headers and payload to the http request
- Submitting the request to remote server and getting the response

doveadm-who: Do not parse numbers as IP addresses

Fixes doveadm kick as well.

Broken in 381daab1e3b56a0bc94d2191cf62beba0df51af9

lib: test-seqset-builder - Add missing seqset_builder_deinit()

Fixes leaking memory when running tests.

imapc: imapc_transaction_save_rollback() - Fix NULL-check for ctx->src_mbox

Assert that unfinished context implies that ctx->src_mbox is non-NULL.
Also check for ctx->src_mbox being non-NULL before deinitializing it.

imapc: imapc_mailbox_msgmap_update() - Set new_message_r

In case a message has not yet been keep the reply till syncing and do
not discard it right away.

imapc: Delay fetching state after untagged exists reply

imapc: imapc_copy() - Make sure capabilities are known before copying

imapc: Implement rollback for failed copies

imapc: imapc_save_copyuid() deduplicate code

imapc: Enable bulk copying if remote backend has UIDPLUS capability

imapc: Implement bulk copying for imapc

imapc: Extract imapc_copy_simple() from imapc_copy()

Keep the old one by one copying functionality as simple call. This will
be used if the remote backend does not have the UIDPLUS capability.

lib-storage: index_save_context_free() - Add assertion on non-NULL ctx->dest_mail

lib: Add seq-set-builder and tests for it

lib-storage: imapc_mailbox_close() - Remove unprocessed untagged_fetch_contexts

lib-storage: Remove trainling spaces

imapc: imapc_sync_handle_untagged_fetches() - Commit after adding the untagged fetch messages

The absence of the commit could have caused issues when
imapc_sync_finish() was not called as it left mbox->delayed_sync_trans
initialized but mbox->delayed_sync_view was NULL.

Broken by 55a8c2d294bb2f764209c7ce455d258b2b7506f5

imapc: Start to handle new untagged fetch messages in imapc_sync()

imapc: Add imapc_sync_handle_untagged_fetches()

imapc: imapc_untagged_fetch_handle() - Change return type to bool

When calling imapc_untagged_fetch_handle() also retrieve new_message_r
from it which allows imapc_mailbox_msgmap_update() to determine if the
message just handled was already in index or not.

imapc: imapc_untagged_fetch_update_flags() - Reduce indentation

imapc: Split off imapc_untagged_fetch_update_flags() for handling flag updates

imapc: Introduce imapc_untagged_fetch_ctx

imapc: Decouple imapc_untagged_fetch parsing and handling

submission-login: Add workaround for SMTP backend that is not Dovecot.

Adds workaround called "exotic-backend".

auth: auth-cache - Always use translated_username as cache key

This fixes auth cache when passdb/userdb changes the user field.

auth: Set translated_user to requested_login_user in master login

Fixes caching issues with master logins.

auth: Include cache hit/miss information in passdb/userdb lookup end events

fts: Parse mail header before checking whether to index it

Fixes an issue where mime parts Content-type wasn't properly set,
causing binary mime parts to be fed to the indexes.

Broken in ddb85f3533842aa7c4e943c10bbd3dcb745c2eae

dsync: Log reason why mailbox is synced with debug logging

dsync: If modseqs aren't permanent, assume HIGHESTMODSEQ=0

Otherwise the HIGHESTMODSEQ is just whatever happens to be in the in-memory
view of the index, which most likely isn't the true HIGHESTMODSEQ. Using 0
makes it clear that the HIGHESTMODSEQ isn't valid and can't be used.

submission-login: submission-proxy - Do not include initial response in AUTH command if it is too long.

submission-login: submission-proxy - Rename local variable in proxy_send_login().

lib-smtp: smtp-client - Move SMTP_BASE_LINE_LENGTH_LIMIT definition to smtp-common.h.

lib-smtp: smtp-client-connection - Rename SMTP_CLIENT_BASE_LINE_LENGTH_LIMIT to SMTP_BASE_LINE_LENGTH_LIMIT.

lib-smtp: smtp-client-connection - Fix typo in comment.

director: Fix crashes caused by changing host tag

Fixes:
Panic: file director.c: line 1175 (director_move_user): assertion failed: (user->host->tag == host->tag)
Panic: file director-request.c: line 303 (director_request_continue_real): assertion failed: (user->host->tag == mail_tag)

director: Prevent loops where directors keep changing host tags

lib: If log prefix update can't be sent to log, exit with FATAL_LOGERROR

lib: Fix losing log prefix or IP change when log process is busy

The fd for writing to log process is non-blocking. When sending options
to log process, it was done with write_full(), which stopped whenever
EAGAIN was returned. This error was simply ignored, and the logging code
thought that the prefix was successfully changed (or the IP was sent).

This mainly caused a problem when processes were reused and log process
was busy. The prefix update could have failed, and the following logging
would be using the previous session's log prefix, i.e. log lines could have
been logged for the wrong user/session.

Broken by 9372e48b702a3af5705785e08fbf47b0e37f2047

dict: Fix potential timeout leak at deinit

The deinit code could still trigger proctitle refresh.

dict: Make sure proctitle refresh timeout goes to the main ioloop

In some situations it could have gone to dict_wait() ioloop, causing
timeout leaks or crashes.

lib-storage: Don't use cached message_parts while message is being parsed

Finish the parsing instead. Otherwise there can be some confusion about
parsed_bodystructure* fields, which indicate that data->parts have the
bodystructure info while in reality data->parts came from cached fields
and they have no bodystructure info.

lib-storage: Reset bodystructure parsing state when reseting message_parts

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

dict-sql: Fix assert-crash if trying to rollback an open set/inc transaction

Fixes:
Panic: file dict-sql.c: line 911 (sql_dict_transaction_free): assertion failed: (!array_is_created(&ctx->prev_set))

anvil: connect_limit_deinit() - Free ident_pid_hash elements

indexer: indexer_client_status_callback() - Fix accessing freed memory

Broken by a9683d7b3

indexer: Fix memory leak on indexer timeout

stats: stats_metrics_remove_dynamic() - Free the removed metric

stats: stats_metric_alloc() - Fix indentation on p_new() call

replication: aggregator - Free replicator_connection content

mail-crypt: Fix for mail being wrongly storing encrypted via LMTP

If 1st recipient has mail_crypt_save_version=2,
and 2nd recipient has mail_crypt_save_version=0,
the mail for 2nd recipient is wrongly stored encrypted.

Same happens if 2nd recipient has mail_crypt disabled

mail-crypt: Remove "plugin disabled" texts from errors

The plugin isn't just disabled, the user initialization fails entirely.

mail-crypt: Fix crash when plugin is already initialized, but not used for another user

Fixes:
Panic: Module context mail_crypt_user_module missing

doveadm deduplicate: Simplify code by using doveadm_mail_iter_deinit_sync()

doveadm deduplicate: Optimize by deduplicating in a single transaction

pop3: Fix empty command handling

If empty command is given, error out instead of trying to create event.
This fixes a crash caused by d2ab26be6038bd53b13a3ff18c403d6c192c1d91.

lib-master: Fix deinit memory leak with process_shutdown_filter

plugins/fts: Allow plugins to carry state across calls during search session

auth: ldap: Drop partially saved results before retrying request

Fixes "LDAP search returned multiple entries" happening after reconnects.

auth: ldap: If any requests were lost, reconnect to LDAP server

auth: ldap: If LDAP connection appears to be hanging, abort all old requests

Retrying the reconnect might fix them, but since this situation isn't
supposed to happen in the first place, it's safer to just remove them
entirely to guarantee that it's not trying to keep retrying them for
a long time.

auth: ldap: Reconnect to server if receiving unknown msgid

It's unclear why this happens. Is it a bug on server or client side?
Either way, this situation doesn't now fix itself automatically, so
reconnecting should help.

auth: ldap: Stop re-sending request after 3 disconnect+reconnects

This prevents retrying the same LDAP request forever in situations where the
request causes LDAP server to become disconnected. This might fix some real
issues, but it was mainly implemented because testing the following commit
caused infinite looping.

lmtp: proxy - Add per-connection counter to session_id

This way connections to two different backends don't try to use the same
session_id. Add 'P' letter before the counter to clarify that it's the
proxy connection counter.

lmtp: Simplify/clarify per-recipient session ID

The session ID is the transaction ID followed by an increasing recipient
count (number of RCPT commands) in the SMTP transaction. Clarify this by
adding 'R' letter before the counter. Also don't add the counter suffix at
all for the first recipient, since most transactions only have a single
recipient.

lib-smtp: server-transaction - Simplify/clarify transaction ID

The transaction ID is the session ID followed by an increasing transaction
count (number of MAIL commands) in the SMTP server connection. Clarify
this by adding 'T' letter before the counter. Also don't add the counter
suffix at all for the first session, since most sessions only have a
single transaction.

lib-smtp, lmtp: Add brackets to <session-id> in logging

This makes it clearer where the session-id stops. It's also similar to
how it is in mail_log_prefix.

lmtp: proxy - Use recipient-specific session-id when logging the result

Instead of transaction ID, which is shared between recipients.

lmtp: struct lmtp_recipient - Change all strings to const

lib-storage: LAYOUT=index: Fix accessing freed memory when deleting \Noselect parents

Broken by f5328d6f7e4a8e460c736fa0336f5766aa58abda

lib-http: http_server_resource_create() - Remove unnecessary pool allocation

Fixes leaking the memory pool created in stats_http_resource_add()