NEWS: Add lua-http crash fix

lib-lua: http - Use correct dns-client path

The current code tries to look it up from user homedir sometimes.

Broken in 5b56debd31800ec45fc0c6529b138d1ce943b0aa

lib-sql: Add sql_statement_set_no_log_expanded_values()

This allows to store no_log_expanded_values to sql_statement.

dict: Implement DICT_PROTOCOL_CMD_HIDE_LOG_VALUES for dict and dict-proxy

lib-dict: Add .set_hide_log_values() to dict vfuncs

This is used to set hide_log_values in dict op settings.

cassandra: Rename query to log_query and initialize it with sql_statement_get_log_query()

Also add sql_statement_get_log_query() to sql-api.

lib-event: Add event_unset_log_message_callback()

fs-api: Add fs_get_event()

NEWS: Add POP3 assert-crashfix.

pop3: Fix assert-crash when POP3 command name contained ':'

The cmd_<name> reason code now only uses valid command names.

Broken by d2ab26be6038bd53b13a3ff18c403d6c192c1d91 with incomplete fix in
1309137812424c80e63d3c1052795b43d6e19803.

Fixes:
Panic: event_reason_code_prefix(): name has ':'

pop3: Move pop3 commands to array and add pop3_command_find()

configure: Set version to 2.3.20

NEWS: Add NEWS for 2.3.20

NEWS: Update news

lmtp: Fix restoring global log prefix after session is finished

Broken by 069dfd657fd91a0e2a3a9307a0cf499d795f27f2

This change also slightly changes the lmtp log prefixes in some places.
It removes "conn $ip:$port [$idx]: rcpt $user:" from some of the log
messages (but that wasn't in all of the log messages anyway), but it now
always includes mail_log_prefix in these log messages, which previously
wasn't always set at that point yet.

fts: struct fts_user - Drop data_languages

fts: fts-search-args - Fix stopwords expansion (only on multiple languges and with stopword filter enabled)

lib-storage: enum mail_search_arg_type - Add SEARCH_NIL

lib-storage: mail_search_args_simplify_drop_redundant_args() - Apply Absorptive law versus all terms, not just the 1st

dsync: Skip autocreated mailboxes that haven't been created yet

imapc: Fix listing INBOX when INBOX is already the namespace prefix

This especially caused problems when using dsync with imapc, resulting in
"Remote lost mailbox GUID" errors.

replicator: Fix crash when importing user not listed by userdb iteration

Broken by 31545b4f38ea85615f0111a33d630a03d92d22ab

replicator: Add unit test to replicator-queue

replicator: Add replicator_queue_count() and replicator_queue_peek()

These will be useful for the following unit test.

replicator: Add "next sync secs" field to doveadm replicator status

replicator: Make sure to prevent request starvation

This synchronizes how priority queue is ordered vs what
replicator_queue_want_sync_now() returns. The mismatch might have caused
request starvation in some situations because they behaved differently.

Also this change makes sure that higher priority requests don't infinitely
block lower priority requests. Instead, they get a temporary boost time
(hardcoded 15-45 minutes). Afterwards lower priority requests are started
to be handled as well.

replicator: Don't update user's last_update if priority doesn't change

This didn't actually matter, since it was only used to check if importing
should update an existing user. However, importing is only run at startup
when all users have last_update=0 anyway.

The following changes bring new use cases for last_update.

replicator: Change replicator_queue_add_sync_callback() to take user struct

This is just to clean up the API to match the previous change.

replicator: Fix user placement in replication queue

Especially replicator queue importing and NOTIFY command could have
placed the user to wrong place in the queue, because they modified the
last sync timestamps afterwards.

Fixed by splitting replicator_queue_add() into get/update/add(), so all
the necessary changes can be done before replicator_queue_add() is used
to place the user into the queue.

maildir: If mailbox create fails, don't try to apply mailbox_update changes

This was especially causing problems with mailbox GUID mismatches in dsync.
The mismatch wasn't automatically fixed, because mailbox_create() incorrectly
kept updating the mailbox GUID for the already existing mailbox.

Fixes errors such as:
Remote lost mailbox GUID ... (maybe it was just deleted?)

lib-storage: mailbox_attribute_get*() - Fail early on with empty key lookup

This fixes using mail_attribute_dict with dict-sql.

imapc: imapc_connection_disconnect_full() - Only conditionally abort

Only abort commands if there are no reconnect commands. Otherwise these
still will be handled and the commands memory will be freed after handling
them.

Broken by 6d16e82fa2c352974558e1415d06f07d8962fe09

imapc: imapc_connection_disconnect_full() - Prevent leaking cmd->pool

If the imapc connection was already disconnected when calling
imapc_connection_disconnect() it didn't clean up the commands and
especially the command pools.

imapc: imapc_mailbox_get_status() - Implement STATUS_UNSEEN with INDEXPVT

lib-storage: mail-storage-list-index-rebuild - Don't use continue inside T_BEGIN..T_END

Coverity doesn't like using continue there.

lib-storage: LAYOUT=index rebuild - Fix detecting duplicate mailbox GUIDs in index

Otherwise duplicate folders are not properly cleared out.

Broken in 2fc8d7024bb161aab08031b8212a736301844858

lib-storage: LAYOUT=index rebuild - Remove existence check

It's not needed.

lib-storage: LAYOUT=index rebuild - Sort mailbox tree before creating

Try to load the mailbox original name already from storage
so we can sort & create the mailbox tree in correct order.

lib-storage: LAYOUT=index rebuild - Remove first_list usage

Instead, keep track of the list where box was found.

lib-storage: LAYOUT=index rebuild - Remove useless check for LAYOUT=index

This is already done when collecting namespaces.

Simplifies next change.

lib-storage: LAYOUT=index rebuild - Fix rebuilds when using multiple namespaces

The old code did not properly populate the mailbox list for each
namespace, but only for the first namespace. This caused mailbox
storage existence checks to always fail.

This applies for LAYOUT=index only.

Broken in 2fc8d7024bb161aab08031b8212a736301844858

lib-storage: list - Add separators to mailbox names when decoding from index

Mailbox name header decode did not add separators to name,
producing only FooBarBar, when it was supposed to give
Foo/Bar/Baz.

Broken in 8216a079d8aac93e2537ed79485e301350ff3887

lib-storage: Store mailbox names unescaped in box-name header

This header is used when rebuilding mailbox list indexes with LAYOUT=index.
The escape character is currently hardcoded for LAYOUT=index, so this
couldn't have broken anything unless the hardcoded separator was changed.
Still, this was wrong/confusing behavior.

dict-redis: Fix crash when using synchronous commit

Redis is usually used via dict proxy process, which always uses async
commit, so this didn't matter so much.

director: Fix handling auth_master_user_separator setting

It was actually using a separate master_user_separator setting, causing
logins based on auth_master_user_separator to be hashed to wrong backends.

doveadm: Fix assert-crash on secondary service_user failures

This mainly affected dsync when imapc authentication failed, but could have
also happened with copy and import commands.

Fixes:
Panic: file lib-event.c: line 506 (event_pop_global): assertion failed: (event == current_global_event)

lib-storage: Fix MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT to not change log prefix in ioloop context changes

This didn't appear to cause any visible bugs with the current code, but is
required by the next commit.

Broken by ad13ab0702141065b79a1b7e8f2833e5b93871a4

 doc/example-config: Document submissions/465 for submission-login

lib-storage: Avoid calling mail_set_attachment_keywords() recursively

It doesn't break, but it's unnecessary work.

lib-imap: imap_bodystructure_parse*() - Reset parts.data on failure

Having the data filled only to some message_parts can confuse the callers,
thinking that all the parts were successfully filled.

Fixes:
Panic: file message-part-data.c: line 579 (message_part_is_attachment): assertion failed: (data != NULL)

dsync: Add more debug logging

dsync: Fix dsync_features=no-header-hashes to match UIDs

Mails were previously assumed to be the same, even if their UIDs didn't
match. This caused the sync to misbehave in some situations.

lib: ioloop-kqueue - Include time-util.h

Needed to compile on MacOS

util: dovecot-sysreport - Add timestamps before/after "ps" output

Sometimes running "ps" can take a while, so make it clear in the output if
this has happened.

util: dovecot-sysreport - Wait 3 seconds between "ps" outputs

This allows showing more clearly in ps_output file whether a process is
using 100% CPU.

doveadm deduplicate: Allocate memory properly for keys in hash table

This caused wrong mails to be deleted somewhat randomly.
Broken by 320844f50cd669b602d30210e2e5216f65d2050f

auth: db_oauth2_have_all_fields() - Fix auth field existence check

The correct pointer to pass on there is field, since ptr is the original
which still includes the ending }.

Broken in 9b670175445a75987a713ff899d1a945255b0b5b and incorrectly fixed
in 5c2f3d0b85830d18dbb8b45b348da091e24d1b3b.

lib-compression: istream-decompress - Copy parent stream name

This is needed, because istream-decompress doesn't actually use the parent
stream as the istream parent.

stats: stats-service-openmetrics - Always clear the stack before next metric body

If the attempt of generating output for the previous metric doesn’t completely
consume the stack, the next metric will start with a non-empty stack, which breaks
the metrics output.

doveadm: Add dsync_features=no-header-hashes

When this setting is enabled and one dsync side doesn't support mail GUIDs,
there is no fallback to using header hashes. Instead, dsync assumes that
all mails with identical IMAP UIDs contains the same mail contents. This
can significantly improve dsync performance with some IMAP servers that
don't support caching Date/Message-ID headers.

auth: Fix assert-crash in iterating multiple userdbs

Broken by 501e17ba6b448ba3c88338596e0e8f99f0693f79

Fixes:
Panic: file userdb-blocking.c: line 125 (userdb_blocking_iter_next): assertion failed: (ctx->conn != NULL)

lib: Fix for clang Wstrict-bool pragma failing on unpatched clang

Note that clang recognises GCC diagnostic pragmas too,
so there is no need for distinct pragmas in this case

quota: Fix for clang -Wstrict-bool clashing with #include <rpc/rpc.h>

m4: adding check for clang -Wstrict-bool availability

submission: Don't log write() errors that fail due to ECONNRESET

These happen only if client initialization fails.

imap: Don't log write() errors that fail due to ECONNRESET

These happen only before the client is fully initialized.

fts: Fix optimizing searches in virtual mailboxes without up-to-date indexes

This could have caused header searches in virtual mailboxes to not return
all results when fts_enforced!=yes

Broken by 9705b81fb51b5bdeaba12932a390ced2cc9dcad7

lib-lua: dlua-dovecot-http - Support more settings with HTTP client

lib-http: Rename max_auto_retry_delay to max_auto_retry_delay_secs

auth: auth_worker_call() - Return void instead of the connection

The return value is no longer necessary, and it most likely would just be
used wrong.

auth: Fix crash when user iteration request is queued

auth_worker_call() returns NULL when the request couldn't be handled
immediately, which would result in NULL pointer dereference later on.

auth: Add connection parameter to auth_worker_callback_t

doveadm: Fix hang when flushing a corked print-ostream

This could have happened at least with doveadm sync/backup command,
i.e. causing replication to hang until timeout is reached:

Error: write(<local>) failed: Timed out after 60 seconds

lib-index: Always write tail offset the same as head offset

The mail_index_write() must not be called unless this is safe to do.
This prevents unnecessarily reading through dovecot.index.log between
tail..head offsets, which can be expensive due to modseq calculation.

lib-index: Optimize modseq scanning by using the modseq header in index

View is very commonly set to start reading new changes since dovecot.index
was last written. When reading the newer records in dovecot.index.log, the
modseq of each change is needed to be known. However, the initial modseq
calculation was usually done inefficiently by reading the whole
dovecot.index.log from the beginning of the file. This change prevents
that by using instead the "modseq" header in dovecot.index to get the
initial modseq.

lib-index: Handle 0-sized dovecot.index.log record properly

The previous behavior was to just silently ignore it and have the next write
to the transaction log silently truncate away the trailing garbage.

Now if the log file isn't locked the issue is still ignored, since it's
possible that this is just a race condition. But if the log is locked,
it's handled as corruption.

lib: test-event-flatten - Use __FILE__ to get correct expected filename

Fixes out of tree buids

Broken in 4f752d381c8e19dd07d1e593996d02294668c8b6

auth: db-oauth2 - Fix off by one in oauth2 variable handling

Broken in 9b670175445a75987a713ff899d1a945255b0b5b

dsync: Properly terminate escape_chars when escaping mailbox names

Broken by 596c5a52e7e554571285e90063712cb0d37b34eb

dsync: Fix hierarchical mailbox name parts individually

For example with filesystem-based mailbox formats it's not allowed to create
"box/../child" mailbox. With previous code dsync just gave up and created
the mailbox name based on its GUID. This is now improved to instead try to
insert '_' character after each hierarchy separator so the newly fixed
mailbox name is "box/_../child".

dsync: Escape and unescape mailbox names as needed

This should fix various issues with syncing local and remote mailbox names.
It especially avoids changing the escape character to alt_char.

dsync: Track whether escape character was added just for dsync

Will be used by the following commit

dsync: Add clarifying comment about mailbox_log_record.maibox_guid contents

dsync: Add escape_char to dsync-mailbox-tree

This will be used by the following changes.

lib-test: test-subprocess - Free subprocess before forking

Otherwise it'll leak memory.

Broken in 34bdfdcbc7e3b374a219732329b6ce6d84a7666e

lib-lua: Add a minimal interface to lib-http

Adds the ability to
- Creating http clients
- Creating http requests
- Adding arbitrary headers and payload to the http request
- Submitting the request to remote server and getting the response

doveadm-who: Do not parse numbers as IP addresses

Fixes doveadm kick as well.

Broken in 381daab1e3b56a0bc94d2191cf62beba0df51af9

lib: test-seqset-builder - Add missing seqset_builder_deinit()

Fixes leaking memory when running tests.

imapc: imapc_transaction_save_rollback() - Fix NULL-check for ctx->src_mbox

Assert that unfinished context implies that ctx->src_mbox is non-NULL.
Also check for ctx->src_mbox being non-NULL before deinitializing it.

imapc: imapc_mailbox_msgmap_update() - Set new_message_r

In case a message has not yet been keep the reply till syncing and do
not discard it right away.

imapc: Delay fetching state after untagged exists reply

imapc: imapc_copy() - Make sure capabilities are known before copying

imapc: Implement rollback for failed copies

imapc: imapc_save_copyuid() deduplicate code

imapc: Enable bulk copying if remote backend has UIDPLUS capability

imapc: Implement bulk copying for imapc

imapc: Extract imapc_copy_simple() from imapc_copy()

Keep the old one by one copying functionality as simple call. This will
be used if the remote backend does not have the UIDPLUS capability.

lib-storage: index_save_context_free() - Add assertion on non-NULL ctx->dest_mail

lib: Add seq-set-builder and tests for it

lib-storage: imapc_mailbox_close() - Remove unprocessed untagged_fetch_contexts