lib-compression: test-compression - Add more unit tests

Ensure detection, seeking and small reads work

lib-compression: Fix usage of i_stream_stat

It was supposed to check that it succeeds, not fails.

lib-compression: ostream-lzma - Make sure finished stream is fully flushed

lib-compression: ostream-zlib - Fix write error handling

lib-compress: ostream-zlib - Make sure finished stream is fully flushed

lib-compression: ostream-bzlib2 - Fix write error handling

lib-compression: ostream-bzlib2 - Do not finish stream early

Flushing can happen when not finishing stream, so do not
finalize stream until it's the final flush.

lib-compression: istream-lzma - Handle read errors better

lib-compression: istream-lz4 - Refactor how chunk header is read

Chunk headers can sometime be at read borders. In this case more
data needs to be read. Fixes

Panic: file istream.c: line 333 (i_stream_read_memarea): assertion failed: (!stream->blocking)

lib-compression: istream-lz4 - Fix calling i_stream_read*() with a full buffer.

Before, this read and discarded one chunk of the compressed parent stream data,
causing data corruption. Fixed by checking whether the buffer is full first.

lib-compression: istream-lz4 - Fix problems in reading

If there is not enough data, the old code would break. Now it
can request more input and continue when it has enough.

lib-compression: Add ZSTD support

NEWS: Add news for 2.3.10

NEWS: Fix release date for 2.3.9.3

dict-client: Fix panic if iteration is deinitialized before it has finished

Fixes:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-fs: Add fs_lookup_loaded_metadata()

lib-fs: Add flags parameter to fs_vfuncs.get_metadata()

lib-fs: Add fs_file_set_flags()

example-config: Warn about ssl_client_ca_file memory usage

dict-redis: Fix hangs caused by previous dict_wait() addition

lib-ssl-iostream: Handle buggy OpenSSL error handling without assert-crash

If OpenSSL returns a syscall failure but provides no error and doesn't set
errno, log it as an OpenSSL bug instead of assert-crashing.

lib-mail: message-snippet - Quoted text could have been wrongly added to the snippet

This happened when the mail was large enough that the parsing used multiple
blocks. Parsing the following blocks were adding text in quoted state to
the non-quoted snippet string.

lib-mail: message-snippet - Don't include trailing whitespace in snippet

lib-mail: message-snippet - Count '>' in quoted snippet towards max_snippet_chars

lib-mail: message-snippet - Fix size limits for quoted snippets

If the input only had quoted text, the snippet size wasn't limited to
max_snippet_chars as long as there was any whitespace in the quoted text.

m4: Fix typo

It's mitigation not migitation

lib-smtp: smtp-server-cmd-rcpt - Make sure state is advanced to "RCPT TO" once command completes.

lmtp: Add details to the DATA state for use in process title.

submission: submission-client - Record and use protocol state in client object.

lmtp: lmtp-client - Record and use protocol state in client object.

lib-smtp: smtp-server-connection - Record protocol state arguments.

auth: db-oauth - Match scopes split by spaces

Allow the user in if there is at least one matching scope.

example-config: Add oauth2 sample file

auth: Support local validation of oauth2 tokens

lib-oauth2: Add support for validating JWT tokens

This adds support for handling JWT tokens without external server.
It supports HS/RS/PS/ES algorithms with SHA-2 hashes.

The validation keys are pulled from specified dict and cached automatically
in memory.

lib-oauth2: Add helper for parsing json strings

lib-dcrypt: Add dcrypt_is_initialized

Allows testing whether it is possible to call dcrypt functions.

lib: hash2 - Add string key helpers

lib: ostream - Add o_stream_create_file

Opens file for reading, and creates it, if it exists.

util: Hide password but not the field name in dovecot-sysreport

util: dovecot-sysreport: Fix bug in perl existence check

Also use "[[" command to be consistent with rest of the script.

lib-index: Fix potential crash when writing to unusable dovecot.index.cache

Broken by a4671d9c5744d728e030370a39df914cebefbefe

lib-index: Log debug messages with e_debug()

lib-index: Log all errors with e_error()

lib-index: mailbox_log - log errors with e_error()

lib-index: Add event to mailbox_log

fs-compress, fs-crypt, fs-metawrap: Add ASYNC_NOQUEUE in fs_file_init_parent

In order to prevent hangs or waiting on empty ioloops when the number of
mails to prefetch exceeds the lib-http request-queue length, add the
FS_OPEN_FLAG_ASYNC_NOQUEUE flag when calling fs_file_init_parent.

This additional flag makes sure that the file-operations will be handled
immediately without additional command queueing.

lib-index: Try to compress cache when it's about to become too large

lib-index: Add mail_cache.last_stat_size

lib-storage: Add mail_cache_max_size setting

lib-index: Change max cache file size from 4 GB to 1 GB

Over 1 GB sizes already weren't working correctly, because
mail_index_uint32_to_offset() assert-crashes on >=1 GB sizes.

Fixes:
Panic: file mail-index-util.c: line 37 (mail_index_uint32_to_offset): assertion failed: (offset < 0x40000000)

lib-index: Add mail_index_cache_optimization_settings.max_size

This can be used to limit the cache file's maximum size.

util: Change interpreter in dovecot-sysreport to /usr/bin/env bash

This is more portable.

util: Cleanup whitespace in dovecot-sysreport

lib-mail: Improve test-message-decoder unit test

lib-mail: message-decoder - Remove unnecessary encoding_buf

lib-mail: message-decoder - Fix using the new incremental base64-decoder API

Decoding multiple base64 blocks caused the decoder to produce garbage.
Broken by afa3db0a6f15e1b1038cb47f0632baa8f23d0f67

NEWS: Add news for 2.3.9.3

lib-mail: message_snippet_generate() - Fix potential crash when input ends with '>'

This happens only when the mail was large enough and full enough with
whitespace that message-parser returned multiple blocks before the snippet
was finished.

Broken by 74063ed8219d055489d5233b0c02a59886d2078c

lib-mail: test-message-snippet - Test for invalid and truncated UTF-8

lib-fts: Add assert to make sure uni_utf8_get_char() returns valid UTF-8

The input to lib-fts is always expected to be valid UTF-8.

fts-solr: Add asserts to make sure make sure uni_utf8_get_char_n() returns valid UTF-8

FTS input is always valid UTF-8. This just makes it a bit clearer.

lib-smtp: test-smtp-command-parser - Add tests for incomplete UTF-8 characters.

lib-smtp: smtp-command-parser - Fix infinite loop occurring when command stream ends in UTF-8 character.

Broken by 8f08f1944be438a2422b604c08e5060b5c7bd72f.

man: doveadm-sync - Fix message UID in example

m4: dovecot.m4 - It's Schridde, not Schridded

Mistakenly changed in a50212d6827

dovecot.m4: Bump serial

dovecot.m4: Add --with-retpoline

Makes retpoline optional.

dovecot.m4: Split retpoline check into parts

imap: expunge: Expunge \Deleted mails in batches of 1000

imap: expunge: Collect all \Deleted mails' seqs and then expunge them

This makes the following commit much more understandable.

imap: move: Send untagged OK/COPYUID also when the move succeeded partially

If at least one transactions was successfully committed, something was
moved. Even if another transaction failed later on and the MOVE command
fails with NO, send the untagged OK/COPYUID which describes which mails
were successfully moved.

imap: copy/move: Move code to cmd_move_send_untagged()

imap: copy/move: Fix error handling when source transaction/search fails

Previously the destination storage was used for getting the error. If the
source and destination storages were different, this resulted in getting a
wrong error.

imap: Add client_send_error()

imap: move: Commit transactions every 1000 mails

imap: Add imap_search_seqset_iter_*() API for batched iteration of a seqset

imap: copy/move: Handle transaction commit changes within fetch_and_copy()

This prepares to support multiple destination transactions.

imap: copy/move: Move copy_update_trashed() earlier

imap: copy/move: Refactor to use struct cmd_copy_context

lib: Add seq_range_array_merge_n()

lib-storage: Autoexpunge mails in batches of 1000

lib-storage: Move mail autoexpunge loop into a helper function

This makes the next commit easier.

imap: Implement the STATUS=SIZE capability.

Coexists with the existing proprietary X-SIZE status, which is to be deprecated
in the future.

imap: Restructure handling of the STATUS response so that it uses its own flags for the items.

Before, it used mailbox status and metadata item flags for this purpose.
This is needed to allow the existing X-SIZE and the newly standardized SIZE flag to coexist.

dict-redis: Add missing dict_wait()

This caused various problems when used in places where dict_wait() was
required, e.g. quota or quota_clone plugins.

plugins: push-notification: Include mailbox field

plugins: push-notification: Only emit event if something was triggered

Otherwise events would be sent from non-push transactions, such
as mail searches.

push-notification: Don't send event on failure

If transaction was rolled back, don't send event.

push-notification: Use transaction event in HTTP request

plugins: push-notification: Reformat push-notification-txn-msg.h.

plugins: push-notification: Reformat push-notification-txn-msg.c.

plugins: push-notification: Reformat push-notification-txn-mbox.h.

plugins: push-notification: Reformat push-notification-txn-mbox.c.

plugins: push-notification: Reformat push-notification-triggers.h.

plugins: push-notification: Reformat push-notification-triggers.c.

plugins: push-notification: Reformat push-notification-plugin.c.

plugins: push-notification: Reformat push-notification-events.h.

plugins: push-notification: Reformat push-notification-events.c.

plugins: push-notification: Reformat push-notification-events-rfc5423.h.