lib-index: Change max cache file size from 4 GB to 1 GB

Over 1 GB sizes already weren't working correctly, because
mail_index_uint32_to_offset() assert-crashes on >=1 GB sizes.

Fixes:
Panic: file mail-index-util.c: line 37 (mail_index_uint32_to_offset): assertion failed: (offset < 0x40000000)

lib-index: Add mail_index_cache_optimization_settings.max_size

This can be used to limit the cache file's maximum size.

util: Change interpreter in dovecot-sysreport to /usr/bin/env bash

This is more portable.

util: Cleanup whitespace in dovecot-sysreport

lib-mail: Improve test-message-decoder unit test

lib-mail: message-decoder - Remove unnecessary encoding_buf

lib-mail: message-decoder - Fix using the new incremental base64-decoder API

Decoding multiple base64 blocks caused the decoder to produce garbage.
Broken by afa3db0a6f15e1b1038cb47f0632baa8f23d0f67

NEWS: Add news for 2.3.9.3

lib-mail: message_snippet_generate() - Fix potential crash when input ends with '>'

This happens only when the mail was large enough and full enough with
whitespace that message-parser returned multiple blocks before the snippet
was finished.

Broken by 74063ed8219d055489d5233b0c02a59886d2078c

lib-mail: test-message-snippet - Test for invalid and truncated UTF-8

lib-fts: Add assert to make sure uni_utf8_get_char() returns valid UTF-8

The input to lib-fts is always expected to be valid UTF-8.

fts-solr: Add asserts to make sure make sure uni_utf8_get_char_n() returns valid UTF-8

FTS input is always valid UTF-8. This just makes it a bit clearer.

lib-smtp: test-smtp-command-parser - Add tests for incomplete UTF-8 characters.

lib-smtp: smtp-command-parser - Fix infinite loop occurring when command stream ends in UTF-8 character.

Broken by 8f08f1944be438a2422b604c08e5060b5c7bd72f.

man: doveadm-sync - Fix message UID in example

m4: dovecot.m4 - It's Schridde, not Schridded

Mistakenly changed in a50212d6827

dovecot.m4: Bump serial

dovecot.m4: Add --with-retpoline

Makes retpoline optional.

dovecot.m4: Split retpoline check into parts

imap: expunge: Expunge \Deleted mails in batches of 1000

imap: expunge: Collect all \Deleted mails' seqs and then expunge them

This makes the following commit much more understandable.

imap: move: Send untagged OK/COPYUID also when the move succeeded partially

If at least one transactions was successfully committed, something was
moved. Even if another transaction failed later on and the MOVE command
fails with NO, send the untagged OK/COPYUID which describes which mails
were successfully moved.

imap: copy/move: Move code to cmd_move_send_untagged()

imap: copy/move: Fix error handling when source transaction/search fails

Previously the destination storage was used for getting the error. If the
source and destination storages were different, this resulted in getting a
wrong error.

imap: Add client_send_error()

imap: move: Commit transactions every 1000 mails

imap: Add imap_search_seqset_iter_*() API for batched iteration of a seqset

imap: copy/move: Handle transaction commit changes within fetch_and_copy()

This prepares to support multiple destination transactions.

imap: copy/move: Move copy_update_trashed() earlier

imap: copy/move: Refactor to use struct cmd_copy_context

lib: Add seq_range_array_merge_n()

lib-storage: Autoexpunge mails in batches of 1000

lib-storage: Move mail autoexpunge loop into a helper function

This makes the next commit easier.

imap: Implement the STATUS=SIZE capability.

Coexists with the existing proprietary X-SIZE status, which is to be deprecated
in the future.

imap: Restructure handling of the STATUS response so that it uses its own flags for the items.

Before, it used mailbox status and metadata item flags for this purpose.
This is needed to allow the existing X-SIZE and the newly standardized SIZE flag to coexist.

dict-redis: Add missing dict_wait()

This caused various problems when used in places where dict_wait() was
required, e.g. quota or quota_clone plugins.

plugins: push-notification: Include mailbox field

plugins: push-notification: Only emit event if something was triggered

Otherwise events would be sent from non-push transactions, such
as mail searches.

push-notification: Don't send event on failure

If transaction was rolled back, don't send event.

push-notification: Use transaction event in HTTP request

plugins: push-notification: Reformat push-notification-txn-msg.h.

plugins: push-notification: Reformat push-notification-txn-msg.c.

plugins: push-notification: Reformat push-notification-txn-mbox.h.

plugins: push-notification: Reformat push-notification-txn-mbox.c.

plugins: push-notification: Reformat push-notification-triggers.h.

plugins: push-notification: Reformat push-notification-triggers.c.

plugins: push-notification: Reformat push-notification-plugin.c.

plugins: push-notification: Reformat push-notification-events.h.

plugins: push-notification: Reformat push-notification-events.c.

plugins: push-notification: Reformat push-notification-events-rfc5423.h.

plugins: push-notification: Reformat push-notification-events-rfc5423.c.

plugins: push-notification: Reformat push-notification-event-messagetrash.h.

plugins: push-notification: Reformat push-notification-event-messagetrash.c.

plugins: push-notification: Reformat push-notification-event-messageread.h.

plugins: push-notification: Reformat push-notification-event-messageread.c.

plugins: push-notification: Reformat push-notification-event-messagenew.h.

plugins: push-notification: Reformat push-notification-event-messagenew.c.

plugins: push-notification: Reformat push-notification-event-messageexpunge.h.

plugins: push-notification: Reformat push-notification-event-messageexpunge.c.

plugins: push-notification: Reformat push-notification-event-messageappend.h.

plugins: push-notification: Reformat push-notification-event-messageappend.c.

plugins: push-notification: Reformat push-notification-event-message-common.h.

plugins: push-notification: Reformat push-notification-event-message-common.c.

plugins: push-notification: Reformat push-notification-event-mailboxunsubscribe.h.

plugins: push-notification: Reformat push-notification-event-mailboxunsubscribe.c.

plugins: push-notification: Reformat push-notification-event-mailboxsubscribe.h.

plugins: push-notification: Reformat push-notification-event-mailboxsubscribe.c.

plugins: push-notification: Reformat push-notification-event-mailboxrename.h.

plugins: push-notification: Reformat push-notification-event-mailboxrename.c.

plugins: push-notification: Reformat push-notification-event-mailboxdelete.h.

plugins: push-notification: Reformat push-notification-event-mailboxdelete.c.

plugins: push-notification: Reformat push-notification-event-mailboxcreate.h.

plugins: push-notification: Reformat push-notification-event-mailboxcreate.c.

plugins: push-notification: Reformat push-notification-event-flagsset.h.

plugins: push-notification: Reformat push-notification-event-flagsset.c.

plugins: push-notification: Reformat push-notification-event-flagsclear.h.

plugins: push-notification: Reformat push-notification-event-flagsclear.c.

plugins: push-notification: Reformat push-notification-drivers.h.

plugins: push-notification: Reformat push-notification-drivers.c.

plugins: push-notification: Reformat push-notification-driver-ox.c.

plugins: push-notification: Reformat push-notification-driver-lua.c.

plugins: push-notification: Reformat push-notification-driver-dlog.c.

lib: Timeouts may have been run a bit too early

The timeout was run early if it was to be run in less than 1 millisecond.

This could have resulted in an infinite loop in some special situations
when timeout_add_absolute() was used in a timeout callback.

lib: Add i_nanoseconds() and i_microseconds()

global: Replace the rest of the gettimeofday() calls with i_gettimeofday()

It can't practically fail, so don't keep error handling that is never
tested.

global: Replace most gettimeofday() calls with i_gettimeofday()

Replace the ones where error handling is:
 * Nonexistent
 * i_fatal()
 * i_panic()

lib: Add i_gettimeofday()

lib-program-client: Allocate string settings on the client pool.

Before, it assumed the strings to be durably allocated externally, which is very
risky.

lib-smtp: client: transaction: Prevent NULL dereference in smtp_client_transaction_unref().

The trans pointer is used before it is checked for being NULL, which is allowed
for this function.

Problem found by Coverity.

lib-index: Explicitly ignore mail_index_cancel_flag_updates() return value

Makes static analyzers happier.

lib-mail: Initialize start_pos in message_header_decode_encoded

Satisfies static analyzers

lib-program-client: Ensure set is not NULL in program_client_init

Would cause crash otherwise.

Found by coverity.

doveadm: doveadm-mail-mailbox-metadata - Handle error in doveadm_print_istream

Found by coverity

lib-smtp: Remove double-assign of passthrough event

Found by coverity

doveadm: doveadm-sis - Ensure buf2 is not overrun

Satisfies static analysers.

lib-mail: Add assert to ensure we don't overstep in input_idx_need_encoding

Satisfies static analysers.

lib-http: Fix memory leak in http_server_response_add_permanent_header

Key and value is duplicated twice and the first duplicates are
discarded without freeing.

Found by coverity.

lib: Assert-crash on i_rand_limit(0) and add unit tests

lib: event_filter_match() - "field=" filter now matches nonexistent field

This makes sense, because event_filter_clear() also works by adding an empty
value to the event. So it wouldn't even be possible to differentiate between
empty and nonexistent fields unless larger changes were made.

lib-smtp: smtp-client-transaction - Fix immediate transaction to wait until the connection is ready.

A transaction with the immediate mode enabled did not wait and started to submit
commands too early; i.e., before an EHLO reply is received. This means that
the first MAIL command is always sent bare without any extensions and the XCLIENT
command is not sent when it is deferred (e.g. for submission).