lib: var_expand*() - Return UNKNOWN_VARIABLE_x if %x is unknown

This was already done for %{long_keys}, just not for single letter keys.

dict: Remove "dict client: " log prefix

Almost all log messages from dict process would end up having this prefix.

lib-storage: index: imapc: Implement support for SAVEDATE attribute.

lib-imap-client: imapc-client - Recognize the new SAVEDATE capability.

imap: Implement the standard SAVEDATE capability.

lib-storage: mail-search - Add support for the SAVEDATESUPPORTED search item.

lib-storage: mail-storage - Change mail_get_save_date() to return 1 when result is reliable.

dict-sql: Pass dict event to lib-sql

dict: Add events

dict-client: Use event based logging

dict-redis: Use event based logging

dict-memcached: Use event based logging

dict-file: Use event based logging

lib-dict: Add named events

lib-dict: Add event support

dict-file: Move error logging higher up

Makes next commit easier.

lib-oauth2: Fix possible timing attack in oauth2_validate_hmac()

Use mem_equals_timing_safe() instead of memcmp() to test the equality of the digest.

lib-dict: Add refcounting

This way we do not crash if lookup callback happens after caller
has already called dict_deinit. This is now done because
dict-sql does not support aborting SQL queries. This is hopefully
fixed in future.

lib-dict: Add async lookup/commit helpers

Simplifies following commits

lib-dict-backend: Use ioloop pointers in parent struct

lib-dict: Use ioloop pointers in parent struct

lib-dns: Remove superfluous client event and avoid duplicate client connection event unreferencing.

lib-smtp: smtp-server-command - Change log label for invalid/unknown command to "[unknown]".

lib-smtp: smtp-command-parser - Don't upper-case the parsed command name.

lib-smtp: smtp-server-command - Set cmd_name event field only for valid commands.

Set cmd_input_name for the user input.

lib-smtp: smtp-server-command - Assign cmd->reg immediately.

lib: ostream-file - Fix using sendfile() when input stream is ends unexpectedly early

Handle this the same as if writing was done without sendfile(), i.e. ignore
the problem and just return EOF in input stream early.

lib: safe_sendfile() - clarify return value 0 handling

global: Remove dead assignments

Found by latest clang scan-build.

stats, fts-solr: Tweak unit tests to make static analyzers happier

imap: SETMETADATA - Reorder if checks to remove unnecessary indenting

Nothing changes in the code logic.

imap: SETMETADATA - Cleanup istream return value checking

The old code seems to have worked correctly already, but now it's a bit
clearer how it was intended to work.

lib-oauth2: Add assert to make sure json_parse_next() doesn't think istream is nonblocking

imap: Add assert to make sure fd was successfully sent to imap-hibernate

lib-index: Don't rewrite dovecot.index if another process has already done it

This mainly happened when there were multiple sessions accessing the index
at the same time.

lib-index: Log a debug message with reason whenever recreating dovecot.index

lib-index: Change mail_index.need_recreate into a string

The string specifies the reason why the recreation is wanted.

lib-index: Change mail_transaction_log_file.need_rotate into a string

The string specifies the reason why the rotation is wanted.

auth: Add session_id to default policy_request_attributes

imap: Fix SEARCH PARTIAL handling with other options

Especially SAVE and RELEVANCY should use only the partial results, not all
results.

imap: Fix SEARCH (MAX RELEVANCY) to return the relevancy

imap: Simplify SEARCH MIN and MAX result handling

imap: Fix using SEARCH RELEVANCY option with MIN/MAX

It should return only the one MIN/MAX mail's relevancy, not all of them.
Similarly the SEARCHRES $ should be updated only to the MIN/MAX mail, not
all mails.

imap: Fix using $ in a SEARCH that also uses SAVE, or fails with BAD

SEARCH RETURN (SAVE) $ cleared the $ instead of being a no-op.

Also using a SEARCH that returns BAD shouldn't have cleared $ (but NO
reply especially for BADCHARSET should clear it).

imap: Clear SEARCHRES $ after closing mailbox

$ shouldn't have been preserved after a mailbox was SELECTed.

lib-storage: mail_search_arg_init() - Remove support for changing uidset

This is done earlier now - there's no need to do it twice.

lib-storage: Fix using $ (IMAP SEARCHRES) in search seqset/uidset

auth: userdb: Ensure changed username in auth worker gets updated in cache

If a username gets changed and auth cache is in use, auth-workers for
blocking userdb did not update the username in cache. This is now
fixed by setting user_changed_by_lookup in case the username changed.

configure.ac: Don't look for PRIuSIZE_T

We are using %zu instead.

global: use %zu directly instead of PRIuSIZE_T

lib-storage: Remove stub mail support

Nothing used them in the 3 years since they were introduced.

imap: Unknown SEARCH charset should return NO, not BAD

imap: Use "unknown" for cmd_name when the command name is not known

stats: Move group-by value and label getting code into helper functions

This avoids some excessive indentation.

stats: Add support for exponential stats group-by fxn

One can specify the quantization parameters in the config file as:

    <field>:exponential:<min mag>:<max mag>:<base>

Currently, only base 2 and base 10 are supported.

For example:

    group_by = bytes_out:exponential:1:4:10

Which will quantize the bytes_out values into the buckets: (-inf, 10],
(10,100], (100,1000], (1000, 10000], (10000, +inf).

stats: Add support for linear stats group-by fxn

One can specify the quantization parameters in the config file as:

<field>:linear:<min val>:<max val>:<step>

For example:

group_by = bytes_out:linear:0:1000:100

Which will quantize the bytes_out values into the buckets: (-inf, 0],
(0,100], (100,200], ... (900, 1000], (1000, +inf).

stats: Process 'duration' like any other metric value

This will allow the soon-to-be-added group-by quantization functions to work
on the duration value.

stats: Move event field stats distribution update into a helper function

stats: Use a switch instead of if/else-if

The compiler will then warn about unchecked enum values.

stats: Add support for explicit discrete group-by function

One can specify the function as:

    <field>:discrete

This has the same exact behavior as the bare field name syntax before this
change.

For example, the following two lines have identical semantics:

    group_by = cmd_name:discrete
    group_by = cmd_name

stats: Rewrite group-by discrete test to be more thorough

This will also help with expanding the test in later commits.

stats: Move group by setting parsing earlier

Instead of doing the split and parsing in the metric code, we now do it in
the settings code.  This makes the following commits much simpler.

lib-compression: test-compression - Fix test buffer size in partial write test

The buffer size does not match the amount of data filled.

Found by valgrind.

dict-ldap: Do not attempt to query if LDAP query building fails

plugins/fts: script parser - Properly determine the attachment extension

plugins/fts: Lower-case content types received from script parser

Later on during the execution, the script parser code does a strcmp() to
match the content type of the attachment with that returned by the script.
The content type from the mail is already lowercased.

.gitignore: Fix bench-compression name

imapc: Use correct include guard in imapc-sync.h

lib: istream - Ignore unused i_stream_try_alloc() return values

lib: istream-base64-encoder - Check i_stream_try_alloc() return value

The previous check had identical behavior to this, but this makes static
analyzers happier.

auth: Invoke auth policy callback on URL parse errors

Otherwise logins will hang if auth_policy_server_url contains invalid URL.

dict: Initialize verbose proctitle immediately.

dict: Make proctitle more consistent and clear.

lib-smtp: smtp-server-reply - Don't add empty "enhanced_code" field to events

lib-compression: Add simple benchmark tool

lib-compression: test-compression - Add extensive random I/O tests.

lib-compression: test-compression - Add more unit tests

Ensure detection, seeking and small reads work

lib-compression: Fix usage of i_stream_stat

It was supposed to check that it succeeds, not fails.

lib-compression: ostream-lzma - Make sure finished stream is fully flushed

lib-compression: ostream-zlib - Fix write error handling

lib-compress: ostream-zlib - Make sure finished stream is fully flushed

lib-compression: ostream-bzlib2 - Fix write error handling

lib-compression: ostream-bzlib2 - Do not finish stream early

Flushing can happen when not finishing stream, so do not
finalize stream until it's the final flush.

lib-compression: istream-lzma - Handle read errors better

lib-compression: istream-lz4 - Refactor how chunk header is read

Chunk headers can sometime be at read borders. In this case more
data needs to be read. Fixes

Panic: file istream.c: line 333 (i_stream_read_memarea): assertion failed: (!stream->blocking)

lib-compression: istream-lz4 - Fix calling i_stream_read*() with a full buffer.

Before, this read and discarded one chunk of the compressed parent stream data,
causing data corruption. Fixed by checking whether the buffer is full first.

lib-compression: istream-lz4 - Fix problems in reading

If there is not enough data, the old code would break. Now it
can request more input and continue when it has enough.

lib-compression: Add ZSTD support

NEWS: Add news for 2.3.10

NEWS: Fix release date for 2.3.9.3

dict-client: Fix panic if iteration is deinitialized before it has finished

Fixes:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-fs: Add fs_lookup_loaded_metadata()

lib-fs: Add flags parameter to fs_vfuncs.get_metadata()

lib-fs: Add fs_file_set_flags()

example-config: Warn about ssl_client_ca_file memory usage

dict-redis: Fix hangs caused by previous dict_wait() addition

lib-ssl-iostream: Handle buggy OpenSSL error handling without assert-crash

If OpenSSL returns a syscall failure but provides no error and doesn't set
errno, log it as an OpenSSL bug instead of assert-crashing.

lib-mail: message-snippet - Quoted text could have been wrongly added to the snippet

This happened when the mail was large enough that the parsing used multiple
blocks. Parsing the following blocks were adding text in quoted state to
the non-quoted snippet string.

lib-mail: message-snippet - Don't include trailing whitespace in snippet

lib-mail: message-snippet - Count '>' in quoted snippet towards max_snippet_chars