plugins: fts-solr: Reformat solr-connection.c.

lib-master: master-login-auth - Fix master_login_auth_request leakage

lib-master: master-login-auth - Fix auth lookup privilege problem when imap process is reused and user is un-hibernated.

lib-test: test-common - Add "test_expect_error_string_n_times" function to expect an error output for an arbitrary times.

lib-master: master-login-auth - Reformat unnecessary semicolon

lib-master: Simplify auth-master connection code

For UNIX sockets the client_connected callback is always called immediately
after successful connection_client_connect(). So we might as well directly
add auth->connected=TRUE after it succeeds without having to go through the
callback.

If the callback had been called later, the current code would have been
broken because it already assumed that auth->connected=TRUE is set
immediately after returning from master_login_auth_connect(). So this
change just makes it clearer what happens and what is required.

stats: Make sure unit tests don't fail with fast CPUs

run-test-valgrind.supp: Drop fun:*msync from libunwind suppression

This is either fun:__msync_nocancel or fun:msync, and hopefully the
suppression here works for both.

m4: Always generate suppressions with valgrind

stats: Output multi level sub-metrics correctly

stats: Add unit test for group by

stats: Add initial unit tests

stats: Implement group_by

group_by allows dynamic creation of sub-metrics for metric.

Example:

metric imap_command {
   event_name = imap_command_finished
   group_by = cmd_name tagged_reply_state
}

will generate following metrics

imap_command_select_ok
imap_command_select_bad
imap_command_select_no

etc.

based on what sort of events come in. new metrics are generated
when event comes in and then they are tracked.

only strings can be used for group_by for now.

stats: Dump sub-metrics

stats: Add sub-metrics to metrics

Needed by next commit

stats: Move metric initialization to stats_metric_alloc()

stats: Add data stack frames when handling events

Reduces memory usage

lib-storage: Always fix inconsistency when syncing private flags index

The flags index can't be fully synced with the main index at all times
anyway, so don't even try. Just fully sync it always and fix any found
inconsistencies.

Fixes:
Error: dovecot.index.pvt reset, view is now inconsistent

lib-index: Fix potential crash when view is synced after index is reset

view_sync_set_log_view_range() sees that index is reset, so it clears the
log_view, which sets log_view->cur=NULL. Later on view_sync_have_expunges()
calls mail_transaction_log_view_mark(), which crashes because
log_view->cur==NULL.

This crash mainly happened when searching for seen flags in a newly created
mailbox with INDEXPVT. This commit doesn't actually fix the bug, but it
fixes the resulting crash.

lib-storage: mailbox_get_metadata() - Return cache_fields allocated from data stack

Using mailbox.metacache_pool breaks if it's called multiple times for the
same mailbox and the old results are still used. This happened in
index_copy_cache_fields() when copying mails within the same mailbox. In
some situations this could have caused a crash.

lib-http: Update event fields once more in http_client_request_submit()

Especially the port number could have changed.

lib-http: Add support for permanent headers

lib-http: Add http_client_request_set_event_headers()

lib-http: Include HTTP response reason text in debug log messages

fs-compress, fs-crypt: Remove duplicate fs-driver prefix in init errors

fs_init() already prefixes the error with "fs-driver: "

global: Don't use CALLBACK_TYPECHECK() in arithmetic with context

This fails if the context type is incomplete.

lib-http: Add http_client_request_get_attempts()

NEWS: Add news for 2.3.9.2

push-notification: Fix crash with empty from/to header

mdbox: Support setting save_date

NEWS: Add news for 2.3.9.1

cassandra: Handle CASS_ERROR_SERVER_WRITE_FAILURE also as "uncertain write"

This error apparently doesn't happen often, but it seems to be a per-node
failure so some Cassandra nodes could have written the change.

lib-smtp: Add smtp_address_case_equals().

lib-smtp: Add smtp_address_cmp_icase().

push-notification-driver-lua: Provide missing to/from as empty string

push-notification: Handle group names correctly in from/to

Fixes signal 11 crash

submission: Fix submission_max_mail_size setting type

lib-fs: Add fs event category to fs events

lib-fs: Log any pending errors in fs_file_deinit()

If error was set to the file but it wasn't accessed with
fs_file_last_error(), it means the error message would become lost.
Usually this is probably not intended.

lib-fs: Log previous fs_file error if it's being overridden

This makes sure that errors aren't lost. If fs_file_last_error() has been
used it means that the error has been looked at and there's no need to log
it.

Some of the "expected" errors won't be logged though. This check is done
based on errno. This is also why this commit reorders
fs_file_set_error_async() to set errno=EAGAIN earlier.

test-fs-posix: Check for failed fs_read() error string

lib-fs: Replace fs error with file/iter-specific error

Removed fs_last_error(), since it can't be used anymore.

lib-fs: Move file deinit code from fs_file_deinit() to fs_file_free()

lib-fs: Add fs_file_free() to run common deinit code

lib-fs: Change fs_set_error() to take event instead of fs

Also log the error as debug message. This allows capturing the events for
statistics or event exporting.

lib-fs: Set internal fs/file/iter pointers to events

This will be used by the following commit

lib-fs: Rename fs_set_error_async() to fs_file_set_error_async()

Also changed to take fs_file instead of fs parameter.

fs-posix: Change fs_posix_rmdir_parents() to take fs_file instead of fs

fs-sis: Don't overwrite error already set by fs_sis_path_parse()

fs-sis: Change some internal functions to take fs_file instead of fs

fs-posix: Change fs_posix_get_mode() to take file parameter, not fs

lib-fs: Remove fs_set_critical()

The original idea was similar to mail_storage_set_error/critical()
separation. But in storage they are used to clearly separate between
errors caused by untrusted users vs internal errors. In lib-fs case
all the errors are internal errors. Also all the lib-fs callers are
supposed to log the errors unless they decide to handle them specially,
so there's really no need a fs_set_critical() that just causes them to
be logged twice.

fs-posix: Replace fs_set_critical() with e_error()

fs_set_error() can't be used in fs_file_close() and fs_file_deinit(),
because they don't return an error.

fs-posix: Log lseek() error with fs_set_error()

Makes it consistent with logging the read() error.

lib-fs: Add error_r parameter to the internal fs.init() method

This will help removing fs_set_error() calls.

global: Replace fs_last_error() with fs_file_last_error() wherever possible

lib-fs: Free fs_iter in fs_iter_deinit(), not in individual drivers

lib-fs: Change fs_iter_deinit() API to return error_r string

lib-fs: Change last_error from string_t to char *

The string isn't modified in a way that string_t is useful. This change
also allows fs_set_error() parameters to point to previous error string
without breaking.

lib: Allow events to store internal pointers

These pointers are independent of event fields, so they're ignored by event
matching, exporting and importing. Their main purpose is to allow storing
internal state to an event and allow it to be accessed by any code that can
access the event.

fs-posix: Use container_of()

lib: Don't use EAI_{ADDRFAMILY,NODATA} when they don't exist

Broken by c85f1bc3ce612c736c9d2c468cc08306db1b5851

plugins: quota: quota-status - Check that the MTA is in the RCPT state.

The quota-status service can currently only be used for Postfix
smtpd_recipient_restrictions.

plugins: quota: quota-status - Delay parsing recipient address until after message is fully read.

plugins: quota: quota-status - Remove duplicate "quota-status" prefix from error message.

plugins: quota: quota-status - Accept addresses with badly broken localparts from Postfix.

plugins: quota: quota-status - Fix protocol hang occurring when recipient address is invalid.

The line handler returned 0 in the event of an invalid recipient address, which
halts input handling.

plugins: quota: quota-status - Add event support for debug logging.

plugins: quota: quota-status - Improve error message for invalid recipient address.

auth: mech-scram: Add support for SCRAM-SHA-256.

auth: password-scheme: scram: Add support for SCRAM-SHA-256.

auth: mech-scram: Make implementation generic to support other hash algorithms.

auth: password-scheme: scram: Make implementation generic to support other hash algorithms.

auth: Reduce code line length in password-scheme-scram.c.

auth: Reduce code line length in password-scheme.h.

auth: Rename mech-scram-sha1.c to mech-scram.c.

lib: hash-method: Add hash_method_get_digest().

lib: hash-method: Adjust comment regarding helpers.

doveadm: mail: Add trans-flags parameter to doveadm mail commands

Add a trans-flags parameter to doveadm-mail calls. This allows to
run mail commands with specific mailbox transaction flags.
mail-storage.h enum mailbox_transaction_flags

All doveadm calls take the defined flag additionally to their orignal
flags. The flags can be set as decimal integer on the doveadm call.

README.md: Add RFC8457.

doc: example-config: Add documentation and example for \Important special-use mailbox attribute.

lib-storage: Add support for the "\Important" special-use mailbox attribute.

NEWS: Add news for 2.3.9

NEWS: Sync missing news v2.3.7-v2.3.8

lib-http: Add comments to http_client_request.*_time

lib: Free internal event categories on lib deinit

lib: Add ->clear_field() passthrough event op

lib-http: client request events: Add "dest_ip" field

lib-http: client request events: Add "dest_" prefix to "host" and "port"

This makes it consistent with the event names in connection API.

lib: connection: Remove assert for remote_port != 0

This can happen if connection_init_server_ip() is called with remote_ip set
but not remote_port. Alternative fix might be to move the assert to it.

lib: connection: Rename unix_peer_known to unix_peer_checked

This reflects more correctly what it means.

lib: connection: Cleanup connection_update_properties()

Add comments and change the code flows a bit to make it clearer what is
supposed to happen.

Fixes also a potential bug where getpeername() could return 0, but if
errno wasn't changed the following errno==ENOTSOCK could have wrongly
matched.

lib: connection: Fix remote_pid and remote_uid in UNIX client connection log prefixes

They previously weren't included in the log prefixes, because
unix_peer_known was set to TRUE too early.

lib: connection: Don't set remote_pid or remote_uid to TCP connection event

They weren't initialized properly when connection_init_server_ip() or
connection_init_client_ip_from() was called with remote_ip parameter.

lib: connection: Add "dest_host" event field if given

lib: connection: Remove clearing of event fields

This was done mainly because the fields could have become mixed up when a
client connection event had a parent server connection event. But now that
the IP and port fields are different for client and server connections this
problem mainly doesn't exist.

lib: connection: Fix naming of remote/local_ip/port

For client connections these fields were duplicated as "ip", "port" and
"client_ip".

Now make it explicit that client connections only have source_* and dest_*,
while server connections only have local_* and remote_*.

imap: rename: Add "old_mailbox" and "new_mailbox" fields to command event

imap: Add "mailbox" field to imap command events that use mailboxes

imap: Fix setting imap client event's "session" field for CLI sessions