push-notification-driver-lua: Provide missing to/from as empty string

push-notification: Handle group names correctly in from/to

Fixes signal 11 crash

submission: Fix submission_max_mail_size setting type

lib-fs: Add fs event category to fs events

lib-fs: Log any pending errors in fs_file_deinit()

If error was set to the file but it wasn't accessed with
fs_file_last_error(), it means the error message would become lost.
Usually this is probably not intended.

lib-fs: Log previous fs_file error if it's being overridden

This makes sure that errors aren't lost. If fs_file_last_error() has been
used it means that the error has been looked at and there's no need to log
it.

Some of the "expected" errors won't be logged though. This check is done
based on errno. This is also why this commit reorders
fs_file_set_error_async() to set errno=EAGAIN earlier.

test-fs-posix: Check for failed fs_read() error string

lib-fs: Replace fs error with file/iter-specific error

Removed fs_last_error(), since it can't be used anymore.

lib-fs: Move file deinit code from fs_file_deinit() to fs_file_free()

lib-fs: Add fs_file_free() to run common deinit code

lib-fs: Change fs_set_error() to take event instead of fs

Also log the error as debug message. This allows capturing the events for
statistics or event exporting.

lib-fs: Set internal fs/file/iter pointers to events

This will be used by the following commit

lib-fs: Rename fs_set_error_async() to fs_file_set_error_async()

Also changed to take fs_file instead of fs parameter.

fs-posix: Change fs_posix_rmdir_parents() to take fs_file instead of fs

fs-sis: Don't overwrite error already set by fs_sis_path_parse()

fs-sis: Change some internal functions to take fs_file instead of fs

fs-posix: Change fs_posix_get_mode() to take file parameter, not fs

lib-fs: Remove fs_set_critical()

The original idea was similar to mail_storage_set_error/critical()
separation. But in storage they are used to clearly separate between
errors caused by untrusted users vs internal errors. In lib-fs case
all the errors are internal errors. Also all the lib-fs callers are
supposed to log the errors unless they decide to handle them specially,
so there's really no need a fs_set_critical() that just causes them to
be logged twice.

fs-posix: Replace fs_set_critical() with e_error()

fs_set_error() can't be used in fs_file_close() and fs_file_deinit(),
because they don't return an error.

fs-posix: Log lseek() error with fs_set_error()

Makes it consistent with logging the read() error.

lib-fs: Add error_r parameter to the internal fs.init() method

This will help removing fs_set_error() calls.

global: Replace fs_last_error() with fs_file_last_error() wherever possible

lib-fs: Free fs_iter in fs_iter_deinit(), not in individual drivers

lib-fs: Change fs_iter_deinit() API to return error_r string

lib-fs: Change last_error from string_t to char *

The string isn't modified in a way that string_t is useful. This change
also allows fs_set_error() parameters to point to previous error string
without breaking.

lib: Allow events to store internal pointers

These pointers are independent of event fields, so they're ignored by event
matching, exporting and importing. Their main purpose is to allow storing
internal state to an event and allow it to be accessed by any code that can
access the event.

fs-posix: Use container_of()

lib: Don't use EAI_{ADDRFAMILY,NODATA} when they don't exist

Broken by c85f1bc3ce612c736c9d2c468cc08306db1b5851

plugins: quota: quota-status - Check that the MTA is in the RCPT state.

The quota-status service can currently only be used for Postfix
smtpd_recipient_restrictions.

plugins: quota: quota-status - Delay parsing recipient address until after message is fully read.

plugins: quota: quota-status - Remove duplicate "quota-status" prefix from error message.

plugins: quota: quota-status - Accept addresses with badly broken localparts from Postfix.

plugins: quota: quota-status - Fix protocol hang occurring when recipient address is invalid.

The line handler returned 0 in the event of an invalid recipient address, which
halts input handling.

plugins: quota: quota-status - Add event support for debug logging.

plugins: quota: quota-status - Improve error message for invalid recipient address.

auth: mech-scram: Add support for SCRAM-SHA-256.

auth: password-scheme: scram: Add support for SCRAM-SHA-256.

auth: mech-scram: Make implementation generic to support other hash algorithms.

auth: password-scheme: scram: Make implementation generic to support other hash algorithms.

auth: Reduce code line length in password-scheme-scram.c.

auth: Reduce code line length in password-scheme.h.

auth: Rename mech-scram-sha1.c to mech-scram.c.

lib: hash-method: Add hash_method_get_digest().

lib: hash-method: Adjust comment regarding helpers.

doveadm: mail: Add trans-flags parameter to doveadm mail commands

Add a trans-flags parameter to doveadm-mail calls. This allows to
run mail commands with specific mailbox transaction flags.
mail-storage.h enum mailbox_transaction_flags

All doveadm calls take the defined flag additionally to their orignal
flags. The flags can be set as decimal integer on the doveadm call.

README.md: Add RFC8457.

doc: example-config: Add documentation and example for \Important special-use mailbox attribute.

lib-storage: Add support for the "\Important" special-use mailbox attribute.

NEWS: Add news for 2.3.9

NEWS: Sync missing news v2.3.7-v2.3.8

lib-http: Add comments to http_client_request.*_time

lib: Free internal event categories on lib deinit

lib: Add ->clear_field() passthrough event op

lib-http: client request events: Add "dest_ip" field

lib-http: client request events: Add "dest_" prefix to "host" and "port"

This makes it consistent with the event names in connection API.

lib: connection: Remove assert for remote_port != 0

This can happen if connection_init_server_ip() is called with remote_ip set
but not remote_port. Alternative fix might be to move the assert to it.

lib: connection: Rename unix_peer_known to unix_peer_checked

This reflects more correctly what it means.

lib: connection: Cleanup connection_update_properties()

Add comments and change the code flows a bit to make it clearer what is
supposed to happen.

Fixes also a potential bug where getpeername() could return 0, but if
errno wasn't changed the following errno==ENOTSOCK could have wrongly
matched.

lib: connection: Fix remote_pid and remote_uid in UNIX client connection log prefixes

They previously weren't included in the log prefixes, because
unix_peer_known was set to TRUE too early.

lib: connection: Don't set remote_pid or remote_uid to TCP connection event

They weren't initialized properly when connection_init_server_ip() or
connection_init_client_ip_from() was called with remote_ip parameter.

lib: connection: Add "dest_host" event field if given

lib: connection: Remove clearing of event fields

This was done mainly because the fields could have become mixed up when a
client connection event had a parent server connection event. But now that
the IP and port fields are different for client and server connections this
problem mainly doesn't exist.

lib: connection: Fix naming of remote/local_ip/port

For client connections these fields were duplicated as "ip", "port" and
"client_ip".

Now make it explicit that client connections only have source_* and dest_*,
while server connections only have local_* and remote_*.

imap: rename: Add "old_mailbox" and "new_mailbox" fields to command event

imap: Add "mailbox" field to imap command events that use mailboxes

imap: Fix setting imap client event's "session" field for CLI sessions

imap: Remove imap_client.session_id

Use mail_user.session_id instead. The imap_client.session_id was NULL for
command line sessions, which gets fixed by using mail_user.session_id.

lib-storage: Remove mail_user and mail_storage_service_user events' "service" field

There is already "service:<name>" category added to all events so this is
duplication.

If it's later on decided to be useful after all, it should be added
automatically to all events. Probably by creating the root event in
lib-master.

lib-storage: Remove local/remote_ip/port from mail_storage_service_user event

These make sense more in the parent event.

imap: Add local/remote_ip/port to imap client event fields

lib-storage: Rename mailbox event field "name" to "mailbox"

The "name" could conflict with child events. It's also much clearer this
way especially when accessed via child events.

lib-smtp: Rename event field "name" to "cmd_name"

This makes it consistent with imap's cmd_name.

lmtp: Add client workarounds.

Adds same workarounds as the submission service supports.

submission: Rename workaround enum values.

Avoid conflicts with other protocols.

lmtp: lmtp-commands - Fix application of the lmtp_hdr_delivery_address setting.

Its value was ignored. It got broken by the move to the new lib-smtp for v2.3.

lmtp: lmtp-commands - Simplify lmtp_local_add_headers().

lmtp: lmtp-settings - Fix reading lmtp_hdr_delivery_address setting.

The setting was not actually parsed.

lib-smtp: smtp-server-transaction - Make the recipient address used in trace headers configurable.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_get_original().

lib-imap: Fix adding IMAP_ARG_EOL parameter to all unfinished lists

This is a continuation for 6beb5339f163eaa470974ced2bcdf193f130d8a7,
which added it only to the last open list, not its parent lists.

push-notification: lua: Expose UTF8 from/to/subject

Replace the existing "subject" field with UTF8 subject. Add new
from_address, from_display_name, to_address and to_display_name where
the *_display_names are UTF8.

push-notification: Support UTF8-decoded from/to/subject

Use a new struct push_notification_message_ext for this so both MessageNew
and MessageAppend events can share the same struct.

For From and To addresses keep the actual email address and display-name in
separate fields, since some drivers want them separated.

push-notification: Simplify code with p_strarray_dup()

push-notification: Deduplicate MessageNew and MessageAppend events' data gathering code

It would have been simpler to share their structs, but that can't be done cleanly
without breaking the API's backwards compatibility.

lib-smtp: smtp-server-cmd-mail - Don't implicitly accept missing '<' and '>' when set->mail_path_allow_broken == TRUE.

lib-smtp: smtp-address - Don't allow missing '<' and '>' with only SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN flag set.

lib-smtp: test-smtp-server-errors - Fix "MAIL broken path" test.

The test label and the number of clients was wrong.

imap-hibernate: Fix logging unhibernation error if imap-master gets disconnected

imap-hibernate: Fix crash when imap-master communication fails

Fixes a segfault if the communication times out or gets disconnected too
early. This happens because read_callback() already frees the
imap_master_connection.

lib-ssl-iostream: Fix error message about ssl_dh

The setting name is ssl_dh, not ssh_dh

gitignore: Add file and directories generated by clion and kde.

lib-index: Fix potential assert-crash when cache compression merges bitmasks

Fixes:
Panic: file array.c: line 10 (array_idx_modifiable_i): assertion failed: (idx < array->buffer->used / array->element_size)

(although this panic could happen in other ways as well)

lib-smtp: smtp-client-connection - Make sure connect timeout is always reset upon TLS handshake success.

lib-smtp: smtp-client-connection - Fix assert failure occurring when STARTTLS handshake succeeds quickly.

Panic was:

Panic: file smtp-client-connection.c: line 1212 (smtp_client_connection_established): assertion failed: (!conn->connect_succeeded)

lib: Test category re-registration thoroughly

lib: Use event category representatives instead of user supplied pointers

Since we cannot rely on the consumers to supply us with unique category
pointers, we can switch all our tracking to the category representative
structures.

lib: Maintain a representative event category inside internal state

More than one category can be represented by the internal state.  To give
consumers a unique but consistent category pointer, we allocate a category
structure (technically part of the internal state) and use it as the
representative for all the registrations.

Note: This commit only allocates and maintains the representatives.  It does
not make use of them.

lib: Keep an internal event category structure

lib: events: Replace ->registered with ->internal

This is in preparation for maintaining an internal category state structure.

lib: Remove support for unregistering categories

Nothing used the code and there were some unhandled corner cases.