lib-storage: mailbox_list_index - List prefix/INBOX if it necessary

LAYOUT=fs: Fix listing prefix/INBOX

Removed some confusing special case code that didn't seem to work very well.
Implemented this now properly so that prefix/INBOX is listed as \NoSelect
mailbox whenever it has children.

It's not actually possible to differentiate between INBOX and prefix/INBOX
in the storage for a inbox=yes namespace, because they both are converted
into the same storage_name=INBOX.

LAYOUT=fs: List INBOX as \NoInferiors when necessary

LAYOUT=index: List INBOX as \NoInferiors when necessary

LAYOUT=Maildir++: List INBOX as \NoInferiors when necessary

lib-storage: Add mail_namespace_is_inbox_noinferiors()

imapc: Don't skip listing "INBOX" when INBOX/ namespace prefix is used.

The INBOX was still listed as part of the autocreated mailboxes, unless
MAILBOX_LIST_ITER_NO_AUTO_BOXES was used.

lib: mempool-allocfree - make static analyzer happier with pool clearing

It was thinking that already freed memory was being accessed.

dbox: Fix creating dbox-alt-root symlink when mail root directory doesn't exist

Broken by 74664ac6dcf88cfc2ae6378c87c20ba694385a23

lib-http: client: peer: Properly handle claiming an existing connection.

If no other connections were being created, request handling was not restarted.
This problem sometimes caused the client to hang.
Fixed by calling http_client_peer_connection_success() upon claiming an existing connection.

lib-http: test-http-payload: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Amend shared client tests to do both download and echo tests.

Also, the original download tests were named wrong.

lib-http: test-http-payload: Fixed indent problems.

doveadm stats dump: Add -r parameter to reset stats after dumping

stats: Add DUMP-RESET command to reset stats after dumping them

lib-storage: Delay creating mail root directory until it's necessary

lib-storage: Make sure index root is created when it's the same as root directory

This is required by the following commit.

lib-http: client: Made http_client record the current ioloop it is switched to.

This prevents http_client_wait() from switching the client to an ioloop it was never explicitly switched to.

imap: Fix o_stream_is_corked() assert check

All the callers cork the stream, so this can only mean that the corking
failed because the connection was already closed. Continue handling the
input anyway.

Fixes:
Panic: file imap-client.c: line 1236 (client_handle_input): assertion failed: (o_stream_is_corked(client->output))

LAYOUT=index: Fix crash in doveadm force-resync if storage doesn't implement list_index_rebuild()

Broken by recent changes.

LAYOUT=index: Fix updating STATUS changes in mailbox list index

Mailbox list index backend code was overriding sync_init and sync_deinit
methods, which STATUS handling had already already overridden. They both
used the same super struct, so STATUS's sync_* were never called.

lib-master: Fix logging "Expected FILTER" error

stats: Fix logging unknown client command error

.gitignore: Ignore src/old-stats/old-stats

lib-http: Add named event: http_request_finished

doveadm: Add new "stats dump" command

global: Enable MASTER_SERVICE_FLAG_SEND_STATS for mail processes

lib: connection - When receiving invalid VERSION line, log the line contents

log: Fix restoring global log prefix

It was allocated from data stack, which was freed by
master_service_init_finish(). This may have caused wrong prefix to be
used for log's internal error messages, or restoring the global log
prefix could have crashed:

Panic: file strfuncs.c: line 147 (t_noalloc_strdup_vprintf): assertion failed: ((unsigned int)ret == *size_r-1)

lib-http: client: Replace http_*_debug() with e_debug()

lib-http: client: Remove redundant debug logging checks

lib-http: client: Add support for event API

lib-http: Cleanup - Add name parameter to http_client_host_create()

lib-fs: Replace i_error() calls with e_error()

lib-fs: Add fs_file/iter_init_with_event()

Use the event for logging critical errors

lib-fs: Add fs_file/iter_init_parent()

lib-fs: Set fs_iter.flags immediately in fs_iter_init()

This way backends don't need to set it.

lib-fs: Split allocation from fs.iter_init() to a separate fs.iter_alloc()

lib-fs: Split allocation from fs.file_init() to a separate fs.file_alloc()

lib-master: Add stats-client

Enable it if MASTER_SERVICE_FLAG_SEND_STATS is set

stats: Add new stats service

imap: Add imap_command_finished event.

This can be used to get per-command statistics.

imap: Add client_command_context.event and use it as global event while running

imap: Add client.event and use it as mail_*user's parent event

lib-index: mail_index_set_error() - log error using index's event

lib-index: Add mail_index.event

lib-storage: mail_storage_set_critical() - log error using user's event

Fix test-storage unit test to also initialize mail_user.event so it won't
crash.

lib-storage: Add mail.event

lib-storage: Add mailbox.event

lib-storage: Add mail_user.event and give parent event in mail_user_alloc*()

lib-storage: Add mail_storage_service_user.event and use it as the global event

The event is set in the same place as where the user's default logging
prefix is changed.

lib-master: Add log_debug setting

lib-master understands only the global log_debug setting, which is passed
to it via environment from master process, or alternatively via doveconf
when executing standalone programs. Any per-user log_debug settings need
to be handled explicitly elsewhere.

lib: Add event filtering to debug logging

lib: Add event filter

This currently supports matching events by:

 * name
 * source file:line
 * categories
 * key=value fields

lib: Add event_import() and event_export()

lib: Add event API

The events are hierarchical and the child events inherit the parents'
fields. The events will be attached to "objects", which gives them some
context. For example each mail user, mailbox and mail will have its own
event. The events can also have a log prefix, so logging events to e.g.
mail will always log a consistent prefix that identifies which mail is
being logged about.

The events will also be used for statistics. Typically this is done by
logging a debug event, which contains fields that are interesting for
statistics. The interesting events will have a name, which can be used
to identify them when configuring which statistics are wanted to be
tracked. It's possible to also track events that have no name, but that
requires using the source code's filename:line as the event name. That
of course may change between releases, so it's not very reliable.

lib: Add failure_context.log_prefix to override the default

lib: Add i_log_typev()

lib: ioloop.h - improve ioloop context comments

lib-storage: Remove mail_storage_service_io_deactivate()

We now require that ioloop context is always properly deactivated, so
there's no need for the function.

imap, pop3: Remove unnecessary call to mail_storage_service_io_deactivate()

The context is automatically deactivated when service user is freed.

lib-storage: mail_storage_service_io_[de]activate_user() - [de]activate the whole ioloop context

lib-storage: mail_storage_service_user_unref() - deactivate user before removing callbacks

Otherwise the next commit won't work correctly.

lib-storage: Create ioloop context regardless of logging settings

This will be needed by the following commits.

lib: io_loop_context_deactivate() - Assert that given context is currently active

lib: io_loop_context_new() - deactivate old context

Since it changes the current context, it needs to deactivate the old one.

lib: io_loop_destroy() - Assert-crash if ioloop contet is still set

It may be too late to try to deactivate it at that point, so it points to a
bug.

lib: Move io_loop_context_[de]activate() to be public

lib: timing - Allow changing sample buffer size

global: Renamed stats plugin and service to old-stats

submission: remove unnecessary casts

Casting from a void * to any pointer type is automatic and doesn't
require an explicit cast.

submission-login: use container_of instead of casts

submission-login: remove unnecessary casts

Casting from a void * to any pointer type is automatic and doesn't
require an explicit cast.

global: drop unnecessary parens in &(foo)

This makes the code more consistent since most of the repo uses the
no-parens style.  These inconsistencies were found using
`git grep '(&([^*]'` and any use of the parens in macros was ignored for
safety reasons.

global: io_remove*(NULL) is a no-op

global: timeout_remove(NULL) is a no-op

m4: Fix sodium checks

Make sure it actually has password checking function

submission-login: Added default listener for secure submission on port 465 (submissions).

This is analogous to pop3s and imaps.
Efforts to standardize the use of this port are almost finished: https://datatracker.ietf.org/doc/draft-ietf-uta-email-deep/

submission-login: Fix NULL dereference occurring at an invalid reply from the backend server.

Problem found by Coverity.

lib-smtp: fix uoff_t vs. size_t confusion

plugins/fts: Return back comment about Server Error.

plugins/fts: Retry all 5xx tika http statuses, not only 500

director: avoid comparison between signed and unsigned ints

submission: use correct format string for printing uoff_t

Update README regarding supported RFCs.

Some were missing and new ones are added by the recent lib-smtp and submission service changes.

config: Add a warning comment to the generated all-settings.c

doc: example-config: Fix installation of the example configuration for the submission service.

Forgot to add it to Makefile.am.

lmtp: Fix segfault occurring in client_read_settings().

This problem is caused by recent changes.
The code attempts to access client->conn to obtain connection security info, which is not yet assigned at that point.
It is doubtful whether assigning those security flags is useful at that stage, but it now uses the ssl flag from the master_service_connection instead.

lmtp: Removed useless ssl_start parameter for client_create().

The same information is already contained in the conn parameter.

Implemented SMTP submission proxy service.

lib-storage: mail-user: Added more information about the client connection.

Submission service will need it to pass to the backend MTA in XCLIENT and for creating the "Received:" header.

lib-master: master-auth: Pass more information about the user connection to the backend in struct master_auth_request.

Adds remote and local ports and security information about the connection.
This changes the master-auth protocol incompatibly, so the major version is updated.

login-common: Added flag to client that indicates whether connection is secured using SSL specifically.

lib-storage: mail-user: Changed mail_user_set_vars() to accept struct mail_user_connection_data, rather than individual fields.

lib-storage: Moved connection information in struct mail_user into separate struct mail_user_connection_data.

imap: cmd-idle: Created local variable for client in idle_add_keepalive_timeout().

imap: imap-client-hibernate: Created local variable for mail_user in imap_hibernate_write_cmd().

imap-urlauth: Allow connections from services other than IMAP.

The imap-urlauth service detects the new submission service and assigns the appropriate privileges.
The dovecot-token authentication mechanism provides information on which service connected to it.

login-common: Added client_disconnect(), which allows explicitly disconnecting the client before it is destroyed.

This is sometimes needed to make sure the SSL layer is closed properly before destroying the underlying connection.

login-common: Added support for login services that handle their own input io.