imap-hibernate: Preserve local_port and remote_port during hibernation

imap: Log ID and logout info lines via imap_client.event

This doesn't change the logging output at all.

imap: Log imap-master errors/debugs via connection.event

imap: Log errors via imap_client.event when possible

imap: imap_hibernate_process_send() - Return error instead of logging it

lib: Add str_to_timeval()

director: Use director_connection.event wherever possible

This adds the "director(name): " log prefix to many log messages where it
didn't previously exist. The director name is now sometimes duplicated in
the log messages, but maybe that's good for clarity.

director: Avoid explicit log prefixes by logging via director_connection.event

director: Add director_connection.event

director: Add director_connection_set_name() change connection name

director: Replace most of the i_error() logging with e_error()

director: Replace i_warning() and i_info() logging with e_*()

director: Add auth_connection.dir

director: Add user_directory.director

director: Add mail_host_list.dir

director: Remove dir_debug() and director_debug

director: director-request: Add event and replace dir_debug() with e_debug()

director: Replace most of the dir_debug() with e_debug()

director: Add struct director.event

lib: Fix compilation with OpenSSL deprecated APIs disabled

OpenSSL with no deprecated APIs does not implicitly include header files.

lib: Always use the representative when comparing event's categories

We need to be consistent about using the representative category pointer.
Otherwise, we may end up with duplicates in an event's categories array.

Since an event's categories are conceptually a set, it is reasonable to
write event using code that assumes no duplicates.  If duplicates are
present, it may lead to incorrect behavior or even crashes.

lib: event-filter-parser - Use str_begins() to compare unit test error strings

Different versions of bison generate slightly different error strings, but
they always begin the same way.  So, instead of comparing them let's only
compare the beginning.

lib: event-filter-parser - YYERROR_VERBOSE has been deprecated since 2003

The proper way to enable verbose error messages is to use the parse.error
define.

lib: Add unit test for long log line splitting

lib-index: Remove log prefix from cache events

Index events don't have a prefix either. The parent event likely already
contains the mailbox name, which should be enough. It's especially bad
using the full filesystem path in the event prefix, because it could be
very long.

global: Make sure event log prefixes are sanitized and not excessively long

It doesn't make sense to allow log prefixes to grow to kilobytes long,
especially from user-given input.

lib: Fix sending log lines when prefix is larger than PIPE_BUF

This caused the log line to be sent repeatedly to the log process, possibly
causing hundreds of duplicate log lines.

log: log_connection_handshake() - Handle i_stream_read()'s -2 return value properly

Although this shouldn't happen anymore after the previous change.

log: Fix busy loop when a long line is logged

If the line exceeded PIPE_MAX (4 kB usually), the process got into a busy
loop. It would still break out of it every 100ms and maybe handle some
other services' logging, but the service that logged the long line would
be stuck. This resulted in all those service processes also hanging because
they were waiting to be able to write to log.

auth: test-mech - Add tests for RPA and NTLM bug

lib-ntlm: Check buffer length on responses

Add missing check for buffer length.

If this is not checked, it is possible to send message which
causes read past buffer bug.

Broken in c7480644202e5451fbed448508ea29a25cffc99c

auth: mech-rpa - Fail on zero len buffer

lib-mail: Fix handling trailing "--" in MIME boundaries

Broken by 5b8ec27fae941d06516c30476dcf4820c6d200ab

lib-mail: message-parser - Support limiting max number of MIME parts

The default is to allow 10000 MIME parts. When it's reached, no more
MIME boundary lines will be recognized, so the rest of the mail belongs
to the last added MIME part.

lib-mail: message-parser - Support limiting max number of nested MIME parts

The default is to allow 100 nested MIME parts. When the limit is reached,
the innermost MIME part's body contains all the rest of the inner bodies
until a parent MIME part is reached.

lib-mail, global: message_parser_init*() - Convert flags to settings structure

lib-mail: message-parser - Don't use memory pool for parser

This reduces memory usage when parsing many MIME parts where boundaries are
being added and removed constantly.

lib-mail: message-parser - Add boundary_remove_until() helper function

lib-mail: message-parser - Optimize boundary lookups when exact boundary is found

When an exact boundary is found, there's no need to continue looking for
more boundaries.

lib-mail: message-parser - Truncate excessively long MIME boundaries

RFC 2046 requires that the boundaries are a maximum of 70 characters
(excluding the "--" prefix and suffix). We allow 80 characters for a bit of
extra safety. Anything longer than that is truncated and treated the same
as if it was just 80 characters.

lib-mail: message-parser - Minor code cleanup to finding the end of boundary line

lib-mail: message-parser - Optimize appending new part to linked list

lib-mail: message-parser - Optimize updating children_count

lib-mail: message-parser - Change message_part_append() to do all work internally

lib-mail: message-parser - Add a message_part_finish() helper function

lib-mail: Move message_parser_init_from_parts() handling to its own file

This helps to see what code they have in common.

lib-mail: test-message-parser - Test that children_count is correct

lib-mail: test-message-parser - Add another test for boundary matching

dict: Fix potential hang when iterating

Broken by 2937287a72cffa8c709c22ede838058d48b61778

lib: Clarify o_stream_set_flush_pending() comment related to corking

lib: When clearing signal handlers, ignore the signals instead of restoring defaults

This is mainly happening in while the process is shutting down. Getting a
signal at a time when the normal signal handlers are gone isn't something
that is expected. It's better to just ignore the signal and let the process
to finish shutting down normally instead of getting killed.

This should also fix some unit tests where the child processes were
sometimes dying with SIGTERM due to these race conditions.

pop3-login: Fix the next command failing after unsuccessful AUTH

If the AUTH command failed (e.g. bad password or proxying failure), the
next command was still processed as AUTH command. For example:

auth plain .
-ERR [AUTH] Invalid base64 data in initial response
quit
-ERR [AUTH] Unsupported authentication mechanism.

lib-compression: zstd - Check version

If we are using older than 1.3.1 we emit warning if there is
library mismatch. This is because error codes will break.

lib-compression: zstd - Repair error codes if necessary

libzstd version numbers were pinned on 1.3.1, if we are
compiled against version before that, and runtime is
newer, we need to repair version numbers.

A horrible hack that only allows using 1.3.1+ with old
code.

lib: Fix potential crash changing signal handlers after destroying ioloop

lib-index: Set event name for "Recreated index"

global: Rely on fs_deinit() automatically freeing parent fs

lib-fs: Free parent fs generically

mail-crypt: Use container_of() instead of casts for fs code

Being more explicit not only makes the code more explict, it makes it safer.

fs-compress: Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: sis - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: sis-queue - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: randomfail - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: metawrap - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: Add new deinit vfunc

This is useful for tidying up anything just before freeing the struct fs.
For example, flushing dirty data in a write-back cache.

lib-fs: Rename deinit vfunc to free

lib, lib-master: Send updated event to stats if fields/categories change

Based on code by Jeff Sipek

stats: Allow clients to update existing events with UPDATE command

lib: event_import*() - Allow importing duplicate data without using more memory

lib-master: Properly compare unit test output strings with expected values

The I_MIN() mean that only the prefix was getting compared.

imap: cmd-notify - Do not try to notify for removable namespaces.

It is not going to work anyway and it will cause a crash when the IMAP sync code
subsequently drops those namespaces as part of mail_user_drop_useless_namespaces().
This does not drop the earlier created mailbox_list_notify object, causing its
mailbox list index view object to remain open. This causes the following panic:

Panic: Leaked view for index <path>/dovecot.list.index: Opened in mailbox-list-index-notify.c:142

lib-storage: Add mail_namespace_is_removable() and use it.

lib-index: mail-index-view - Record caller source filename and line for mail_index_view_clone/dup_private().

Before, this was only recorded for mail_index_view_open(), which caused the view
leak panic to show a useless source location, e.g.:

Panic: Leaked view for index <path>: Opened in (null):0

lib-fs: Set debug on event from settings

imap: cmd-notify - Fix segfault ocurring upon NOTIFY error.

The client_send_line() function in imap_client_notify_more() uses notify_ns to
obtain access to client struct, while that is available as a direct function
parameter. And notify_ns is invalid at the end of the for loop, so dereferencing
it causes a segmentation fault.

lib-compression: test-compression - Do not fail on missing handlers

lib-compression: Fix support for older libzstd

lib-compression: test-compression - Ensure compression handler is found by file extension

fs-compress: Try all compression formats when decompressing

Not just the specified compression format.

fs-compress: Rename compress_fs.handler to compress_handler

lib-compression: test-compression - Add test for tiny invalid data

Ensure compression handlers return EINVAL when reading
less than header size data.

lib-compression: istream-xz - Fix header reading

If file was smaller than xz magic size, we would get
EPIPE instead of EINVAL.

lib-compression: istream-zstd - Fix header reading

If file was smaller than zstd magic size, we would get
EPIPE instead of EINVAL.

lib-compression: istream-zlib - Fix header reading

If data size was 0 it would give EPIPE instead of EINVAL

lib-compression: istream-lz4 - Fix header reading

If data size was smaller than header size, lz4 reading would
return -1 without error indicating EOF instead of EINVAL.

Broken in c1a43c6098f0caf11e8a2c1889227ec3969e410e

lib-compression: ostream-zstd - Remove o_stream_zstd_error

It has only one private caller.

lib-compression: ostream-zstd - Fix error handling

The error code handling in ZSTD was wrong, because zstd returns
error codes as large unsigned numbers which need to be retrieved
with helper function.

lib-compression: istream-zstd - Remove i_stream_zstd_error

It has only one private caller.

lib-compression: Fix error handling for zstd

The error code handling in ZSTD was wrong, because zstd returns
error codes as large unsigned numbers which need to be retrieved
with helper function.

lib-compression: Add "unsupported" compression

This new compression is only used for testing purposes.

lib-compression: Change compression_lookup_handler_from_ext return value

In order to improve the error handling for
compression_lookup_handler_from_ext calls return an integer rather then
a pointer to struct compression_handler.

lib-compression: Change compression_lookup_handler return value

In order to improve the error handling for compression_lookup_handler
calls return an integer rather then a pointer to struct
compression_handler.

This change also prevents crashes when trying to use a compression
format that isn't compiled in.

pop3: Fix assert-crash when using pop3_deleted_flag

Broken by 6d18044e1408ce98aa8ef145a9f85895829a7bc7

Fixes:
Panic: file seq-range-array.c: line 472 (seq_range_array_invert): assertion failed: (range[count-1].seq2 <= max_seq)

pop3-login: Fix handling commands that are sent in multiple IP packets

This happened especially if the commands were long, like XCLIENT.

This got broken by recent pop3-login changes.

lib-test: Rename s1, s2 to _temp_s1, _temp_s2 in test_assert_strcmp_idx

Some test code uses s1 and s2 as variable names.

Broken in 449539dc52070bebde3ae7babe96e6e272dd7101

pop3-login: Use struct client authenticating member

This is what should be used instead of introducing our own.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

pop3-login: Consume line after mech probe

Otherwise we read next line empty and that causes -ERR.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

lib: istream - Do not attempt read past end in i_stream_next_line_finish

lib-test: test_assert_strcmp_idx - Avoid double evaluation

pop3-login: Read command more carefully

Ensure we don't consume '\n' or '\0' when reading command, but
that we consume '\r' otherwise i_stream_read_next_line won't work properly.