lib: Fix potential crash changing signal handlers after destroying ioloop

lib-index: Set event name for "Recreated index"

global: Rely on fs_deinit() automatically freeing parent fs

lib-fs: Free parent fs generically

mail-crypt: Use container_of() instead of casts for fs code

Being more explicit not only makes the code more explict, it makes it safer.

fs-compress: Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: sis - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: sis-queue - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: randomfail - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: metawrap - Use container_of() instead of casts

Being more explicit not only makes the code more explict, it makes it safer.

lib-fs: Add new deinit vfunc

This is useful for tidying up anything just before freeing the struct fs.
For example, flushing dirty data in a write-back cache.

lib-fs: Rename deinit vfunc to free

lib, lib-master: Send updated event to stats if fields/categories change

Based on code by Jeff Sipek

stats: Allow clients to update existing events with UPDATE command

lib: event_import*() - Allow importing duplicate data without using more memory

lib-master: Properly compare unit test output strings with expected values

The I_MIN() mean that only the prefix was getting compared.

imap: cmd-notify - Do not try to notify for removable namespaces.

It is not going to work anyway and it will cause a crash when the IMAP sync code
subsequently drops those namespaces as part of mail_user_drop_useless_namespaces().
This does not drop the earlier created mailbox_list_notify object, causing its
mailbox list index view object to remain open. This causes the following panic:

Panic: Leaked view for index <path>/dovecot.list.index: Opened in mailbox-list-index-notify.c:142

lib-storage: Add mail_namespace_is_removable() and use it.

lib-index: mail-index-view - Record caller source filename and line for mail_index_view_clone/dup_private().

Before, this was only recorded for mail_index_view_open(), which caused the view
leak panic to show a useless source location, e.g.:

Panic: Leaked view for index <path>: Opened in (null):0

lib-fs: Set debug on event from settings

imap: cmd-notify - Fix segfault ocurring upon NOTIFY error.

The client_send_line() function in imap_client_notify_more() uses notify_ns to
obtain access to client struct, while that is available as a direct function
parameter. And notify_ns is invalid at the end of the for loop, so dereferencing
it causes a segmentation fault.

lib-compression: test-compression - Do not fail on missing handlers

lib-compression: Fix support for older libzstd

lib-compression: test-compression - Ensure compression handler is found by file extension

fs-compress: Try all compression formats when decompressing

Not just the specified compression format.

fs-compress: Rename compress_fs.handler to compress_handler

lib-compression: test-compression - Add test for tiny invalid data

Ensure compression handlers return EINVAL when reading
less than header size data.

lib-compression: istream-xz - Fix header reading

If file was smaller than xz magic size, we would get
EPIPE instead of EINVAL.

lib-compression: istream-zstd - Fix header reading

If file was smaller than zstd magic size, we would get
EPIPE instead of EINVAL.

lib-compression: istream-zlib - Fix header reading

If data size was 0 it would give EPIPE instead of EINVAL

lib-compression: istream-lz4 - Fix header reading

If data size was smaller than header size, lz4 reading would
return -1 without error indicating EOF instead of EINVAL.

Broken in c1a43c6098f0caf11e8a2c1889227ec3969e410e

lib-compression: ostream-zstd - Remove o_stream_zstd_error

It has only one private caller.

lib-compression: ostream-zstd - Fix error handling

The error code handling in ZSTD was wrong, because zstd returns
error codes as large unsigned numbers which need to be retrieved
with helper function.

lib-compression: istream-zstd - Remove i_stream_zstd_error

It has only one private caller.

lib-compression: Fix error handling for zstd

The error code handling in ZSTD was wrong, because zstd returns
error codes as large unsigned numbers which need to be retrieved
with helper function.

lib-compression: Add "unsupported" compression

This new compression is only used for testing purposes.

lib-compression: Change compression_lookup_handler_from_ext return value

In order to improve the error handling for
compression_lookup_handler_from_ext calls return an integer rather then
a pointer to struct compression_handler.

lib-compression: Change compression_lookup_handler return value

In order to improve the error handling for compression_lookup_handler
calls return an integer rather then a pointer to struct
compression_handler.

This change also prevents crashes when trying to use a compression
format that isn't compiled in.

pop3: Fix assert-crash when using pop3_deleted_flag

Broken by 6d18044e1408ce98aa8ef145a9f85895829a7bc7

Fixes:
Panic: file seq-range-array.c: line 472 (seq_range_array_invert): assertion failed: (range[count-1].seq2 <= max_seq)

pop3-login: Fix handling commands that are sent in multiple IP packets

This happened especially if the commands were long, like XCLIENT.

This got broken by recent pop3-login changes.

lib-test: Rename s1, s2 to _temp_s1, _temp_s2 in test_assert_strcmp_idx

Some test code uses s1 and s2 as variable names.

Broken in 449539dc52070bebde3ae7babe96e6e272dd7101

pop3-login: Use struct client authenticating member

This is what should be used instead of introducing our own.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

pop3-login: Consume line after mech probe

Otherwise we read next line empty and that causes -ERR.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

lib: istream - Do not attempt read past end in i_stream_next_line_finish

lib-test: test_assert_strcmp_idx - Avoid double evaluation

pop3-login: Read command more carefully

Ensure we don't consume '\n' or '\0' when reading command, but
that we consume '\r' otherwise i_stream_read_next_line won't work properly.

lib: Properly free event filter in unit tests

lib: event-filter-lexer - Ignore unused parameters

lib: lib-signals - Use persistent signal IOs

When ioloop is switched, don't remove the IO from old ioloop and create it
to new ioloop. Just use persistent IOs for each separate ioloop. This can
reduce a lot of syscalls when ioloops are often switched.

lib: lib-signals - Add struct signal_ioloop

This struct tracks which ioloops have signal handlers.

lib: lib-signals - Replace LIBSIG_FLAG_NO_IOLOOP_AUTOMOVE with LIBSIG_FLAG_IOLOOP_AUTOMOVE

There aren't many signal handlers that actually want to move automatically.
It's just causing accidental bugs when signal handlers are run in
unexpected ioloops.

lib: lib-signals - Fix creating non-automove signal handlers before ioloop

lib: Add io_loop_add/remove_destroy_callback()

lib: event-filter - Use i_fatal for fatal error handling

lib: event-filter - Disable some more compiler warnings

lib: event-filter - Handle allocations

This allows us to use Dovecot specific memory error handling
when allocations fail. Also squashes compiler warnings.

pop3-login: Read SASL-IR properly

This fixes issue where login would fail if SASL-IR message would
be too long.

pop3-login: Read command separately

Simplifies next commit

auth: db-lua - Fix user iteration

The old code did not leave the stack empty after finishing up,
that would lead into stack being left dirty and accumulating
per each call.

auth: db-lua - Always set callback when iterating

lib-lua: Register panic handler

auth: db-lua - Ensure stack is empty at end

auth: db-lua - Pop dovecot after registering

auth: db-lua - Pop result after lookup

When doing lookups, the lookup result was not popped.

lib-lua: Add dlua_dump_stack

Useful for debugging why stack leaks

configure: Properly fail if bison or flex is missing

If bison or flex is missing, and are needed, fail configure.

Ignore ylwrap

lib: Rename event filter files to be less redundantly named

lib: event filter parser unit tests

lib: Switch event filtering to the new filter language

lib: Implement a new event filter language

Currently, it is not used by anything.

In general, the new syntax is very SQL-like.  It is a boolean expression
made up of key-value comparisons, parentheses, and boolean connectors AND,
OR, and NOT.

The key-value comparisons are of the form:

  <key> <operator> <value>

Where the key is one of:

  (1) "event"
  (2) "category"
  (3) "source_location"
  (4) a field name

The operator is one of:

  (1) =
  (2) >
  (3) <
  (4) >=
  (5) <=

And the value is either:

  (1) a single word token, or
  (2) a quoted string

For example, to match events with the event name "abc", we would use one of
the following expressions.  Note that white space is not significant between
tokens, and therefore the following are all equivalent.

  event=abc
  event="abc"
  event = abc
  event = "abc"

To match events with the name "abc" that include the "imap" category, we'd
use:

  event=abc AND category=imap

To match events with the name "abc" that either include the "imap" or "pop3"
categories, we'd use:

  event=abc AND (category=imap OR category=pop3)

Field names don't have any special prefix.  Therefore, to match events than
have the field bytes_out equal to 10, we'd use:

  bytes_out=10

To match events with bytes_out greater than or equal to 10, we'd use:

  bytes_out>=10

lib: Allow event filter nodes to represent a log type category

lib: Future-proof the log type to event filter log type mapping

The mapping assumed that:

EVENT_FILTER_LOG_TYPE_FOO == (1 << LOG_TYPE_FOO)

While that is true today and will likely continue to be true in the future,
there's no reason why we can't future proof it and ensure that it always
works.

lib: Expose event_filter_category_to_log_type to the rest of event filter code

lib: Add internal code for event filter le/lt/ge/gt comparisons

These are currently unreachable.

lib: Rewrite event filter internals to use an abstract-syntax-tree

stats: Fail to load with empty metric filters

stats: replace metric { } filtering with the common filter language

lib: Change event_filter_parse() filter arg to a single pointer

Instead of allocating a new filter, fill in a passed in one.

lib: Assert that we aren't trying to match using filter framents

lib: Add event_filter_create_fragment()

lib: Move event filter query language from lib-master

This way we can use it elsewhere.

stats: openmetrics shouldn't abuse metric { } filter strings

Once upon a time it was thought that it was a good idea to output labels for
openmetrics metrics based on the fields used in the filter { } sub-block.
For the most part, this is not useful since the labels are going to be
either (1) always the same, or (2) one of several values.

For example, consider the following metric block:

metric foo {
event_name = something
...
filter {
abc = BAR
def = BAZ*
}
}

The value of 'abc' will *always* be 'BAR' for this metric, therefore it is
useless to include it.

The value of 'def' will always start with 'BAZ' for this metric.  While it
may be tempting to justify this usage, the group_by provides a superset of
the functionality.  In other words, the following config snipped will
provide a superset of the same information.

metric foo {
event_name = something
...
filter {
abc = BAR
def = BAZ*
}

group_by = abc def
}

Therefore, this filter { } sub-block labeling support is redundant and can
be safely removed.

lib: Add a way to merge filter queries with an overridden context

This allows the consumers to construct a filter without setting the context
on each query, and then when merging it with another query "filling in" the
context on the fly.

lib: Better document event filter iteration behavior

auth: auth-worker-client - Fix whitespace formatting

auth: auth-worker-client - Remove global auth_worker_client

All should go through connection list instead.

Broken in 317cb8aa981f856770057e23aeba98a33afc033a

lib-http: http-client - Fix assert panic occurring for shared clients.

Occurs as a race condition between connections becoming idle and new connections
being set up.

Panic was:

Panic: file http-client-queue.c: line 373 (http_client_queue_connection_attempt): assertion failed: (http_client_peer_addr_cmp (&(*peer_idx)->shared->addr, addr) != 0)

dict: Delay uncorking ostream in iteration callback

lib-storage: istream-mail - Fix assert-crash on handling corrupted mail size

In some situations the "Cached message size smaller than expected" error
handling could have resulted in:

Panic: file istream.c: line 315 (i_stream_read_memarea): assertion failed: (old_size <= _stream->pos - _stream->skip)

dict-client: Fix potential iterator double-free

client_dict_iterate_free() didn't really work properly, because of:

ctx->finished = TRUE;
client_dict_iter_api_callback(ctx, cmd, extra_args);
client_dict_iterate_free(ctx);

Here finished=TRUE is set first (and it needs to be set first). Afterwards
client_dict_iter_api_callback() internally calls
client_dict_iterate_deinit(), which can end up freeing the iterator.

dict-client: Rename struct dict_connection to dict_client_connection

dict server already has struct dict_connection. This naming conflict caused
problems with gdb debugging.

dict: Cork the output while writing iteration output

This reduces system CPU usage by avoiding many tiny write() syscalls.

Broken by 2ff2da52146609f4459bd0f7fd603e13400cb85e

fts: Add fts category

For now mainly so that the fts drivers' categories can inherit from it.

imap: Fix assert-crash in COPY/MOVE when storage doesn't return UIDs

For example copying mails into virtual storage crashed.

Broken by 09413e35f764a2898cbc26cea94218eed6df5cbf

Fixes:
Panic: file cmd-copy.c: line 152 (fetch_and_copy): assertion failed: (copy_ctx->copy_count == seq_range_count(&copy_ctx->saved_uids))

lib-compression: istream-zstd - Fix infinite loop when istream is nonblocking

lib-oauth2: oauth-jwt - Ensure / and . are escaped in kid

dovecot-oauth2.conf.ext: Update to match code

auth: db-oauth2 - Add more performant defaults for lib-http

lib-oauth2: Use azp to find token

This validates that the token is actually for us and also allows
having multiple tokens with same ID but different issuer.