auth: db-lua - Pop result after lookup

When doing lookups, the lookup result was not popped.

lib-lua: Add dlua_dump_stack

Useful for debugging why stack leaks

configure: Properly fail if bison or flex is missing

If bison or flex is missing, and are needed, fail configure.

Ignore ylwrap

lib: Rename event filter files to be less redundantly named

lib: event filter parser unit tests

lib: Switch event filtering to the new filter language

lib: Implement a new event filter language

Currently, it is not used by anything.

In general, the new syntax is very SQL-like.  It is a boolean expression
made up of key-value comparisons, parentheses, and boolean connectors AND,
OR, and NOT.

The key-value comparisons are of the form:

  <key> <operator> <value>

Where the key is one of:

  (1) "event"
  (2) "category"
  (3) "source_location"
  (4) a field name

The operator is one of:

  (1) =
  (2) >
  (3) <
  (4) >=
  (5) <=

And the value is either:

  (1) a single word token, or
  (2) a quoted string

For example, to match events with the event name "abc", we would use one of
the following expressions.  Note that white space is not significant between
tokens, and therefore the following are all equivalent.

  event=abc
  event="abc"
  event = abc
  event = "abc"

To match events with the name "abc" that include the "imap" category, we'd
use:

  event=abc AND category=imap

To match events with the name "abc" that either include the "imap" or "pop3"
categories, we'd use:

  event=abc AND (category=imap OR category=pop3)

Field names don't have any special prefix.  Therefore, to match events than
have the field bytes_out equal to 10, we'd use:

  bytes_out=10

To match events with bytes_out greater than or equal to 10, we'd use:

  bytes_out>=10

lib: Allow event filter nodes to represent a log type category

lib: Future-proof the log type to event filter log type mapping

The mapping assumed that:

EVENT_FILTER_LOG_TYPE_FOO == (1 << LOG_TYPE_FOO)

While that is true today and will likely continue to be true in the future,
there's no reason why we can't future proof it and ensure that it always
works.

lib: Expose event_filter_category_to_log_type to the rest of event filter code

lib: Add internal code for event filter le/lt/ge/gt comparisons

These are currently unreachable.

lib: Rewrite event filter internals to use an abstract-syntax-tree

stats: Fail to load with empty metric filters

stats: replace metric { } filtering with the common filter language

lib: Change event_filter_parse() filter arg to a single pointer

Instead of allocating a new filter, fill in a passed in one.

lib: Assert that we aren't trying to match using filter framents

lib: Add event_filter_create_fragment()

lib: Move event filter query language from lib-master

This way we can use it elsewhere.

stats: openmetrics shouldn't abuse metric { } filter strings

Once upon a time it was thought that it was a good idea to output labels for
openmetrics metrics based on the fields used in the filter { } sub-block.
For the most part, this is not useful since the labels are going to be
either (1) always the same, or (2) one of several values.

For example, consider the following metric block:

metric foo {
event_name = something
...
filter {
abc = BAR
def = BAZ*
}
}

The value of 'abc' will *always* be 'BAR' for this metric, therefore it is
useless to include it.

The value of 'def' will always start with 'BAZ' for this metric.  While it
may be tempting to justify this usage, the group_by provides a superset of
the functionality.  In other words, the following config snipped will
provide a superset of the same information.

metric foo {
event_name = something
...
filter {
abc = BAR
def = BAZ*
}

group_by = abc def
}

Therefore, this filter { } sub-block labeling support is redundant and can
be safely removed.

lib: Add a way to merge filter queries with an overridden context

This allows the consumers to construct a filter without setting the context
on each query, and then when merging it with another query "filling in" the
context on the fly.

lib: Better document event filter iteration behavior

auth: auth-worker-client - Fix whitespace formatting

auth: auth-worker-client - Remove global auth_worker_client

All should go through connection list instead.

Broken in 317cb8aa981f856770057e23aeba98a33afc033a

lib-http: http-client - Fix assert panic occurring for shared clients.

Occurs as a race condition between connections becoming idle and new connections
being set up.

Panic was:

Panic: file http-client-queue.c: line 373 (http_client_queue_connection_attempt): assertion failed: (http_client_peer_addr_cmp (&(*peer_idx)->shared->addr, addr) != 0)

dict: Delay uncorking ostream in iteration callback

lib-storage: istream-mail - Fix assert-crash on handling corrupted mail size

In some situations the "Cached message size smaller than expected" error
handling could have resulted in:

Panic: file istream.c: line 315 (i_stream_read_memarea): assertion failed: (old_size <= _stream->pos - _stream->skip)

dict-client: Fix potential iterator double-free

client_dict_iterate_free() didn't really work properly, because of:

ctx->finished = TRUE;
client_dict_iter_api_callback(ctx, cmd, extra_args);
client_dict_iterate_free(ctx);

Here finished=TRUE is set first (and it needs to be set first). Afterwards
client_dict_iter_api_callback() internally calls
client_dict_iterate_deinit(), which can end up freeing the iterator.

dict-client: Rename struct dict_connection to dict_client_connection

dict server already has struct dict_connection. This naming conflict caused
problems with gdb debugging.

dict: Cork the output while writing iteration output

This reduces system CPU usage by avoiding many tiny write() syscalls.

Broken by 2ff2da52146609f4459bd0f7fd603e13400cb85e

fts: Add fts category

For now mainly so that the fts drivers' categories can inherit from it.

imap: Fix assert-crash in COPY/MOVE when storage doesn't return UIDs

For example copying mails into virtual storage crashed.

Broken by 09413e35f764a2898cbc26cea94218eed6df5cbf

Fixes:
Panic: file cmd-copy.c: line 152 (fetch_and_copy): assertion failed: (copy_ctx->copy_count == seq_range_count(&copy_ctx->saved_uids))

lib-compression: istream-zstd - Fix infinite loop when istream is nonblocking

lib-oauth2: oauth-jwt - Ensure / and . are escaped in kid

dovecot-oauth2.conf.ext: Update to match code

auth: db-oauth2 - Add more performant defaults for lib-http

lib-oauth2: Use azp to find token

This validates that the token is actually for us and also allows
having multiple tokens with same ID but different issuer.

lib-oauth2: Validate signature in jwt body process

This way we can utilize fields from body with validation.

lib-oauth2: Rename algo to alg

It's the field name.

lib-oauth2: Add iss validation support

lib-oauth2: Ensure token algorithm matches with key

Otherwise we might mistakenly use key that is not intended
for the token.

lib-oauth2: oauth2-jwt - Always uppercase algorithm

lib-dcrypt: dcrypt-openssl - Add helper macro for error_r handling

Avoids missing NULL checks for error_r.

lib-signals: Fix lib_signals_set_expected().

The function made no sense at all.

Problem found by Coverity.

lib-sql: driver-cassandra - Handle more Cassandra errors as uncertain

Treat CASS_ERROR_LIB_WRITE_ERROR as uncertain error.

lib-sql: driver-cassandra - Extract uncertain ascertainment to function

lib-fs: Prevent the release of a nonexistent dict.

auth: db-oauth2 - Remove extra oauth2 prefix from log messages

auth, lib-oauth2: Add local introspection mode

Local introspection attempts to decode token always.
This will also happen with password grant, saving
an extra roundtrip to oauth2 server.

auth: db-oauth2 - Use common code for lookup and password grant

auth: db-oauth2 - Clarify how introspect gets called

This should make it more obvious when introspection
actually gets called after lookup.

Introspection failure is now also moved earlier, before
the request would fail later because not all fields
are available.

auth: db-oauth2 - Add token parameter to db_oauth2_local_validation

auth: db-oauth2 - Move db_oauth2_local_validation

Simplifies next change

auth: db-oauth2 - Move db_oauth2_lookup_continue

Simplifies next change

auth: db-oauth2 - Do not fallback into remote validation anymore

It makes no sense anymore with introspection_mode=local. One should
make another passdb.

auth: db-oauth2 - Fix whitespace issue

lib-oauth2: Use hash instead of hash2

Hash2 doesn't work as we want. Fixes key caching
to actually work.

lib-oauth2: Allow nbf and iat to be 0

Some implementations set these intentionally to 0.

lmtp: Support forwarding passdb's forward_* fields via RCPT TO XRCPTFORWARD parameter.

lmtp: lmtp-proxy - Adjust RCPT parameter amendment code for expansion.

lmtp: lmtp-proxy - Wait for client connection login before submitting RCPT command.

This allows evaluating the server capabilities while composing the RCPT command.

lmtp: lmtp-proxy - Make LMTP connection object available in proxy connection struct.

lmtp: lmtp-client - Base client trust on the real remote IP.

LMTP uses real_remote_ip for checking the trust. This means:
 * LMTP proxy checks MTA's IP address
 * LMTP backend checks LMTP proxy's IP address
 * If haproxy is used in front of this LMTP server, the haproxy's IP address is
   checked. This may not be what is always wanted, but in LMTP backend it
   wouldn't be correct to check the original client IP (= MTA IP) either.

lib-storage: mail-storage-service - Add support for sending forward_fields in userdb lookup.

lib-auth: auth-master - Add support for sending forward_fields.

lib-smtp: smtp-client-connection - Allow smtp_client_connection_connect() to be called several times.

This change allows calling smtp_client_connection_connect() several times with
different login callbacks. If the connection is already available, the
provided login callback is called almost immediately from the ioloop. This way,
several parallel asynchronous activities using the same connection can wait for
its availability and don't need to check whether it is available already. This
is mostly useful to obtain the capabilities of the server.

lib-smtp: smtp-client-connection - Record login reply.

lib-smtp: smtp-params - Add support for xtext-encoding/decoding extra parameters.

lib-smtp: smtp-params - Split off smtp_params_equal() from smtp_params_rcpt_equal().

lib-smtp: smtp-params - Remove code duplication between smtp_params_*_write().

lib-smtp: smtp-params - Remove code duplication between smtp_params_*_copy().

lib-smtp: smtp-params - Remove code duplication between smtp_params_*_drop_extra().

lib-smtp: smtp-params - Remove code duplication between smtp_params_*_add_extra().

lib-smtp: smtp-params - Remove code duplication between smtp_params_*_get_extra().

lib-smtp: smtp-syntax - Add smtp_xtext_decode().

lib-smtp: smtp-params - Rename smtp_params_rcpt_equals() to smtp_params_rcpt_equal().

lmpt: Reformat lmtp-proxy.c.

lmtp: Reformat lmtp-commands.c.

lmtp: Reformat lmtp-client.c.

lib-smtp: Reformat smtp-client-connection.h.

lib-smtp: Reformat smtp-client-connection.c.

lib-storage: mail_search_args_init() - Expand "*" in SEARCH_SEQSET

This is now required by the IMAP MOVE code to correctly handle
"MOVE * folder".

imap: imap_search_seqset_iter_next() - Assert-crash if iteration doesn't progress

This can be done easily with seq_range_array_remove_seq_range(). This is
cleaner to use than invert+intersect. I originally didn't notice that
this function existed.

lib: Add unit test for seq_range_array_remove_range()

lib-storage: mail_search_args_init() - Fix converting UIDSET * to SEQSET on empty mailbox

The "*" caused seq=0 to be added to the seqset. This could have caused
unexpected issues.

Fixes at least UID MOVE on empty mailbox:
Panic: file seq-range-array.c: line 471 (seq_range_array_invert): assertion failed: (range[0].seq1 >= min_seq)

Before 1a5d89d2bfa031903e88af9aff7eafc1b373d521 this assert-crash didn't
happen, but it went to infinite loop.

lib-imap-client: test-imapc-client - Use the new sub-process test API.

This makes an effort to terminate server processes gracefully. Killing them
bluntly hampers test coverage measurement and valgrind testing.

lib-imap-client: test-imapc-client - Add server debug messages.

lib-imap-client: test-imapc-client - Split off test_run_server/client() from test_run_client_server().

lib-imap-client: test-imapc-client - Add log prefixes to distinguish client and server debug messages.

lib-imap-client: test-imapc-client - Make sure the child server process is killed.

lib-imap-client: test-imapc-client - Use getopt() for parsing command line arguments.

lib-imap-client: test-imapc-client - Add structural comments.

lib-imap-client: test-imapc-client - Move client functions.

lib-imap-client: test-imapc-client - Move server functions.

lib-imap-client: test-imapc-client - Move test_open_server_fd().

lib-imap-client: Reformat test-imapc-client.c.

lib-imap-client: Remove unnecessary "Authentication failed: disconnected" errors

If connection failed during login, there were always two log lines logged.
The first line is enough.

lib-imap-client: test-imapc-client - Client now sends LOGOUT and server expects it

lib-imap-client: test-imapc-client - login_hangs: Client stopped too early

lib-imap-client: test-imapc-client - login_hangs: Server checked wrong connection's input