Released v2.3.11.3

NEWS: Add NEWS for 2.3.11.3

pop3: Fix assert-crash when using pop3_deleted_flag

Broken by 6d18044e1408ce98aa8ef145a9f85895829a7bc7

Fixes:
Panic: file seq-range-array.c: line 472 (seq_range_array_invert): assertion failed: (range[count-1].seq2 <= max_seq)

pop3-login: Fix handling commands that are sent in multiple IP packets

This happened especially if the commands were long, like XCLIENT.

This got broken by recent pop3-login changes.

Released v2.3.11.2

NEWS: Add NEWS for 2.3.11.2

lib-test: Rename s1, s2 to _temp_s1, _temp_s2 in test_assert_strcmp_idx

Some test code uses s1 and s2 as variable names.

Broken in 449539dc52070bebde3ae7babe96e6e272dd7101

pop3-login: Use struct client authenticating member

This is what should be used instead of introducing our own.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

pop3-login: Consume line after mech probe

Otherwise we read next line empty and that causes -ERR.

Broken in 6c55437036b3de11804eb68f66d84cb164c33d63

lib: istream - Do not attempt read past end in i_stream_next_line_finish

lib-test: test_assert_strcmp_idx - Avoid double evaluation

pop3-login: Read command more carefully

Ensure we don't consume '\n' or '\0' when reading command, but
that we consume '\r' otherwise i_stream_read_next_line won't work properly.

pop3-login: Read SASL-IR properly

This fixes issue where login would fail if SASL-IR message would
be too long.

pop3-login: Read command separately

Simplifies next commit

auth: db-lua - Fix user iteration

The old code did not leave the stack empty after finishing up,
that would lead into stack being left dirty and accumulating
per each call.

auth: db-lua - Always set callback when iterating

lib-lua: Register panic handler

auth: db-lua - Ensure stack is empty at end

auth: db-lua - Pop dovecot after registering

auth: db-lua - Pop result after lookup

When doing lookups, the lookup result was not popped.

lib-lua: Add dlua_dump_stack

Useful for debugging why stack leaks

NEWS: Add news for 2.3.11

lib-mail: Fix handling trailing "--" in MIME boundaries

Broken by 5b8ec27fae941d06516c30476dcf4820c6d200ab

configure: Update version

imap: Fix assert-crash in COPY/MOVE when storage doesn't return UIDs

For example copying mails into virtual storage crashed.

Broken by 09413e35f764a2898cbc26cea94218eed6df5cbf

Fixes:
Panic: file cmd-copy.c: line 152 (fetch_and_copy): assertion failed: (copy_ctx->copy_count == seq_range_count(&copy_ctx->saved_uids))

lib-compression: istream-zstd - Fix infinite loop when istream is nonblocking

lib-oauth2: oauth-jwt - Ensure / and . are escaped in kid

dovecot-oauth2.conf.ext: Update to match code

auth: db-oauth2 - Add more performant defaults for lib-http

lib-oauth2: Use azp to find token

This validates that the token is actually for us and also allows
having multiple tokens with same ID but different issuer.

lib-oauth2: Validate signature in jwt body process

This way we can utilize fields from body with validation.

lib-oauth2: Rename algo to alg

It's the field name.

lib-oauth2: Add iss validation support

lib-oauth2: Ensure token algorithm matches with key

Otherwise we might mistakenly use key that is not intended
for the token.

lib-oauth2: oauth2-jwt - Always uppercase algorithm

lib-mail: message-parser - Fix assert-crash if parsing is stopped early

Some callers don't want to parse the full message.

Fixes:
Panic: file message-parser.c: line 793 (message_parser_deinit_from_parts): assertion failed: (ctx->nested_parts_count == 0)

lib-mail: Fix parse_too_many_nested_mime_parts()

This was originally correct, until it was "optimized" wrong and got merged.

auth: db-oauth2 - Remove extra oauth2 prefix from log messages

auth, lib-oauth2: Add local introspection mode

Local introspection attempts to decode token always.
This will also happen with password grant, saving
an extra roundtrip to oauth2 server.

auth: db-oauth2 - Use common code for lookup and password grant

auth: db-oauth2 - Clarify how introspect gets called

This should make it more obvious when introspection
actually gets called after lookup.

Introspection failure is now also moved earlier, before
the request would fail later because not all fields
are available.

auth: db-oauth2 - Add token parameter to db_oauth2_local_validation

auth: db-oauth2 - Move db_oauth2_local_validation

Simplifies next change

auth: db-oauth2 - Move db_oauth2_lookup_continue

Simplifies next change

auth: db-oauth2 - Do not fallback into remote validation anymore

It makes no sense anymore with introspection_mode=local. One should
make another passdb.

auth: db-oauth2 - Fix whitespace issue

lib-oauth2: Use hash instead of hash2

Hash2 doesn't work as we want. Fixes key caching
to actually work.

lib-oauth2: Allow nbf and iat to be 0

Some implementations set these intentionally to 0.

lib-mail: message-parser - Support limiting max number of MIME parts

The default is to allow 10000 MIME parts. When it's reached, no more
MIME boundary lines will be recognized, so the rest of the mail belongs
to the last added MIME part.

lib-mail: message-parser - Support limiting max number of nested MIME parts

The default is to allow 100 nested MIME parts. When the limit is reached,
the innermost MIME part's body contains all the rest of the inner bodies
until a parent MIME part is reached.

lib-mail, global: message_parser_init*() - Convert flags to settings structure

lib-mail: message-parser - Don't use memory pool for parser

This reduces memory usage when parsing many MIME parts where boundaries are
being added and removed constantly.

lib-mail: message-parser - Add boundary_remove_until() helper function

lib-mail: message-parser - Optimize boundary lookups when exact boundary is found

When an exact boundary is found, there's no need to continue looking for
more boundaries.

lib-mail: message-parser - Truncate excessively long MIME boundaries

RFC 2046 requires that the boundaries are a maximum of 70 characters
(excluding the "--" prefix and suffix). We allow 80 characters for a bit of
extra safety. Anything longer than that is truncated and treated the same
as if it was just 80 characters.

lib-mail: message-parser - Minor code cleanup to finding the end of boundary line

lib-mail: message-parser - Optimize appending new part to linked list

lib-mail: message-parser - Optimize updating children_count

lib-mail: message-parser - Change message_part_append() to do all work internally

lib-mail: message-parser - Add a message_part_finish() helper function

lib-mail: Move message_parser_init_from_parts() handling to its own file

This helps to see what code they have in common.

lib-mail: test-message-parser - Test that children_count is correct

lib-mail: test-message-parser - Add another test for boundary matching

lib-storage: mail_search_args_init() - Expand "*" in SEARCH_SEQSET

This is now required by the IMAP MOVE code to correctly handle
"MOVE * folder".

imap: imap_search_seqset_iter_next() - Assert-crash if iteration doesn't progress

This can be done easily with seq_range_array_remove_seq_range(). This is
cleaner to use than invert+intersect. I originally didn't notice that
this function existed.

lib: Add unit test for seq_range_array_remove_range()

lib-storage: mail_search_args_init() - Fix converting UIDSET * to SEQSET on empty mailbox

The "*" caused seq=0 to be added to the seqset. This could have caused
unexpected issues.

Fixes at least UID MOVE on empty mailbox:
Panic: file seq-range-array.c: line 471 (seq_range_array_invert): assertion failed: (range[0].seq1 >= min_seq)

Before 1a5d89d2bfa031903e88af9aff7eafc1b373d521 this assert-crash didn't
happen, but it went to infinite loop.

auth: test-mech - Add tests for RPA and NTLM bug

lib-ntlm: Check buffer length on responses

Add missing check for buffer length.

If this is not checked, it is possible to send message which
causes read past buffer bug.

Broken in c7480644202e5451fbed448508ea29a25cffc99c

auth: mech-rpa - Fail on zero len buffer

pop3: Use separate search queries for expunging and setting \Seen flags

Using a single shared search query causes mail prefetching to behave
inefficiently. Especially lazy_expunge plugin could have done refcount
prefetch for non-deleted mails as well.

pop3: Split off pop3_search_build_seqset()

pop3: Minor optimization to unexpected client disconnections

There's no need to build deleted messages seqset if it's not used.

dict: When client is disconnected, make sure its input IO is removed

Just in case it takes a while to fully unreference the client, make sure its
input callback won't be called rapidly.

dict: Fix deinitializing dict iteration if client disconnects

If the client's ostream was full at the disconnection time, the iteration
wasn't aborted. Instead, the connection was kept forever and its input
callback was kept being called rapidly, causing 100% CPU usage.

dict: Split off cmd_iterate_flush_finish()

lmtp: lmtp-commands - Explicity prohibit empty RCPT path.

The empty path <""> will yield an empty username.

lib-smtp: smtp-address - Only produce a <> address in smtp_address_clone() when that is the input.

It also produced an effective null address when the localpart was empty.

lib-smtp: smtp-address - Don't recognize an address with empty localpart as <>.

Depending on context, the addresses <""@domain.tld> and <""> are potentially
valid non-null addresses.

lib-smtp: smtp-address - Don't return NULL from smtp_address_clone*() unless the input is NULL.

lib-smtp: test-smtp-server-errors - Add tests for large series of empty and bad commands.

lib-smtp: smtp-server-connection - Hold a command reference while executing a command.

This fixes a use-after-free problem at the end of
smtp_server_connection_handle_command().

lib-smtp: smtp-server-command - Perform initial command execution in separate function.

lib-smtp: smtp-server-command - Guarantee that non-destroy hooks aren't called for an ended command.

lib-smtp: test-smtp-server-errors - Add tests for VRFY and NOOP commands with invalid parameters.

lib-smtp: Add tests for smtp_string_parse() and smtp_string_write().

lib-smtp: smtp-syntax - Return 0 for smtp_string_parse() with empty input.

This is what the current users of this function actually expect.

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_ehlo_line_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_xtext_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_string_parse().

lib-smtp: smtp-server-cmd-vrfy - Restructure parameter parsing.

lib-smtp: Reformat smtp-server-cmd-vrfy.c.

lib-smtp: Reformat smtp-server-cmd-noop.c.

lib-smtp: Reformat smtp-syntax.c.

lib-smtp: Reformat smtp-syntax.h.

auth: test-mech - Remove auth-token-secret.dat after test suite

auth: mech-digest-md5 - Do not read past buffer on right trim

If the string does not have comma at the end, do not progress
the pointer past buffer end.

auth: test-mech - Fix memory leaks

Forgotten in f6bb82a222e7973e9f9b7056dfe015fe3d8632f7

lib-index: Index rebuilding lost fields in cache

Regression caused by 5f6d2134690e4b84d38d556e3086668e32f30b50

lib-index: Fix setting initial last_used for fields in mail_[always_]cache_fields

These fields had last_used=0 until the field was accessed. If cache was
purged before this access, the field was dropped. Fixed by assuming
(last_used=0, decision!=NO) is still the first time the field is being
used. This also causes it to trigger mail_cache_decision_changed event.