lib-master, stats: Fix sending and parsing UPDATE commands

These commands were parsed completely wrong, resulting in errors like:

Client sent invalid input for UPDATE: Invalid tv_created: Invalid timeval microseconds parameter

NEWS: Add news for 2.3.13

NEWS: Add NEWS for 2.3.11.3

NEWS: Add NEWS for 2.3.11.2

NEWS: Add news for 2.3.11

lib-storage: Fix potential assert-crash when fetching body snippet

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Fix potential assert-crash when adding missing attachment flags

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file index-mail-headers.c: line 298 (index_mail_parse_header): assertion failed: (part != NULL)

lib-imap: Fix writing BODYSTRUCTURE for truncated multipart/digest part

Fixes error while parsing BODYSTRUCTURE:
message_part message/rfc822 flag doesn't match lines in BODYSTRUCTURE

lib-imap: Fix writing BODYSTRUCTURE for truncated multipart/ part

If the max nesting limit is reached, write the last part out as
application/octet-stream. The original content-type could be confusing
IMAP clients when they don't see any child parts.

lib-imap: Fix writing BODYSTRUCTURE for truncated message/rfc822 part

If the max nesting limit is reached, write the last part out as
application/octet-stream instead of dummy message/rfc822.

Fixes error while parsing BODYSTRUCTURE:
message_part message/rfc822 flag doesn't match BODYSTRUCTURE

lib-http: http-client-request - Fix payload assertions in http_client_request_send_more().

When the request payload is finished, both req->payload_input and
req->payload_output could be NULL, so the assertions on those being not NULL
need to happen after the check for req->payload_finished.

This particularly causes problems with the
blocking http_client_request_send/finish_payload() API, which constantly
modifies req->payload_input and sets it to NULL to finish the output.

This caused a panic:

Panic: file http-client-request.c: line 1232 (http_client_request_send_more): assertion failed: (req->payload_input != NULL)

lib-http: test-http-payload - Add test for blocking client output payload.

lib-http: test-http-payload - Implement reference counting for client request.

lib-http: Reformat http-client-request.c.

stats: openmetrics - Include submetric name only when present

Otherwise we SIGSEGV.

imap: Fix potential hang if client disconnects with pipelined ambiguous commands

For example if client pipelines FETCH+LOGOUT commands and disconnects during
a large FETCH output, the LOGOUT command is processed as waiting for
unambiguity. This code path however doesn't detect a client disconnection,
and input IO handler is removed so it can't detect it either. So the imap
process hangs.

imap: Move disconnected-check inside client_continue_pending_input()

This way all of its callers don't have to check if the client is
disconnected.

doveadm: mail: doveadm_mail_failed_error() - Set specific exit code for MAIL_ERROR_INUSE

Set exit code DOVEADM_EX_NOTPOSSIBLE in case MAIL_ERROR_INUSE is set via
doveadm_mail_failed_error(). This exit code is used to indicate that a
operation cannot be done because another session prevents it.

doveadm: When sending server logs to client, make sure ioloop isn't set to NULL

This could have happened if there was any logging done outside command
handling. For example a doveadm command used http-client, which has a
timeout that triggers logging only after the command is finished.

Fixes segfault and:
Panic: file http-client.c: line 642 (http_client_context_close): assertion failed: (cctx->clients_list == NULL)

imap: Fix memory leak in get_expunges_fallback()

lib: event-filter-parser - Test simple but invalid input

lib: event-filter - Do not assert that there in no output on error

When the input is a simple (but invalid) expression (e.g., a=b=c) the output
variable may be set.  This is perfectly fine.

The assertion (and the associated failure) come from when event filter
parsing was switched to the new filter syntax
(fcba1d530737813de11d9d730d5db6496e2e574b).

configure.ac: Finish removing vpopmail support

auth: Remove ntlm mechanism & the LANMAN and NTLM password schemes

auth: Remove vpopmail user & pass db support

auth: Remove S/Key mechanism & password scheme

auth: Remove RPA mechanism & password scheme

auth: Remove postmap socket type

auth: Remove support for SIA passdb

lib-storage: Add prefix to failed mailbox list index rebuild error messages

This makes it clearer that the failure is happening because index was being
rebuilt.

lib-storage: Fix error message when mailbox list index rebuild fails

The error needs to be copied to mailbox_list, otherwise it's just
"Unknown internal list error".

lib-storage: Fix mailbox list iteration error handling for INBOX

If INBOX isn't in the first namespace, the error wasn't correctly set for
it.

lib-storage: Use mailbox_get_last_mail_error() for mailbox_get_path_to() errors

mailbox_list_get_last_error() happens to work currently, but it's
accidental.

lib-index: Fix detecting if index is undeleted

It was possible that mail_index_is_deleted() kept returning that the index
was deleted, even if it was marked as undeleted. This happened when the
deletion was in dovecot.index.log.2, undeletion in dovecot.index.log and
dovecot.index pointed to the .log.2 file. This caused the .log file to be
read first, which sees the undeletion. Later on the .log.2 was parsed and
it marked the index back as deleted.

imap: Improve imap-client-hibernate unit test

imap: imap_client_hibernate() - Return reason string on failure

This helps writing a unit test for it.

imap: Delay initializing client IO until client_create_finish()

This helps writing unit tests.

imap: Fix crash if imap-hibernate socket can't be connected to

The error was supposed to be returned to caller, not logged directly.

lib-imap: Add imap_parser_client_read_tag()

imap-login: Use imap_parser_read_tag() and _read_command_name()

imap-login: Split off client_invalid_command()

imap: Use imap_parser_read_tag() and _read_command_name()

imap: Split off client_command_failed_early()

lib-imap: Add imap_parser_read_tag() and _read_command_name()

lib: Be less verbose in event filter tests

Only print the input string if the test failed.

lib-imap: Don't generate invalid BODYSTRUCTURE when reaching MIME part limit

If the last MIME part was message/rfc822 and its child was truncated away,
BODYSTRUCTURE was missing the ENVELOPE and BODY[STRUCTURE] parts. Fixed by
writing empty dummy ones.

lib-mail: message-parser - Fix assert-crash when enforcing MIME part limit

The limit could have been exceeded with message/rfc822 parts.

imap: Add unit test for imap-client-hibernate

imap: Escape tag when sending it to imap-hibernate process

configure: Update version to 2.3.13

lib-smtp: smtp-server-connection - Make sure output stream errors are handled.

lib-ssl-iosteam: ostream-openssl - Make sure error on plaintext streams is propagated.

lib-ssl-iostrea: ostream-openssl - Add local variable for ssl_io in o_stream_ssl_flush_buffer().

auth: db-oauth2 - Do not allow empty active_value or active_attribute, when other is set

auth: db-oauth2 - If active attribute is present in request, check it

If the attribute is missing, do not assume it's false.

auth: db-oauth2 - Check active attribute by default

auth: db-oauth2 - Change active:false to mean invalid token

Specifications say that invalid token, expired token and any other
reason why the token can be considered invalid should return
{"active":false} reply with no other fields.

Thus, we need to consider this as invalid token.

auth: db-oauth2 - Allow active:false without username

lib-storage: Skip setting log view in mailbox_get_expunges_init when box->view is outdated.

This fixes assert-crash when IMAP client uses QRESYNC and lots of changes happen between syncing points.

Fixes:
Panic: file mail-transaction-log-view.c: line 144 (mail_transaction_log_view_set): assertion failed: (min_file_seq <= max_file_seq)

lib-fts: test-fts-filter - Fix clang suspicious concatenation of string literals warning

Fixes:
warning: suspicious concatenation of string literals in an array initialization; did you mean to separate the elements with a comma? [-Wstring-concatenation]

lib: Standardize STMT_BEGIN and STMT_END

do .. while(0) should work everywhere.

This also fixes warnings given by new clang:
warning: '}' and ')' tokens terminating statement expression appear in different macro expansion contexts [-Wcompound-token-split-by-macro]

lib: test-istream - Don't try to return void

lib: test-file-cache - Add asserts for initial return value of file_cache_get

lib-lda: Update mail sizes to event only if they are known

lib-storage: raw-mail - Cast st_size to uoff_t

mbox->size is unsigned field, and st_size will be -1
is the stat target is not regular file or symbolic link.
This can happen if it's stream like stdin.

lib-fs: iteration - Fix crash when overwriting iteration error

Can't use fs_file_path() because file is NULL. Instead, add the path to
struct fs_iter directly so it can be used in the error.

Broken by eaaf40ca4e8994824abff89fc617c3cc737d83a5

quota: Avoid implicit integer conversion to unsigned in quota calculation

Deducting negative number from unsigned integer causes
signed integer conversion to unsigned int, which results a
too large positive number. Do calculations using int64 instead.

This did not cause any visible problems, found by
clang integer sanitization.

global: Fix overzealous use of ENUM_NEGATE

lib: istream-seekable - Fix returning stream size

The returned size may have been truncated.

lib-fs: Add assert to make sure we never log "(null)" as the old error

lib-fs: Fix logging old error when an unlogged error is replaced by new error

The old error was logged as "(null)" if the error happened in a non-root
(filter) file.

lib-fs: Include file's path when logging pending error messages

Otherwise it may not be known which file the error is about.

This happens when a file is freed without the last error being logged.
Also when an unlogged error is being replaced with a new error.

lib: event-filter-parser - Disallow non-equals comparators on non-fields

Non-equals comparisons (<, <=, >, and >=) aren't well defined for anything
other than fields.  Therefore, if we encounter one of these comparators with
an event name, category name, or source location, we should error out and
avoid confusing the user.

lib-storage: Delay recreating event when closing mail

If the mail isn't reused, the event is unnecessary.

global: Explicitly wrap values to fit target

global: Add explicit casts where needed

Squash implicit conversion complains from sanitizer.

global: Disable undefined behaviour sanitization for select locations

global: Fix negation with constants to match target type

global: Use ENUM_NEGATE() macro where necessary

global: Use UOFF_T_MAX instead of (uoff_t)-1

global: Use SIZE_MAX instead of (size_t)-1

lib: macros - Add ENUM_NEGATE

Handles enumeration flag negation.

configure: Add ubsan support

lib-mail: test-message-header-hash: Fix type issue

Satisfies runtime analyzer.

doveadm: mailbox status - Handle first_save_date correctly

If first_save_date is -1 it means no save has been done.

lib: unichar - Change uni_utf8_char_bytes to accept unsigned char

lib-index: Use SIZE_MAX with str_sanitize

auth: password-scheme - Use UINT_MAX when calling password_generate_otp

lib: mempool-allocfree - Do not use PTR_OFFSET with negative offset

Avoids undefined behaviour sanitization error.

lib-fts: test-fts-tokenizer - Change test_chars to unsigned char

lib: str - Ensure str_append_c gets unsigned char parameter

lib: seq-range-array - Assert-crash if array becomes 0..(uint32_t)-1

lib: seq_range_array_add() - Reorder code flow

lib: seq-range-array - Split off seq_range_array_add_slow_path()

lib: seq-range-array - Use seq_range_length() internally

lib: seq_range_length() - Use const pointer

doc: Include dovecot-oauth2.conf.ext in dist tarball

doveadm-server: Fix STARTTLS support.

lib-master: master-service-ssl - Make context initialization error more useful.

This improves the error in case SSL is disabled; other causes still yield a
rather unhelpful error message.

lib: ostream-multiplex - Fix dead assignment by adding an assertion on the result.

Found by Clang scan-build.