lib: Use event category representatives instead of user supplied pointers

Since we cannot rely on the consumers to supply us with unique category
pointers, we can switch all our tracking to the category representative
structures.

lib: Maintain a representative event category inside internal state

More than one category can be represented by the internal state.  To give
consumers a unique but consistent category pointer, we allocate a category
structure (technically part of the internal state) and use it as the
representative for all the registrations.

Note: This commit only allocates and maintains the representatives.  It does
not make use of them.

lib: Keep an internal event category structure

lib: events: Replace ->registered with ->internal

This is in preparation for maintaining an internal category state structure.

lib: Remove support for unregistering categories

Nothing used the code and there were some unhandled corner cases.

lib: Correct struct event_category's registered member's comment

lib: json-parser: Escape characters U+2028 and U+2029 to avoid CR-LF conflict with some parsers.

lib: json-parser: Fix eager escaping UTF-8 characters

push-notification: lua: Expose UTF8 from/to/subject

Replace the existing "subject" field with UTF8 subject. Add new
from_address, from_display_name, to_address and to_display_name where
the *_display_names are UTF8.

push-notification: Support UTF8-decoded from/to/subject

Use a new struct push_notification_message_ext for this so both MessageNew
and MessageAppend events can share the same struct.

For From and To addresses keep the actual email address and display-name in
separate fields, since some drivers want them separated.

push-notification: Simplify code with p_strarray_dup()

push-notification: Deduplicate MessageNew and MessageAppend events' data gathering code

It would have been simpler to share their structs, but that can't be done cleanly
without breaking the API's backwards compatibility.

lib-smtp: smtp-server-cmd-mail - Don't implicitly accept missing '<' and '>' when set->mail_path_allow_broken == TRUE.

lib-smtp: smtp-address - Don't allow missing '<' and '>' with only SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN flag set.

lib-smtp: test-smtp-server-errors - Fix "MAIL broken path" test.

The test label and the number of clients was wrong.

doveadm: Fix doveadm_proxy_port alias

run-test-valgrind.supp: Fix libunwind supression

The stack trace changed after the initial suppression was done

lib-imap: imap_write_arg() - Write IMAP_ARG_LITERAL_SIZE* the same as imap_write_args_for_human()

Either way it's not a proper literal because the content is missing.
This is at least now more consistent.

imap: APPEND - Fix parameters for cmd_args and cmd_human_args

Note that this still includes only the first parameters when CATENATE or
MULTIAPPEND is used.

imap: client_args_finished() - support appending more args

imap: Split off client_args_finished()

imap: Add "cmd_" prefix to most imap_command_finished event parameters

Especially "name" can conflict with child events' parameter.

imap: Fix args and human_args parameters to imap_command_finished event

They were being set too early when they didn't yet exist.

lib-imap: Add IMAP_ARG_EOL parameter also for unfinished lists

If list parsing was stopped due to IMAP_ARG_LITERAL_SIZE* the list didn't
have IMAP_ARG_EOL added. However, imap_arg_get_list() could still have
been used for it, which assumes that the IMAP_ARG_EOL exists.

This didn't seem to cause any actual bugs so far, but the following commits
require this.

The IMAP_ARG_EOL is appended and deleted immediately. This way it's seen by
imap_arg_get_list(), but it won't change any other behavior unexpectedly.

lib: Add io_loop_stop_delayed()

lmtp: lmtp-proxy - Add ORCPT parameter to RCPT command when recipient path changes.

This will happen when passdb changes the username.

lib-smtp: smtp-params - Add support for parsing RCPT ORCPT parameter without domain.

lib-smtp: smtp-params - Add smtp_params_rcpt_has_orcpt().

Evaluates whether ORCPT parameter is present.

lib-smtp: smtp-params - Add smtp_params_rcpt_set_orcpt().

Allows modifying the ORCPT parameter.

lib-smtp: smtp-address - Prevent/handle empty string values in fields of struct smtp_address.

This prevents e.g. writing an invalid address like 'user@'.

lib-smtp: Reformat test-smtp-params.c.

lib-smtp: Reformat smtp-params.h.

lib-smtp: Reformat smtp-params.c.

lib-http: http-url - Fix handling of double slash in request target URL.

A origin-form URL starting with double slash caused the initial path segment to
be erroneously recognized as the URL authority, making the path part
unexpectedly empty (NULL). This could cause the HTTP server to crash.

lib-http: test-http-request-parser - Test equality of target URL paths in valid tests.

lib-http: test-http-request-parser - Split off test_http_request_equal() from test_http_request_parse_valid().

lib-http: test-http-url - Split off test_http_url_equal() from test_http_url_valid().

lib-http: http-url - Split off http_url_parse_fragment() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_query() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_path() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_unknown_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_userinfo() from http_url_parse_authority().

lib-http: Reformat test-http-request-parser.c.

lib-http: Reformat test-http-url.c.

lib-http: Reformat http-url.c.

lib-http: Reformat http-url.h.

lib-mail: message-snippet - Use i_isspace

This way we catch all the whitespace

lib-mail: Treat > as quote for HTML mails too

lib-mail: Use quoted text as snippet if there is nothing else

lib-mail: message-snippet - Add snippet_add_content

Simplifies next commit

lib-mail: message-snippet - Use struct for snippet

Simplifies next change

lib-mail: Include blockquotes as quotes in plain text

<blockquote>This is now preserved</blockquote>
which is fine

renders as

> this is now preserved
which is fine

lib-mail: mail-html2text - Drop unused ignore_next_text

lib-mail: mail-html2text - Do not add space after newline

login-proxy: Fix potential crash if ssl_iostream_handshake() fails

The error was uninitialized, which could have caused a crash when it was
logged (or just "(null)" printed with better luck).

lib-storage: Attachment detection shouldn't cause mime.parts parsing when copying mails

lib-storage: Create vsize records already when building the initial vsize header

This way they aren't first added to cache as size.virtuals, but immediately
added as vsize extension records.

lib-storage: Use latest index map when checking if vsize records should be created

The current view's map may not be completely up-to-date. Required by the
following commit.

lib-storage: Copy vsize record even when destination mailbox doesn't have it

It's almost guaranteed that if the source mailbox has vsize then we want the
destination mailbox to also have it. This condition now happens mainly when
copying mails to a newly created mailbox where the vsize lookups haven't
occurred yet. It's better to do this immediately to avoid unnecessarily slow
lookups later on.

lib-storage: Fix copying vsize record when copying mails

Broken by 153ab952f77ed25b71fa4fa9774ff3e3a776b91c

lib: ostream-multiplex - Change o_stream_multiplex_sendv() to return void

It was always returning 0.

lib: ostream-multiplex - Make sure stream gets uncorked always

dsync: Fix potential hang when initializing remote dsync

The initial dsync handshake TCP packet could be in the same packet as the
previous doveadm command. This started happening more often with the
recent multiplex ostream corking changes in
f284865285ae461b293c713e03277cfbb6973eca

doveadm-mail-server: Initialize port to doveadm_port

Forgotten in 8048fa8e46c1c8cfc1f29837512cc7d49fafa4da

doveadm: Add doveadm_ssl setting

doveadm-mail-server: Support proxy fields properly

doveadm: Add STARTTLS support

doveadm: Setup ssl connection when ssl_flags require it

doveadm: Do not block fd after command

It is not useful and breaks SSL

lib: istream - Fix calling i_stream_nonseekable_try_seek() without intermittent reads.

Calling i_stream_nonseekable_try_seek() sets stream->high_pos when seeking back
within buffer. Once i_stream_read_memarea() is called, the pos is set to
high_pos and the high pos is cleared. However, when no read is performed in the
mean time, another call to i_stream_nonseekable_try_seek() would overwrite the
high_pos value with pos, causing the true value to get lost, leading to all
kinds of issues. This is fixed by checking whether high_pos is already set and
not touching it when it is (first value is the only valid one).

One issue this caused is that the mbox storage would no longer work with
compression, triggering `unexpected EOF' errors.

doveadm mailbox cache remove: Require search query parameter

Don't treat nonexistent search query the same as ALL.

*-login: Fix potential hangs with SSL connections

1) Multi-step SASL authentication could hang when login process waits for
response from a client, but it has already pipelined it together with the
AUTH/AUTHENTICATE command.

2) After failed authentication commands could start hanging.

lib: backtrace_append() - If libunwind returns failure, fallback to libc's method

lib: backtrace_get/append() - skip stack frames only based name

It's not really safe to do anything else because functions may potentially
be inlined.

lib: test-backtrace - Remove unnecessary includes

lib: backtrace_append() - If libunwind fails to get any symbols, return error

lib-storage: mail-storage - Add mailbox_has_special_use().

Implements checking whether a mailbox has a particular special-use flag.

lib-storage: mail-storage - Add API for allocating a mailbox based on a special-use flag.

lib-storage: mail-storage - Merge mailbox_alloc_delivery() into mailbox_alloc_for_user().

Uses the MAILBOX_FLAG_POST_SESSION flag.

lib-storage: mail-storage - Add mailbox_alloc_for_user().

lib-index: Fix checking if log file can be rotated

This fixes a bug caused by 883a3022992d0f832f0aff21572caeb7c63b7668 where
dovecot.index.log file wasn't rotated as often as it was supposed to be. It
also could have caused dovecot.index to be rewritten much more often than
it was supposed to be.

The buggy commit was correct that the tail_offset wasn't updated previously
to the dovecot.index.log file after changes. However, I didn't realize that
the tail_offset was internally still updated and required by this rotation
check to work correctly.

The fix works by relaxing the tail_offset==head_offset requirement for
rotation. It's enough that all the changes are synced, which can be checked
from mail_index_sync_ctx.fully_synced. Any changes after tail_offset are
then supposed to be external transactions, which aren't synced anyway, so
rotation is allowed.

lmtp: lmtp-proxy - Support forwarding a broken sender address to the backend LMTP service.

This is subject to configuration.

lib-smtp: smtp-client - Add support for proxying MAIL command with broken path.

lmtp: Accept MAIL command with broken sender address.

The address is treated as <> in most cases. For logging, the unparsed broken
address is available in the `raw' field of the address.

lda: Accept -f argument with broken sender address.

lib-smtp: smtp-server - Support accepting broken path parameter in MAIL command.

lib-smtp: smtp-command-parser - Accept valid UTF-8 characters for command parameters.

lib-smtp: smtp-address - Add smtp_address_is_broken().

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN parse flag.

Makes the path parser try to skip over a broken address to allow working around
syntax errors in e.g. the sender address for the  MAIL command.

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_PRESERVE_RAW parse flag.

It stores the unparsed representation of the address in the new raw field of
struct smtp_address. This is only relevant to smtp_address_parse_path().

lib-smtp: test-smtp-address - Restructure valid address tests.

lib-smtp: smtp-address - Add smtp_address_encode_raw*().

These are special variants of smtp_address_encode*(), which use the new raw
field when it is set.

lib-smtp: smtp-address - Also copy the new raw field when cloning struct smtp_address.

lib-smtp: smtp-address - Add raw field to struct smtp_address.

lib-smtp: smtp-address - Implement workarounds for parsing addresses with a bad localpart.

Always parse it as normal when it starts with `<' or `"'. The workaround
consists of parsing the address by splitting it on the last `@'. The address is
accepted when the resulting localpart and domain can be used to compose a valid
address. This workaround is now shared with username-to-address parsing, which
existed before.

lib-smtp: smtp-address - Allow parsing address from username that contains space, double quote or backslash.

Not allowing double quote and backslash was a bug, while space was explicitly
disallowed. However, these characters can be used in an RFC 5321 address when
inside a quoted string, so there is no reason to disallow those.

lib-smtp: smtp-address - Add smtp_address_parse_any().

This allows parsing any RFC5321 address as a string, even severely broken ones.

lib-smtp: smtp-address - Remove useless check in smtp_address_write().

lib-smtp: smtp-server-transaction - Create transaction using struct smtp_server_cmd_mail directly.

Before, it used separate parameters for the individual fields, but that makes it
hard to extend.