lmtp: lmtp-settings - Fix reading lmtp_hdr_delivery_address setting.

The setting was not actually parsed.

lib-smtp: smtp-server-transaction - Make the recipient address used in trace headers configurable.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_get_original().

lib-imap: Fix adding IMAP_ARG_EOL parameter to all unfinished lists

This is a continuation for 6beb5339f163eaa470974ced2bcdf193f130d8a7,
which added it only to the last open list, not its parent lists.

push-notification: lua: Expose UTF8 from/to/subject

Replace the existing "subject" field with UTF8 subject. Add new
from_address, from_display_name, to_address and to_display_name where
the *_display_names are UTF8.

push-notification: Support UTF8-decoded from/to/subject

Use a new struct push_notification_message_ext for this so both MessageNew
and MessageAppend events can share the same struct.

For From and To addresses keep the actual email address and display-name in
separate fields, since some drivers want them separated.

push-notification: Simplify code with p_strarray_dup()

push-notification: Deduplicate MessageNew and MessageAppend events' data gathering code

It would have been simpler to share their structs, but that can't be done cleanly
without breaking the API's backwards compatibility.

lib-smtp: smtp-server-cmd-mail - Don't implicitly accept missing '<' and '>' when set->mail_path_allow_broken == TRUE.

lib-smtp: smtp-address - Don't allow missing '<' and '>' with only SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN flag set.

lib-smtp: test-smtp-server-errors - Fix "MAIL broken path" test.

The test label and the number of clients was wrong.

imap-hibernate: Fix logging unhibernation error if imap-master gets disconnected

imap-hibernate: Fix crash when imap-master communication fails

Fixes a segfault if the communication times out or gets disconnected too
early. This happens because read_callback() already frees the
imap_master_connection.

lib-ssl-iostream: Fix error message about ssl_dh

The setting name is ssl_dh, not ssh_dh

gitignore: Add file and directories generated by clion and kde.

lib-index: Fix potential assert-crash when cache compression merges bitmasks

Fixes:
Panic: file array.c: line 10 (array_idx_modifiable_i): assertion failed: (idx < array->buffer->used / array->element_size)

(although this panic could happen in other ways as well)

lib-smtp: smtp-client-connection - Make sure connect timeout is always reset upon TLS handshake success.

lib-smtp: smtp-client-connection - Fix assert failure occurring when STARTTLS handshake succeeds quickly.

Panic was:

Panic: file smtp-client-connection.c: line 1212 (smtp_client_connection_established): assertion failed: (!conn->connect_succeeded)

lib: Test category re-registration thoroughly

lib: Use event category representatives instead of user supplied pointers

Since we cannot rely on the consumers to supply us with unique category
pointers, we can switch all our tracking to the category representative
structures.

lib: Maintain a representative event category inside internal state

More than one category can be represented by the internal state.  To give
consumers a unique but consistent category pointer, we allocate a category
structure (technically part of the internal state) and use it as the
representative for all the registrations.

Note: This commit only allocates and maintains the representatives.  It does
not make use of them.

lib: Keep an internal event category structure

lib: events: Replace ->registered with ->internal

This is in preparation for maintaining an internal category state structure.

lib: Remove support for unregistering categories

Nothing used the code and there were some unhandled corner cases.

lib: Correct struct event_category's registered member's comment

doveadm: Fix doveadm_proxy_port alias

lib: json-parser: Escape characters U+2028 and U+2029 to avoid CR-LF conflict with some parsers.

lib: json-parser: Fix eager escaping UTF-8 characters

imap-hibernate: Increase unhibernation retry timeout to 100 ms

If there are problems, 10 ms can cause excessive number of errors to be
logged.

imap-hibernate: Fix retrying unhibernation

The code that was supposed to do the retrying was never actually called.
This is because move_back_start was always 0, so it always went to the
"we've waited long enough" code path.

imap-hibernate: Stop listening for IOs while waiting for unhibernate retrying

This avoids excessive CPU usage, because the IOs keep rapidly triggering and
trying to get the client unhibernated.

imap-hibernate: Fix crashes caused by unhibernation queue handling

These only started happening after the following commit that fixes
unhibernation to actually start happening.

lib: net_set_tcp_quickack() - Fix compiler warnings with non-Linux OSes

run-test-valgrind.supp: Fix libunwind supression

The stack trace changed after the initial suppression was done

lib: ostream-file - Set TCP_QUICKACK whenever uncorking

This reduces latency in some situations.

lib: Add net_set_tcp_quickack()

lib-smtp: Uncork connection after QUIT, not before

This makes it more likely to work and without an extra TCP packet.

lib-imap: imap_write_arg() - Write IMAP_ARG_LITERAL_SIZE* the same as imap_write_args_for_human()

Either way it's not a proper literal because the content is missing.
This is at least now more consistent.

imap: APPEND - Fix parameters for cmd_args and cmd_human_args

Note that this still includes only the first parameters when CATENATE or
MULTIAPPEND is used.

imap: client_args_finished() - support appending more args

imap: Split off client_args_finished()

imap: Add "cmd_" prefix to most imap_command_finished event parameters

Especially "name" can conflict with child events' parameter.

imap: Fix args and human_args parameters to imap_command_finished event

They were being set too early when they didn't yet exist.

lib-imap: Add IMAP_ARG_EOL parameter also for unfinished lists

If list parsing was stopped due to IMAP_ARG_LITERAL_SIZE* the list didn't
have IMAP_ARG_EOL added. However, imap_arg_get_list() could still have
been used for it, which assumes that the IMAP_ARG_EOL exists.

This didn't seem to cause any actual bugs so far, but the following commits
require this.

The IMAP_ARG_EOL is appended and deleted immediately. This way it's seen by
imap_arg_get_list(), but it won't change any other behavior unexpectedly.

lib: Add io_loop_stop_delayed()

lmtp: lmtp-proxy - Add ORCPT parameter to RCPT command when recipient path changes.

This will happen when passdb changes the username.

lib-smtp: smtp-params - Add support for parsing RCPT ORCPT parameter without domain.

lib-smtp: smtp-params - Add smtp_params_rcpt_has_orcpt().

Evaluates whether ORCPT parameter is present.

lib-smtp: smtp-params - Add smtp_params_rcpt_set_orcpt().

Allows modifying the ORCPT parameter.

lib-smtp: smtp-address - Prevent/handle empty string values in fields of struct smtp_address.

This prevents e.g. writing an invalid address like 'user@'.

lib-smtp: Reformat test-smtp-params.c.

lib-smtp: Reformat smtp-params.h.

lib-smtp: Reformat smtp-params.c.

lib-http: http-url - Fix handling of double slash in request target URL.

A origin-form URL starting with double slash caused the initial path segment to
be erroneously recognized as the URL authority, making the path part
unexpectedly empty (NULL). This could cause the HTTP server to crash.

lib-http: test-http-request-parser - Test equality of target URL paths in valid tests.

lib-http: test-http-request-parser - Split off test_http_request_equal() from test_http_request_parse_valid().

lib-http: test-http-url - Split off test_http_url_equal() from test_http_url_valid().

lib-http: http-url - Split off http_url_parse_fragment() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_query() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_path() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_unknown_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_userinfo() from http_url_parse_authority().

lib-http: Reformat test-http-request-parser.c.

lib-http: Reformat test-http-url.c.

lib-http: Reformat http-url.c.

lib-http: Reformat http-url.h.

lib-mail: message-snippet - Use i_isspace

This way we catch all the whitespace

lib-mail: Treat > as quote for HTML mails too

lib-mail: Use quoted text as snippet if there is nothing else

lib-mail: message-snippet - Add snippet_add_content

Simplifies next commit

lib-mail: message-snippet - Use struct for snippet

Simplifies next change

lib-mail: Include blockquotes as quotes in plain text

<blockquote>This is now preserved</blockquote>
which is fine

renders as

> this is now preserved
which is fine

lib-mail: mail-html2text - Drop unused ignore_next_text

lib-mail: mail-html2text - Do not add space after newline

login-proxy: Fix potential crash if ssl_iostream_handshake() fails

The error was uninitialized, which could have caused a crash when it was
logged (or just "(null)" printed with better luck).

lib-storage: Attachment detection shouldn't cause mime.parts parsing when copying mails

lib-storage: Create vsize records already when building the initial vsize header

This way they aren't first added to cache as size.virtuals, but immediately
added as vsize extension records.

lib-storage: Use latest index map when checking if vsize records should be created

The current view's map may not be completely up-to-date. Required by the
following commit.

lib-storage: Copy vsize record even when destination mailbox doesn't have it

It's almost guaranteed that if the source mailbox has vsize then we want the
destination mailbox to also have it. This condition now happens mainly when
copying mails to a newly created mailbox where the vsize lookups haven't
occurred yet. It's better to do this immediately to avoid unnecessarily slow
lookups later on.

lib-storage: Fix copying vsize record when copying mails

Broken by 153ab952f77ed25b71fa4fa9774ff3e3a776b91c

lib: ostream-multiplex - Change o_stream_multiplex_sendv() to return void

It was always returning 0.

lib: ostream-multiplex - Make sure stream gets uncorked always

dsync: Fix potential hang when initializing remote dsync

The initial dsync handshake TCP packet could be in the same packet as the
previous doveadm command. This started happening more often with the
recent multiplex ostream corking changes in
f284865285ae461b293c713e03277cfbb6973eca

doveadm-mail-server: Initialize port to doveadm_port

Forgotten in 8048fa8e46c1c8cfc1f29837512cc7d49fafa4da

doveadm: Add doveadm_ssl setting

doveadm-mail-server: Support proxy fields properly

doveadm: Add STARTTLS support

doveadm: Setup ssl connection when ssl_flags require it

doveadm: Do not block fd after command

It is not useful and breaks SSL

lib: istream - Fix calling i_stream_nonseekable_try_seek() without intermittent reads.

Calling i_stream_nonseekable_try_seek() sets stream->high_pos when seeking back
within buffer. Once i_stream_read_memarea() is called, the pos is set to
high_pos and the high pos is cleared. However, when no read is performed in the
mean time, another call to i_stream_nonseekable_try_seek() would overwrite the
high_pos value with pos, causing the true value to get lost, leading to all
kinds of issues. This is fixed by checking whether high_pos is already set and
not touching it when it is (first value is the only valid one).

One issue this caused is that the mbox storage would no longer work with
compression, triggering `unexpected EOF' errors.

doveadm mailbox cache remove: Require search query parameter

Don't treat nonexistent search query the same as ALL.

*-login: Fix potential hangs with SSL connections

1) Multi-step SASL authentication could hang when login process waits for
response from a client, but it has already pipelined it together with the
AUTH/AUTHENTICATE command.

2) After failed authentication commands could start hanging.

lib: backtrace_append() - If libunwind returns failure, fallback to libc's method

lib: backtrace_get/append() - skip stack frames only based name

It's not really safe to do anything else because functions may potentially
be inlined.

lib: test-backtrace - Remove unnecessary includes

lib: backtrace_append() - If libunwind fails to get any symbols, return error

lib-storage: mail-storage - Add mailbox_has_special_use().

Implements checking whether a mailbox has a particular special-use flag.

lib-storage: mail-storage - Add API for allocating a mailbox based on a special-use flag.

lib-storage: mail-storage - Merge mailbox_alloc_delivery() into mailbox_alloc_for_user().

Uses the MAILBOX_FLAG_POST_SESSION flag.