Released 2.3.9.3

NEWS: Add news for 2.3.9.3

lib-mail: message_snippet_generate() - Fix potential crash when input ends with '>'

This happens only when the mail was large enough and full enough with
whitespace that message-parser returned multiple blocks before the snippet
was finished.

Broken by 74063ed8219d055489d5233b0c02a59886d2078c

lib-mail: test-message-snippet - Test for invalid and truncated UTF-8

lib-fts: Add assert to make sure uni_utf8_get_char() returns valid UTF-8

The input to lib-fts is always expected to be valid UTF-8.

fts-solr: Add asserts to make sure make sure uni_utf8_get_char_n() returns valid UTF-8

FTS input is always valid UTF-8. This just makes it a bit clearer.

lib-smtp: test-smtp-command-parser - Add tests for incomplete UTF-8 characters.

lib-smtp: smtp-command-parser - Fix infinite loop occurring when command stream ends in UTF-8 character.

Broken by 8f08f1944be438a2422b604c08e5060b5c7bd72f.

Released v2.3.9.2

NEWS: Add news for 2.3.9.2

push-notification: Fix crash with empty from/to header

Released 2.3.9.1

NEWS: Add news for 2.3.9.1

push-notification-driver-lua: Provide missing to/from as empty string

push-notification: Handle group names correctly in from/to

Fixes signal 11 crash

Released v2.3.9

NEWS: Add news for 2.3.9

NEWS: Sync missing news v2.3.7-v2.3.8

lib: Free internal event categories on lib deinit

lib: Add ->clear_field() passthrough event op

lib-http: client request events: Add "dest_ip" field

lib-http: client request events: Add "dest_" prefix to "host" and "port"

This makes it consistent with the event names in connection API.

lib: connection: Remove assert for remote_port != 0

This can happen if connection_init_server_ip() is called with remote_ip set
but not remote_port. Alternative fix might be to move the assert to it.

lib: connection: Rename unix_peer_known to unix_peer_checked

This reflects more correctly what it means.

lib: connection: Cleanup connection_update_properties()

Add comments and change the code flows a bit to make it clearer what is
supposed to happen.

Fixes also a potential bug where getpeername() could return 0, but if
errno wasn't changed the following errno==ENOTSOCK could have wrongly
matched.

lib: connection: Fix remote_pid and remote_uid in UNIX client connection log prefixes

They previously weren't included in the log prefixes, because
unix_peer_known was set to TRUE too early.

lib: connection: Don't set remote_pid or remote_uid to TCP connection event

They weren't initialized properly when connection_init_server_ip() or
connection_init_client_ip_from() was called with remote_ip parameter.

lib: connection: Add "dest_host" event field if given

lib: connection: Remove clearing of event fields

This was done mainly because the fields could have become mixed up when a
client connection event had a parent server connection event. But now that
the IP and port fields are different for client and server connections this
problem mainly doesn't exist.

lib: connection: Fix naming of remote/local_ip/port

For client connections these fields were duplicated as "ip", "port" and
"client_ip".

Now make it explicit that client connections only have source_* and dest_*,
while server connections only have local_* and remote_*.

imap: rename: Add "old_mailbox" and "new_mailbox" fields to command event

imap: Add "mailbox" field to imap command events that use mailboxes

imap: Fix setting imap client event's "session" field for CLI sessions

imap: Remove imap_client.session_id

Use mail_user.session_id instead. The imap_client.session_id was NULL for
command line sessions, which gets fixed by using mail_user.session_id.

lib-storage: Remove mail_user and mail_storage_service_user events' "service" field

There is already "service:<name>" category added to all events so this is
duplication.

If it's later on decided to be useful after all, it should be added
automatically to all events. Probably by creating the root event in
lib-master.

lib-storage: Remove local/remote_ip/port from mail_storage_service_user event

These make sense more in the parent event.

imap: Add local/remote_ip/port to imap client event fields

lib-storage: Rename mailbox event field "name" to "mailbox"

The "name" could conflict with child events. It's also much clearer this
way especially when accessed via child events.

lib-smtp: Rename event field "name" to "cmd_name"

This makes it consistent with imap's cmd_name.

lmtp: Add client workarounds.

Adds same workarounds as the submission service supports.

submission: Rename workaround enum values.

Avoid conflicts with other protocols.

lmtp: lmtp-commands - Fix application of the lmtp_hdr_delivery_address setting.

Its value was ignored. It got broken by the move to the new lib-smtp for v2.3.

lmtp: lmtp-commands - Simplify lmtp_local_add_headers().

lmtp: lmtp-settings - Fix reading lmtp_hdr_delivery_address setting.

The setting was not actually parsed.

lib-smtp: smtp-server-transaction - Make the recipient address used in trace headers configurable.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_get_original().

lib-imap: Fix adding IMAP_ARG_EOL parameter to all unfinished lists

This is a continuation for 6beb5339f163eaa470974ced2bcdf193f130d8a7,
which added it only to the last open list, not its parent lists.

lib: Test category re-registration thoroughly

lib: Use event category representatives instead of user supplied pointers

Since we cannot rely on the consumers to supply us with unique category
pointers, we can switch all our tracking to the category representative
structures.

lib: Maintain a representative event category inside internal state

More than one category can be represented by the internal state.  To give
consumers a unique but consistent category pointer, we allocate a category
structure (technically part of the internal state) and use it as the
representative for all the registrations.

Note: This commit only allocates and maintains the representatives.  It does
not make use of them.

lib: Keep an internal event category structure

lib: events: Replace ->registered with ->internal

This is in preparation for maintaining an internal category state structure.

lib: Remove support for unregistering categories

Nothing used the code and there were some unhandled corner cases.

lib: Correct struct event_category's registered member's comment

lib: json-parser: Escape characters U+2028 and U+2029 to avoid CR-LF conflict with some parsers.

lib: json-parser: Fix eager escaping UTF-8 characters

push-notification: lua: Expose UTF8 from/to/subject

Replace the existing "subject" field with UTF8 subject. Add new
from_address, from_display_name, to_address and to_display_name where
the *_display_names are UTF8.

push-notification: Support UTF8-decoded from/to/subject

Use a new struct push_notification_message_ext for this so both MessageNew
and MessageAppend events can share the same struct.

For From and To addresses keep the actual email address and display-name in
separate fields, since some drivers want them separated.

push-notification: Simplify code with p_strarray_dup()

push-notification: Deduplicate MessageNew and MessageAppend events' data gathering code

It would have been simpler to share their structs, but that can't be done cleanly
without breaking the API's backwards compatibility.

lib-smtp: smtp-server-cmd-mail - Don't implicitly accept missing '<' and '>' when set->mail_path_allow_broken == TRUE.

lib-smtp: smtp-address - Don't allow missing '<' and '>' with only SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN flag set.

lib-smtp: test-smtp-server-errors - Fix "MAIL broken path" test.

The test label and the number of clients was wrong.

doveadm: Fix doveadm_proxy_port alias

run-test-valgrind.supp: Fix libunwind supression

The stack trace changed after the initial suppression was done

lib-imap: imap_write_arg() - Write IMAP_ARG_LITERAL_SIZE* the same as imap_write_args_for_human()

Either way it's not a proper literal because the content is missing.
This is at least now more consistent.

imap: APPEND - Fix parameters for cmd_args and cmd_human_args

Note that this still includes only the first parameters when CATENATE or
MULTIAPPEND is used.

imap: client_args_finished() - support appending more args

imap: Split off client_args_finished()

imap: Add "cmd_" prefix to most imap_command_finished event parameters

Especially "name" can conflict with child events' parameter.

imap: Fix args and human_args parameters to imap_command_finished event

They were being set too early when they didn't yet exist.

lib-imap: Add IMAP_ARG_EOL parameter also for unfinished lists

If list parsing was stopped due to IMAP_ARG_LITERAL_SIZE* the list didn't
have IMAP_ARG_EOL added. However, imap_arg_get_list() could still have
been used for it, which assumes that the IMAP_ARG_EOL exists.

This didn't seem to cause any actual bugs so far, but the following commits
require this.

The IMAP_ARG_EOL is appended and deleted immediately. This way it's seen by
imap_arg_get_list(), but it won't change any other behavior unexpectedly.

lib: Add io_loop_stop_delayed()

lmtp: lmtp-proxy - Add ORCPT parameter to RCPT command when recipient path changes.

This will happen when passdb changes the username.

lib-smtp: smtp-params - Add support for parsing RCPT ORCPT parameter without domain.

lib-smtp: smtp-params - Add smtp_params_rcpt_has_orcpt().

Evaluates whether ORCPT parameter is present.

lib-smtp: smtp-params - Add smtp_params_rcpt_set_orcpt().

Allows modifying the ORCPT parameter.

lib-smtp: smtp-address - Prevent/handle empty string values in fields of struct smtp_address.

This prevents e.g. writing an invalid address like 'user@'.

lib-smtp: Reformat test-smtp-params.c.

lib-smtp: Reformat smtp-params.h.

lib-smtp: Reformat smtp-params.c.

lib-http: http-url - Fix handling of double slash in request target URL.

A origin-form URL starting with double slash caused the initial path segment to
be erroneously recognized as the URL authority, making the path part
unexpectedly empty (NULL). This could cause the HTTP server to crash.

lib-http: test-http-request-parser - Test equality of target URL paths in valid tests.

lib-http: test-http-request-parser - Split off test_http_request_equal() from test_http_request_parse_valid().

lib-http: test-http-url - Split off test_http_url_equal() from test_http_url_valid().

lib-http: http-url - Split off http_url_parse_fragment() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_query() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_path() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_unknown_scheme() from http_url_do_parse().

lib-http: http-url - Split off http_url_parse_userinfo() from http_url_parse_authority().

lib-http: Reformat test-http-request-parser.c.

lib-http: Reformat test-http-url.c.

lib-http: Reformat http-url.c.

lib-http: Reformat http-url.h.

lib-mail: message-snippet - Use i_isspace

This way we catch all the whitespace

lib-mail: Treat > as quote for HTML mails too

lib-mail: Use quoted text as snippet if there is nothing else

lib-mail: message-snippet - Add snippet_add_content

Simplifies next commit

lib-mail: message-snippet - Use struct for snippet

Simplifies next change