lib-mail: Treat > as quote for HTML mails too

lib-mail: Use quoted text as snippet if there is nothing else

lib-mail: message-snippet - Add snippet_add_content

Simplifies next commit

lib-mail: message-snippet - Use struct for snippet

Simplifies next change

lib-mail: Include blockquotes as quotes in plain text

<blockquote>This is now preserved</blockquote>
which is fine

renders as

> this is now preserved
which is fine

lib-mail: mail-html2text - Drop unused ignore_next_text

lib-mail: mail-html2text - Do not add space after newline

login-proxy: Fix potential crash if ssl_iostream_handshake() fails

The error was uninitialized, which could have caused a crash when it was
logged (or just "(null)" printed with better luck).

lib-storage: Attachment detection shouldn't cause mime.parts parsing when copying mails

lib-storage: Create vsize records already when building the initial vsize header

This way they aren't first added to cache as size.virtuals, but immediately
added as vsize extension records.

lib-storage: Use latest index map when checking if vsize records should be created

The current view's map may not be completely up-to-date. Required by the
following commit.

lib-storage: Copy vsize record even when destination mailbox doesn't have it

It's almost guaranteed that if the source mailbox has vsize then we want the
destination mailbox to also have it. This condition now happens mainly when
copying mails to a newly created mailbox where the vsize lookups haven't
occurred yet. It's better to do this immediately to avoid unnecessarily slow
lookups later on.

lib-storage: Fix copying vsize record when copying mails

Broken by 153ab952f77ed25b71fa4fa9774ff3e3a776b91c

lib: ostream-multiplex - Change o_stream_multiplex_sendv() to return void

It was always returning 0.

lib: ostream-multiplex - Make sure stream gets uncorked always

dsync: Fix potential hang when initializing remote dsync

The initial dsync handshake TCP packet could be in the same packet as the
previous doveadm command. This started happening more often with the
recent multiplex ostream corking changes in
f284865285ae461b293c713e03277cfbb6973eca

doveadm-mail-server: Initialize port to doveadm_port

Forgotten in 8048fa8e46c1c8cfc1f29837512cc7d49fafa4da

doveadm: Add doveadm_ssl setting

doveadm-mail-server: Support proxy fields properly

doveadm: Add STARTTLS support

doveadm: Setup ssl connection when ssl_flags require it

doveadm: Do not block fd after command

It is not useful and breaks SSL

lib: istream - Fix calling i_stream_nonseekable_try_seek() without intermittent reads.

Calling i_stream_nonseekable_try_seek() sets stream->high_pos when seeking back
within buffer. Once i_stream_read_memarea() is called, the pos is set to
high_pos and the high pos is cleared. However, when no read is performed in the
mean time, another call to i_stream_nonseekable_try_seek() would overwrite the
high_pos value with pos, causing the true value to get lost, leading to all
kinds of issues. This is fixed by checking whether high_pos is already set and
not touching it when it is (first value is the only valid one).

One issue this caused is that the mbox storage would no longer work with
compression, triggering `unexpected EOF' errors.

doveadm mailbox cache remove: Require search query parameter

Don't treat nonexistent search query the same as ALL.

*-login: Fix potential hangs with SSL connections

1) Multi-step SASL authentication could hang when login process waits for
response from a client, but it has already pipelined it together with the
AUTH/AUTHENTICATE command.

2) After failed authentication commands could start hanging.

lib: backtrace_append() - If libunwind returns failure, fallback to libc's method

lib: backtrace_get/append() - skip stack frames only based name

It's not really safe to do anything else because functions may potentially
be inlined.

lib: test-backtrace - Remove unnecessary includes

lib: backtrace_append() - If libunwind fails to get any symbols, return error

lib-storage: mail-storage - Add mailbox_has_special_use().

Implements checking whether a mailbox has a particular special-use flag.

lib-storage: mail-storage - Add API for allocating a mailbox based on a special-use flag.

lib-storage: mail-storage - Merge mailbox_alloc_delivery() into mailbox_alloc_for_user().

Uses the MAILBOX_FLAG_POST_SESSION flag.

lib-storage: mail-storage - Add mailbox_alloc_for_user().

lib-index: Fix checking if log file can be rotated

This fixes a bug caused by 883a3022992d0f832f0aff21572caeb7c63b7668 where
dovecot.index.log file wasn't rotated as often as it was supposed to be. It
also could have caused dovecot.index to be rewritten much more often than
it was supposed to be.

The buggy commit was correct that the tail_offset wasn't updated previously
to the dovecot.index.log file after changes. However, I didn't realize that
the tail_offset was internally still updated and required by this rotation
check to work correctly.

The fix works by relaxing the tail_offset==head_offset requirement for
rotation. It's enough that all the changes are synced, which can be checked
from mail_index_sync_ctx.fully_synced. Any changes after tail_offset are
then supposed to be external transactions, which aren't synced anyway, so
rotation is allowed.

lmtp: lmtp-proxy - Support forwarding a broken sender address to the backend LMTP service.

This is subject to configuration.

lib-smtp: smtp-client - Add support for proxying MAIL command with broken path.

lmtp: Accept MAIL command with broken sender address.

The address is treated as <> in most cases. For logging, the unparsed broken
address is available in the `raw' field of the address.

lda: Accept -f argument with broken sender address.

lib-smtp: smtp-server - Support accepting broken path parameter in MAIL command.

lib-smtp: smtp-command-parser - Accept valid UTF-8 characters for command parameters.

lib-smtp: smtp-address - Add smtp_address_is_broken().

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN parse flag.

Makes the path parser try to skip over a broken address to allow working around
syntax errors in e.g. the sender address for the  MAIL command.

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_PRESERVE_RAW parse flag.

It stores the unparsed representation of the address in the new raw field of
struct smtp_address. This is only relevant to smtp_address_parse_path().

lib-smtp: test-smtp-address - Restructure valid address tests.

lib-smtp: smtp-address - Add smtp_address_encode_raw*().

These are special variants of smtp_address_encode*(), which use the new raw
field when it is set.

lib-smtp: smtp-address - Also copy the new raw field when cloning struct smtp_address.

lib-smtp: smtp-address - Add raw field to struct smtp_address.

lib-smtp: smtp-address - Implement workarounds for parsing addresses with a bad localpart.

Always parse it as normal when it starts with `<' or `"'. The workaround
consists of parsing the address by splitting it on the last `@'. The address is
accepted when the resulting localpart and domain can be used to compose a valid
address. This workaround is now shared with username-to-address parsing, which
existed before.

lib-smtp: smtp-address - Allow parsing address from username that contains space, double quote or backslash.

Not allowing double quote and backslash was a bug, while space was explicitly
disallowed. However, these characters can be used in an RFC 5321 address when
inside a quoted string, so there is no reason to disallow those.

lib-smtp: smtp-address - Add smtp_address_parse_any().

This allows parsing any RFC5321 address as a string, even severely broken ones.

lib-smtp: smtp-address - Remove useless check in smtp_address_write().

lib-smtp: smtp-server-transaction - Create transaction using struct smtp_server_cmd_mail directly.

Before, it used separate parameters for the individual fields, but that makes it
hard to extend.

lib-smtp: smtp-address - Change return values of parse functions to be either 0 or -1.

Before it used 1 and -1, which does not match other parts of Dovecot.

lib-smtp: smtp-address - Document the parse functions.

lib-smtp: Reformat test-smtp-address.c.

lib-smtp: Reformat smtp-client-command.h.

lib-smtp: Reformat smtp-client-command.c.

lib-smtp: Reformat smtp-address.h.

lib-smtp: Reformat smtp-address.c.

lib-storage: Simplify mail_save_context.keywords reference counting

This change also makes it possible for plugins to change the keywords
without leaking memory.

login-common: Retrieve error from ssl context if handshake fails

Fixes

imap-login: Error: proxy: Failed to start SSL handshake to 127.0.0.2:43143: (null)

and

imap-login: Error: Failed to initialize SSL server context: Can't load SSL certificate: error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
Fatal: master: service(imap-login): child 14764 killed with signal 11 (core dumped)

Broken in 9f1038760ca5ba154366176a7056aad1c7b6c77e

lib-sql: Add asserts to make sure refcount unexpectedly doesn't drop below 1

lib-sql: Initialize sqlpool db properly

Fixes a crash at sql_unref() caused by recent changes.

lib-storage: Include mailbox name and UID when logging about flag vs GUID mismatches

lib-storage: mailbox list index - detect if non-selectable mailbox has GUID

If it has, mark it as selectable.

lib-index: Add index alloc cache timeout to root ioloop

The cache is a global one and the timeout shouldn't trigger until the global
root ioloop is reached.

This fixes a timeout leak / crash when index was opened in an inner ioloop.

lib: Add io_loop_get_root()

lib-dict-backend: Remove cache for prepared statements

lib-sql: Rename sql_prepared_statement_deinit() to _unref()

lib-sql: Keep prepared statements in memory until db is deinitialized

There aren't supposed to be many different prepared statements.

lib-sql: Try to reuse prepared statements if possible

lib-sql: Fix the new sql_db refcounting to work with sql-db-cache

lib-sql: Add refcounting to sql_db

lib-sql: Move query_template to struct sql_prepared_statement directly

lib-storage: fix typo in mailbox-list-iter.h

imap-hibernate: Fix crash if unhibernation fd_send() fails

The imap-master connection needs to be freed when the client is freed.
Otherwise it attempts to free the client again.

lib: i_stream_get_data() - Mark invalid buffer code path unlikely

This really isn't expected to happen, so marking it unlikely optimizes
slightly callers that cause i_stream_get_data() to be called a huge number
of times.

doveadm fs: Use mail_temp_dir as temp_dir for fs operations' temp_dir

doveadm: Expand variables in doveadm_settings

Required by the next commit.

doveadm: Use a memory pool for duplicating settings

Required by the next commit.

auth: If user is already authenticated, passdb result shouldn't be password_mismatch

This caused confusion in the auth_request_passdb_finished event's result
parameter. Otherwise it shouldn't have caused any bugs.

auth: Add and use auth_request_password_missing() where possible

auth: Add passdb_id and userdb_id to auth_request_passdb/userdb_* events

lib-auth: Fix auth_client_is_connected() to work after disconnection

lib-http: test-http-client should use PKG_RUNDIR/dns-client

Instead of hardcoded /var/run/dovecot/dns-client

lib, lib-program-client: Fix i_stream_read_memarea() usage

Calling it may change the stream's buffer and free the old buffer. However,
some istreams didn't change the buffer if i_stream_read_memarea() returned
-2. The old buffer was kept referenced, which could have caused the istream
to read garbage or crash due to accessing freed memory.

This fixes:
 * istream-limit
 * istream-sized
 * istream-rawlog
 * program-client-istream
 * Anything using i_stream_read_copy_from_parent(), which includes:
   * istream-fs-file
   * istream-fs-stats
   * istream-metawrap
   * http-server-istream
   * istream-header-filter
   * istream-mail
   * istream-failure-at
   * istream-hash
   * istream-timeout
   * istream-try

lib-master: Event filter parsing - Accept "service:<name>"

This is short for "category:service:<name>"

lib-master: Code cleanup for handling event filter category parsing

lib, lib-master: Add service:<name> category for all events

lib: Add EVENT_CALLBACK_TYPE_CREATE to call a callback on event creation

It's not called for event_dup() or event_flatten(), because those are based
on events that were already created.

lib: Add and use event_create_internal() wrapper

This avoids p_strdup()ing the source_filename twice. Also it'll be extended
by the following commit.

lib: event_set_source() - Avoid p_strdup() if source filename doesn't change

lib: event_import_unescaped() - Use event_set_source() to set the source

lib: Add and use event_call_callbacks_noargs() helper

lib, lib-master: Remove event.call_free

Just call the EVENT_CALLBACK_TYPE_FREE always. Having this flag isn't
really going to affect the performance, and it might be useful in the
future to work this way.

Only the unit test was relying on call_free to be different from
id_sent_to_stats. This commit changes the unit test to check for the
END strings where necessary.

lib: Rename event_send_callbacks() to event_call_callbacks()

lib: Move event_send_callbacks() and event_send_free() earlier in the file

lib, lib-master: Rename EVENT_CALLBACK_TYPE_EVENT to _SEND

This describes the functionality better.

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.