submission: Add workarounds for well-known MAIL and RCPT command syntax deviations.

This adds a new `submission_client_workarounds' setting that works analogous to
the `imap_client_workarounds' setting.

Workarounds:

- whitespace-before-path: Allow one or more spaces or tabs between `MAIL FROM:'
                          and path and between `RCPT TO:' and path.
- mailbox-for-path:       Allow using bare Mailbox syntax (i.e., without <...>)
                          instead of full path syntax.

lib-smtp: test-smtp-server-errors: Add tests for RCPT command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for MAIL command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for bad RCPT command syntax.

lib-smtp: test-smtp-server-errors: Add tests for bad MAIL command syntax.

lib-smtp: test-smtp-server-errors: Implicitly stop server when all expected client connections are closed.

lib-smtp: test-smtp-server-errors: Add more debug messages for the server.

lib-smtp: test-smtp-server-errors: Make detection of early termination of child processes part of each test.

lib-smtp: test-smtp-server-errors: Add log prefixes for client and server.

Makes it easier to distinguish which process is sending a log message while
debugging.

lib-smtp: test-smtp-server-errors: Add support for client-side connection context data.

lib-smtp: test-smtp-server-errors: Use o_stream_nsend*() rather than o_stream_send*().

The result is not checked anyway.

lib-smtp: server: Add workarounds for well-known MAIL and RCPT command syntax deviations.

lib-smtp: address parser: Do not allow source route for path with omitted brackets.

Parse it strictly as a Mailbox, which makes more sense.

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

.gitignore: Ignore doc/man/doveadm-rebuild.1

doveadm: Add rebuild attachments command

Goes thru given mails and resets the attachment indicator.

lib-storage: Parse mail parts in mail_set_attachment_keywords if not present

lib-storage: Add error reporting to mail_set_attachment_keywords

doveadm: mailbox cache decisions - Fatally fail if fields are missing

man: Document doveadm mailbox cache commands

doveadm: Add mailbox cache manipulation commands

This allows changing cache decisions and dropping cache pointer
for wanted mails.

doveadm-mail: Handle field conversion to short opt better

Convert non-string types as well

dsync: If lock file can't be created because home is missing, mkdir the home

lib-storage: Add mail_user_home_mkdir()

lib-mail: message-address: Make the parser allow paths that omit `<' and `>'.

This is a syntax violation, but we allow it to account for a rather wide
selection of software that does not follow the standards.

lib-mail: message-address: Make parser properly reject paths with spurious trailing characters.

lib-mail: message-address: Make sure incomplete paths are rejected by parser.

lib-mail: message-address: Require paths with an invalid source route to have at least a proper `:'.

Otherwise, the parser would allow a bare domain.

lib-mail: message-address: Properly deinit RFC822 parser in message_address_parse_path().

lib-mail: test-message-address: Add test for parsing empty path.

lib-mail: test-message-address: Use i_memdup() rather than explicit malloc(), memcpy().

lib: Added i_memdup().

lib-master: Add log_core_filter setting to core dump on matching filter

lib: Add global core filter, which allows core dumping on matching events

lib: Add log types as event categories

This allows using debug, info, warning, error, fatal and panic as
categories.

lib-master, stats: Send event's log_type to stats process

This makes the internal stats protocol incompatible with the previous
version, so major protocol version is increased.

lib-master: If log_debug is empty, don't set global debug log filter at all

global_debug_log_filter==NULL check is a bit faster.

lib-master: Cleanup - Add new helper function for parsing log filter settings

lib-master: Rename master_service_log_debug_parse() to master_service_log_filter_parse()

This function will be used for parsing other settings besides just
log_debug.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

lib-mail: html2text: do not parse entity when quote_level > 0.

&entities inside blockquotes are added to text, while other text is
not, this leads to strange results.

lib-mail: Fix include guards for istream-nonuls.h

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

lib-ssl-iostream: Fix premature NULL deref

Broken in 4836d541b1c1354073e068aabe5cd92aa67fe61d

Found by coverity

lib-mail: message-address: Fix address parser to properly reject angle-addr without `>'.

lib-mail: message-address: Fix assert panic occurring in message_address_parse_path() when no opening `<' is found.

Panic was:

Panic: file message-address.c: line 147 (parse_angle_addr): assertion failed: (*ctx->parser.data == '<')

lib-storage: Assert unique_root_dir is set with MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT

lib-storage: shared driver - Remove copying the child storage's class_flags

The shared storage root itself doesn't have any storage, so it shouldn't
need to copy the child storage's class_flags either.

This fixes a crash when shared namespace was created with mdbox storage, and
another mdbox namespace was created afterwards. This had
MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT set, but its unique_root_dir is NULL,
which caused a crash in mail_storage_match_class().

imapc: Fix errors when handling UIDVALIDITY change

This mainly happened when imapc was used with index files and the backend
IMAP server recreated the mailbox. This caused errors like:
Expunged message uid=1 reappeared - reconnecting

lib-dcrypt: Reformatted test-stream.c.

lib-dcrypt: Reformatted test-crypto.c.

lib-dcrypt: Reformatted ostream-encrypt.h.

lib-dcryp: Reformatted ostream-encrypt.c.

lib-dcrypt: Reformatted istream-decrypt.h.

lib-dcrypt: Reformatted istream-decrypt.c.

lib-dcrypt: Reformatted dcrypt-private.h.

lib-dcrypt: Reformatted dcrypt-openssl.c.

lib-dcrypt: Reformatted dcrypt-iostream.h.

lib-dcrypt: Reformatted dcrypt-gnutls.c.

lib-dcrypt: Reformatted dcrypt.h.

lib-drypt: Reformatted dcrypt.c.

lib-storage: mail-storage-settings: Pre-parse postmaster_address as an SMTP address.

The pre-parsed address is not currently used anywhere, but this does check that
the postmaster address can successfully be converted to an SMTP address, which
is important for Pigeonhole.

lib-smtp: address: Add source syntax check for conversion from RFC5322 addresses.

The message-address parser (for RFC 5322) allows UTF-8 characters in the
localpart, which is not acceptable for SMTP addresses. This change adds a check
that determines whether the source RFC5222 address can be converted into a
SMTP address.

lib-master: Don't dup errors to service->set_pool in master_service_settings_read

Use t_strdup() instead.

lib-master: Copy settings_parser_get_error() string so it's usable as error_r

Also convert t_strdup()s in master_service_settings_read() into p_strdup()s
using service->set_pool.

lmtp: proxy: Use proxy_not_trusted field if returned from passdb.

Before, this field was ignored. Now, if this field is set, no XCLIENT command is
ever sent to the remote proxy.

lmtp: proxy: Use ssl/starttls fields if returned from passdb.

Before, these fields were ignored. Now, these are used to determine whether the
proxy connection to the backend should be secured by SSL and how.

login-common: Use client SSL certificate and key settings from lib-master.

lib-master: Initialize key and certificate for client SSL settings.

This uses the ssl_client_cert and ssl_client_key settings.

login-common: Remove unused ssl_require_crl setting.

lib-smtp: client: Add smtp_client_connection_create_ip().

This allows making SMTP client connections without performing a DNS lookup. The
optional hostname parameter is used to verify the hostname in the SSL
certificate from the server, if any.

lib-smtp: client: smtp_client_connection_create(): ATTR_NULL() pointed to wrong parameter.

lib-smtp: client: connection: Perform IP lookup in a separate function.

lib: net: Avoid comparing the content of unassigned IPs in net_ip_cmp().

lmtp: proxy: Use source_ip proxy field if it is returned from passdb.

Before, it was ignored. Now, it is used as the source IP for the outgoing LMTP
client connection.

lib-smtp: client: Add support for connecting from an explicit source IP.

lib: connection: Added support for connecting from an explicit source IP.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)

istream-seekable: Record stream size in stat

Otherwise the size is shown 0

istream-mail: Move pos back when bailing out on error

Fixes
Panic: file istream.c: line 276 (i_stream_read): assertion failed: ((_stream->pos - _stream->skip) == (prev_pos - prev_skip))

login-common: Indicate TLS secured transport on proxied TLS too

lib-smtp: test-smtp-server-errors: Add test for DATA command erroneously used with BODY=BINARYMIME.

lib-smtp: test-smtp-server-errors: Add tests for missing MAIL and RCPT commands before DATA command.

lib-smtp: server: Check that BINARYMIME is not used without CHUNKING.

submission: Add 8BITMIME and BINARYMIME back to supported capabilities.

These are supported when the backend provides support. These were erroneously
disabled earlier by 3bf0c0e211ba1e4ee9977a9dfea32e14ebc50aab.

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Update to 2.3.0.1

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

imapc: Update mail size also when RFC822.SIZE is smaller than fetched header size

If this isn't done, istream-mail will detect that the fetched header is
larger than RFC822.SIZE and fail with "Cached message size smaller than
expected"

imapc: Update mail size also when istream_opened() hook is called

When fetching a message body the cached message size was set. However,
if istream_opened() hook was used this wasn't done. If a client had
fetched both (RFC822.SIZE BODY.PEEK[]) and the server sent a wrong
RFC822.SIZE, that size was used for the message body size, which resulted
in "Cached message size larger than expected" errors.

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>