fts: Fix indexing input that contains NULs

Any message_block that contained NULs, but otherwise was valid UTF-8, was
simply dropped.

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

dsync: If lock file can't be created because home is missing, mkdir the home

lib-storage: Add mail_user_home_mkdir()

lib-lda: mail_send_rejection() - Don't assert-crash with empty input mail

Fixes: Panic: file mail-send.c: line 176 (mail_send_rejection): assertion failed: (ret != 0)

login-common: If no CRL check is required, allow revoked certs

login-common: ssl_require_crl works both ways

It applies for incoming and outgoing connections.

login-common: Fix boolean misuse in preverify_ok

Fixes problem where dovecot does not accept revoked cert
when CRL checking has been disabled.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

po3pc: Handle unexpected server disconnections without assert-crash

Fixes: Panic: file pop3c-client.c: line 308 (pop3c_client_wait_one): assertion failed: (client->fd != -1 || client->state == POP3C_CLIENT_STATE_CONNECTING)

lib-mail: html2text: do not parse entity when quote_level > 0.

&entities inside blockquotes are added to text, while other text is
not, this leads to strange results.

lib-mail: Fix include guards for istream-nonuls.h

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Add v2.2.35 release notes

lib-dcrypt: Add libssl_iostream.la to LIBADD

This allows running the tests in src/lib-dcrypt.

NEWS: Update up to 2.2.34

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

imapc: Update mail size also when RFC822.SIZE is smaller than fetched header size

If this isn't done, istream-mail will detect that the fetched header is
larger than RFC822.SIZE and fail with "Cached message size smaller than
expected"

imapc: Update mail size also when istream_opened() hook is called

When fetching a message body the cached message size was set. However,
if istream_opened() hook was used this wasn't done. If a client had
fetched both (RFC822.SIZE BODY.PEEK[]) and the server sent a wrong
RFC822.SIZE, that size was used for the message body size, which resulted
in "Cached message size larger than expected" errors.

lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>

config: tabescape local name and service

config: Make local_name comparison faster

Based on patch by J. Nick Koston <nick@cpanel.net>

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

imapc: Don't try to add mails to index if they already exist there

Broken by 259a4ca5943123915a019799623d2e4a4ef7fd15 when imapc was used
with (not in-memory) index files.

This caused errors like "Append with UID 200, but next_uid = 201"

charset-alias: Don't return value from void functions

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

global: Call rfc822_parser_deinit() wherever possible

lib-mail: Refactor code to make the next commit smaller

lib-mail: Add rfc822_parser_deinit()

It's not a strict requirement to call this, but it assert-crashes if the
state isn't valid.

lib-mail: Make sure parsers don't accidentally go much beyond end pointer

lib-mail: Fix out-of-bounds read when parsing an invalid email address

The included unit test doesn't fail, but running it with valgrind shows
"Invalid read of size 1" error.

Broken in d6737a17a27402e7a262f7ba8a2ed588d576f23c

Discovered by Aleksandar Nikolic of Cisco Talos

lib-mail: test-message-address - Add TEST_MESSAGE_ADDRESS_FLAG_SKIP_LIST flag

This commit just adds the flag and sets it to 0 for all existing tests.

lib-mail: rfc822-parser - Add asserts to make sure parser state is correct

lib-dns: Move before lib-master

login-common: Enable config filtering by local name

Prevents servername misuse.

lib-master: Support validating config filters against requests

Validation will sanitize the input request and drop any fields
that have no filter in config. E.g. if you have a local block
with name, and nothing else, then lip/rip will be dropped
from the request.

config: Add command to request all filters

config: Add config_filter_get_all

Returns all filters

doc: Update example-config description for ssl_require_crl

example-config: Add mail_attachment_detection_options

doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

notify: Ignore flag and keywords update during saving

They are part of the saving event

lib-storage: Generate snippet while saving new mails

lib-storage: Make index_mail_want_cache() global

lib-storage: move snippet generation to mail-save-finish

This is necessary because some storage backends (most notably sdbox) do
not allow getting the mail stream before the mail is fully written out.
(See written_to_disk in sdbox-file.h.)

If we could avoid getting the stream to generate a snippet we could
leave this where it is.

doveadm dump: Show body.snippet in human-readable form

imap: Don't set storage callbacks before namespaces are created

This fixes sending untagged OK/NO notifications from storage (e.g. lock
waits/override notifications). It was broken by
e031d9aaae59a9f79710dc1138b76b69272615a3

imap: Add client_create_finish() to finish namespace creation.

imap: When running standalone, delay initializing namespaces until PREAUTH is sent

Most importantly this makes the code paths similar for standalone and
non-standalone clients, which is needed by the following commits.

lib-storage: Unless LAYOUT=index, don't rebuild list index on missing INBOX

lib-storage: mailbox_list_index_handle_corruption() - Lock mailbox list while rebuilding

This guards against simultaneous mailbox create/delete/rename.

lib-storage: mailbox_list_index_handle_corruption() - Move actual handling to its own function

lib-ssl-iostream,login-common: Use SSL_CTX_set_min_proto_version

Use SSL_CTX_set_min_proto_version to set the minimum ssl protocol
version where available.

lib-ssl-iostream: Add ssl_protocols_to_min_protocol()

This detects minimum SSL protocol version from the ssl_protocols
setting.

configure.ac: Add SSL_CTX_set_min_proto_version detection

login-common: Explicitly ignore SSL_CTX_set_ecdh_auto() return value

This is to fix a compiler warning.

login-common,lib-ssl-iostream: Use SSL_CTX_set_ecdh_auto

This macro is same for 1.0.2 and 1.1.0 and libressl.

imap: If snippet is not available return NIL

imap: Fix FETCH SNIPPET

1) _BUFFERED flag wasn't set, which caused a missing space before the "SNIPPET".
2) It caused \Seen flag to be added to the mail

imap: Don't enforce sending SNIPPET reply as literal

Also change it to use "cur_str" since the reply is never very long.

imap: Add parenthesis to FETCH SNIPPET (FUZZY text) response

Otherwise it violates the RFC 3501 text about FETCH responses.

charset-alias: Fix keyvalues iteration

charset-alias-plugin.c:113:27: error: comparison between pointer and zero
character constant [-Werror=pointer-compare]
  for (i = 0; keyvalues[i] != '\0'; i++) {
                           ^~
charset-alias-plugin.c:113:14: note: did you mean to dereference the pointer?
  for (i = 0; keyvalues[i] != '\0'; i++) {

charset-alias: Cleanup whitespace

Remove \r from end of lines and remove trailing whitespace.

charset-alias-plugin

lib-charset: Allow plugins to replace charset_* functions

They just need to point charset_utf8_vfuncs to their own implementation.

lib-charset: Move non-iconv UTF-8 only translation code to its own file

lib-http: server: Recreate connection IO after streams change.

lib-http: client: Recreate connection IO after streams change.

lib-http: server: Use the new connection_input_halt/resume() functions.

lib-http: client: Use the new connection_input_halt/resume() functions.

lib-ssl-iostream: ostream-openssl: Fix behavior of o_stream_flush() so that 1 is only returned when buffer is empty.

lib-ssl-iostream: ostream-openssl: Create local variable for sstream->ssl_io->plain_output in o_stream_ssl_flush().

lib: connection: Add connection_input_halt() and connection_input_resume().

These are convenience functions that remove and add conn->io respectively.

auth: Set correct context type when bypassing reporting in auth_success

Broken in 41ff6e6a4a085786d4c15a58c7c50a28e2110c3f

lib: Add i_stream_get_root_io() and use it to deduplicate code

lib: Add connection_streams_changed()

Originally by Stephan Bosch

doveadm: client: Set IO only after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

lib-imap-client: Fix IO after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

doveadm-server: Fix potential hangs with SSL connections

auth: Add policy check configuration options

Allows disabling before/after auth checks, or reporting.

auth: Use correct username is auth policy requests

When doing master authentication as first, use
the username of the user, not master user, for policy lookup.

auth: Use rip instead of real_rip in policy server attributes

real_rip contains proxy IP, not client IP

replication: Don't send notification for changes done by dsync transactions

lib-storage: Set mailbox_transaction_context.flags earlier

Set it in index_transaction_init() so plugins' transaction_begin() methods
see it after calling super.transaction_begin().

doveadm-server: http: Fixed lingering connections after the request is sent.

Turns out conn->http_client is already NULL while doveadm_http_server_connection_destroy() is called.
This is because http_server_connection_unref() sets it to NULL;
Fixed by removing useless HTTP connection reference.

doveadm-server: http: Fixed crash occurring when disconnecting a client at server deinit.

old-stats: Set process dumpable during stats gathering

/proc/self/io is not accessible otherwise

lib: Add restrict_access_get/set_dumpable

lib: Clarify restrict_access_allow_coredumps

lib-index: Fix assert-crash with lock_method=dotlock

The dotlock wasn't deleted in all code paths. Fix this by simplifying
the unlocking to be done the same way with and without dotlock.

Fixes:
Panic: file mail-cache.c: line 624 (mail_cache_lock_file): assertion failed: (cache->dotlock == NULL)