lib-ssl-iostream: Fix boolean misuse in SSL_CTX_set_ecdh_auto usage

f8aaa6e63a56085f61f128838ad7a3aa080d9d5b introduced warnings on gcc

lib-ssl-iostream: Do not handshake further if we are destroying

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

lib-ssl-iostream: Make ssl_iostream_unref() private

global: Replace ssl_iostream_unref() with ssl_iostream_destroy()

Destroying performs cleanups correctly.

lib-master: Add log_core_filter setting to core dump on matching filter

lib: Add global core filter, which allows core dumping on matching events

lib: Add log types as event categories

This allows using debug, info, warning, error, fatal and panic as
categories.

lib-master, stats: Send event's log_type to stats process

This makes the internal stats protocol incompatible with the previous
version, so major protocol version is increased.

lib-master: If log_debug is empty, don't set global debug log filter at all

global_debug_log_filter==NULL check is a bit faster.

lib-master: Cleanup - Add new helper function for parsing log filter settings

lib-master: Rename master_service_log_debug_parse() to master_service_log_filter_parse()

This function will be used for parsing other settings besides just
log_debug.

lib-master: If connect() to backend UNIX socket is retried, log a warning

For example if imap-login process needs to retry before it successfully
connects to imap process's socket, a warning is logged. This warning is
important because it means that the imap-login process may have been
sleeping up to 0.5 seconds and causing all the other connections to hang
during it.

It would be better to make this retrying asynchronous, but before spending
time on doing that, lets see if this warning is ever even being logged.

lib-master: Add how long request took for "Internal auth failure" errors

lib-storage: Add cydir/mdbox/sdbox/imapc/maildir/mbox/pop3c event categories

lib-storage: Add mail_storage.event_category

If set, this category is added to mail_storage.event.

lib-storage: Add mail_storage.event and use it wherever possible

lib-ssl-iostream: Fix boolean misuse in SSL_CTX_set_ecdh_auto usage

Fixes compiler nit on clang

lib-ssl-iostream: Fix openssl compatibility issue introduced in OpenSSL 1.0.2f

Fixes dovecot: imap-login: Debug: SSL error: SSL_read() failed: error:140E0197:SSL routines:SSL_shutdown:shutdown while in init

po3pc: Handle unexpected server disconnections without assert-crash

Fixes: Panic: file pop3c-client.c: line 308 (pop3c_client_wait_one): assertion failed: (client->fd != -1 || client->state == POP3C_CLIENT_STATE_CONNECTING)

doveconf: Fix infinite loop when hiding sensitive information

For example with "nopassword=y". Broken in
fc02343fd81a6fab272ac0366b15fc60ec44a8b6

lib-smtp: Fix empty address parsing

sret wasn't initialized, which could have randomly caused "Path only
consists of source route" error with empty addresses. Broken by
81c8955e3d1475c6ab1892b1d3edf91126683fda

submission: Add workarounds for well-known MAIL and RCPT command syntax deviations.

This adds a new `submission_client_workarounds' setting that works analogous to
the `imap_client_workarounds' setting.

Workarounds:

- whitespace-before-path: Allow one or more spaces or tabs between `MAIL FROM:'
                          and path and between `RCPT TO:' and path.
- mailbox-for-path:       Allow using bare Mailbox syntax (i.e., without <...>)
                          instead of full path syntax.

lib-smtp: test-smtp-server-errors: Add tests for RCPT command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for MAIL command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for bad RCPT command syntax.

lib-smtp: test-smtp-server-errors: Add tests for bad MAIL command syntax.

lib-smtp: test-smtp-server-errors: Implicitly stop server when all expected client connections are closed.

lib-smtp: test-smtp-server-errors: Add more debug messages for the server.

lib-smtp: test-smtp-server-errors: Make detection of early termination of child processes part of each test.

lib-smtp: test-smtp-server-errors: Add log prefixes for client and server.

Makes it easier to distinguish which process is sending a log message while
debugging.

lib-smtp: test-smtp-server-errors: Add support for client-side connection context data.

lib-smtp: test-smtp-server-errors: Use o_stream_nsend*() rather than o_stream_send*().

The result is not checked anyway.

lib-smtp: server: Add workarounds for well-known MAIL and RCPT command syntax deviations.

lib-smtp: address parser: Do not allow source route for path with omitted brackets.

Parse it strictly as a Mailbox, which makes more sense.

lib-storage: mail-storage-settings: Pre-parse postmaster_address as an SMTP address.

The pre-parsed address is not currently used anywhere, but this does check that
the postmaster address can successfully be converted to an SMTP address, which
is important for Pigeonhole.

lib-smtp: address: Add source syntax check for conversion from RFC5322 addresses.

The message-address parser (for RFC 5322) allows UTF-8 characters in the
localpart, which is not acceptable for SMTP addresses. This change adds a check
that determines whether the source RFC5222 address can be converted into a
SMTP address.

lib-master: Add own boolean for SSL module loading

want_ssl_settings isn't reliable enough.

lib-master: Do not attempt to load SSL module if no SSL support is compiled in

Fixes imap-login: Error: imap-login(init): Fatal: Cannot load SSL module: SSL support not compiled in

Broken in 754896551f0422cda5d78500b26700eec5343c5b

Found by bjornar

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

lib-mail: message-address: Fix address parser to properly reject angle-addr without `>'.

lib-mail: message-address: Fix assert panic occurring in message_address_parse_path() when no opening `<' is found.

Panic was:

Panic: file message-address.c: line 147 (parse_angle_addr): assertion failed: (*ctx->parser.data == '<')

fs-posix: Fix iterating nonexistent symlinks when readdir() returns DT_UNKNOWN

This especially broke "doveadm fs delete -R" when the symlink destination
was deleted before the symlink.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)

lda: Allow empty envelope sender.

Fix by Martin Waschbüsch.

lda: Reformatted main.c.

lib-storage: reintroduce mail_index_set_fsync_mode

This patch fixes a regression introduced in
638600575ee95f2513c683ef09cb188f76eacd22 where mail_fsync=always would
not be honoured, leading to fatal "nfs flush requires mail_fsync=always"
errors.

lib-mail: Fix include guards for istream-nonuls.h

dict-fs: iterate: make sure the key is returned as full path

Fixes the following assert on iterating:
> Panic: file userdb-dict.c: line 123 (userdb_dict_get_user):
> assertion failed: (strncmp(key, ctx->key_prefix, ctx->key_prefix_len) == 0)

Configuration:
> uri = fs:posix:prefix=/tmp/dict
> iterate_prefix = userdb/
> key userdb {
>   key = userdb/%u
>   format = json
> }

Fix arc4random build checks

The configure script checks for arc4random() but the actual code uses
arc4random_buf(). This breaks for FreeBSD <8.0 and MacOS X <10.7, which
have the former but not the latter. This change (and an autoreconf run)
solves the problem at the cost of not using the available ARC4
implementation.

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

lib: Simplify murmurhash3 LP64 vs. IPL32 test vectors

lib: murmurhash3 produces bytes (not uint32_t's)

login-common: Indicate TLS secured transport on proxied TLS too

config: Hide more sensitive information

Hide parts of values where we can see a key that has word
key, secret or pass as prefix and is a key-value pair
separated by =.

config: Move sensitive value hiding to own function

Simplifies next change

lib: Add str_nescape

For partial escaping

lib: Add i_strstr_arr for searching string for multiple needles

man: doveconf - Document -P flag

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Add v2.3.1

NEWS: Update to 2.3.0.1

lib-dcrypt: Reformatted test-stream.c.

lib-dcrypt: Reformatted test-crypto.c.

lib-dcrypt: Reformatted ostream-encrypt.h.

lib-dcryp: Reformatted ostream-encrypt.c.

lib-dcrypt: Reformatted istream-decrypt.h.

lib-dcrypt: Reformatted istream-decrypt.c.

lib-dcrypt: Reformatted dcrypt-private.h.

lib-dcrypt: Reformatted dcrypt-openssl.c.

lib-dcrypt: Reformatted dcrypt-iostream.h.

lib-dcrypt: Reformatted dcrypt-gnutls.c.

lib-dcrypt: Reformatted dcrypt.h.

lib-drypt: Reformatted dcrypt.c.

lib-program-client: Add more detailed debug logging.

lib-program-client: Use event logging.

This also makes the overall log messages better match similar messages produced
by other parts of Dovecot.

lib-program-client: Use i_close_fd() rather than close() when error is not supposed to happen.

lib-program-client: Make debug mode for test suite optional.

It is now disabled by default.

lib-program-client: local: Cleanup any kill timeout while program client is destroyed.

lib-program-client: local: Make sure the child is dead once the program client is destroyed.

lib-program-client: Simplify disconnect handling.

Perform all of the cleanups in a separate shared function.
Always close all fds, since there is nothing left to be read or written at
disconnect.

lib-program-client: remote: Don't try to read remaining input at disconnect.

This code is no longer relevant. At disconnect, there is nothing left to be read
by definition.

lib-program-client: Use iostream-pump for streaming data from program.

lib-program-client: Destroy timeout once client is passively disconnected.

lib-program-client: remote: Initialize program_client_istream with parent FD.

This way, io_add_istream() works as expected.

lib-program-client: local: Stop immediately when child program without I/O ends.

Particularly, don't perform this by calling the input handler.

lib-program-client: Change return type of program_client_connected() to void.

Returning an int status code is no longer useful.

lib-program-client: Use iostream-pump for streaming data towards program.

lib-program-client: Initialize dot streams right after the connection is established.

This avoids creating the dot streams in the input/output handlers, which makes
the code cleaner and easier to port to using iostream-pump.

lib-program-client: Use iostream-temp rather than istream-seekable for seekable output.

This considerably simplifies the code.

lib-program-client: test-program-client-net: Read the client input stream to EOF after the dot stream is closed.

The low-level file stream is not necessarily read to EOF when the body dot
stream sees EOF.

lib-program-client: test-program-client-unix: Properly recognize the noreply script protocol option.

Somehow the equivalent test-program-client-net code does not have this problem.
And somehow this test did not fail before.

lib-program-client: test-program-client-net: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-unix: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-net: Handle test client connections non-blocking.

lib-program-client: test-program-client-unix: Handle test client connections non-blocking.