config: Hide more sensitive information

Hide parts of values where we can see a key that has word
key, secret or pass as prefix and is a key-value pair
separated by =.

config: Move sensitive value hiding to own function

Simplifies next change

lib: Add str_nescape

For partial escaping

lib: Add i_strstr_arr for searching string for multiple needles

man: doveconf - Document -P flag

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Add v2.3.1

NEWS: Update to 2.3.0.1

lib-dcrypt: Reformatted test-stream.c.

lib-dcrypt: Reformatted test-crypto.c.

lib-dcrypt: Reformatted ostream-encrypt.h.

lib-dcryp: Reformatted ostream-encrypt.c.

lib-dcrypt: Reformatted istream-decrypt.h.

lib-dcrypt: Reformatted istream-decrypt.c.

lib-dcrypt: Reformatted dcrypt-private.h.

lib-dcrypt: Reformatted dcrypt-openssl.c.

lib-dcrypt: Reformatted dcrypt-iostream.h.

lib-dcrypt: Reformatted dcrypt-gnutls.c.

lib-dcrypt: Reformatted dcrypt.h.

lib-drypt: Reformatted dcrypt.c.

lib-program-client: Add more detailed debug logging.

lib-program-client: Use event logging.

This also makes the overall log messages better match similar messages produced
by other parts of Dovecot.

lib-program-client: Use i_close_fd() rather than close() when error is not supposed to happen.

lib-program-client: Make debug mode for test suite optional.

It is now disabled by default.

lib-program-client: local: Cleanup any kill timeout while program client is destroyed.

lib-program-client: local: Make sure the child is dead once the program client is destroyed.

lib-program-client: Simplify disconnect handling.

Perform all of the cleanups in a separate shared function.
Always close all fds, since there is nothing left to be read or written at
disconnect.

lib-program-client: remote: Don't try to read remaining input at disconnect.

This code is no longer relevant. At disconnect, there is nothing left to be read
by definition.

lib-program-client: Use iostream-pump for streaming data from program.

lib-program-client: Destroy timeout once client is passively disconnected.

lib-program-client: remote: Initialize program_client_istream with parent FD.

This way, io_add_istream() works as expected.

lib-program-client: local: Stop immediately when child program without I/O ends.

Particularly, don't perform this by calling the input handler.

lib-program-client: Change return type of program_client_connected() to void.

Returning an int status code is no longer useful.

lib-program-client: Use iostream-pump for streaming data towards program.

lib-program-client: Initialize dot streams right after the connection is established.

This avoids creating the dot streams in the input/output handlers, which makes
the code cleaner and easier to port to using iostream-pump.

lib-program-client: Use iostream-temp rather than istream-seekable for seekable output.

This considerably simplifies the code.

lib-program-client: test-program-client-net: Read the client input stream to EOF after the dot stream is closed.

The low-level file stream is not necessarily read to EOF when the body dot
stream sees EOF.

lib-program-client: test-program-client-unix: Properly recognize the noreply script protocol option.

Somehow the equivalent test-program-client-net code does not have this problem.
And somehow this test did not fail before.

lib-program-client: test-program-client-net: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-unix: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-net: Handle test client connections non-blocking.

lib-program-client: test-program-client-unix: Handle test client connections non-blocking.

lib-program-client: test-program-client-net: Create body streams only once in test_program_input_handle().

lib-program-client: test-program-client-unix: Create body stream only once in test_program_input_handle().

lib-program-client: test-program-client-net: Match client input handling code with test-program-client-unix.

lib-program-client: test-program-client-unix: Further fix error handling in test_program_input().

lib-program-client: remote: Always shut down the output when all is written.

Before, this step was omitted when dot streams were used. However, shutting down
the output is necessary no matter what. Otherwise, the receiving end will not
see that no more input will follow, causing deadlock.

lib-program-client: Make sure program client callback is called only once.

lib-program-client: remote: Use struct program_client_remote as parameter where possible.

Avoids the need to cast it everywhere.

lib-program-client: remote: Call program client variable "prclient" consistently.

lib-program-client: local: Call program client variable "plclient" consistently.

lib-program-client: Reformat test-program-client-unix.c.

lib-program-client: Reformat test-program-client-net.c.

lib-program-client: Reformat program-client-private.h.

lib-program-client: Reformat test-program-client-local.c.

lib-program-client: Reformat program-client-remote.c.

lib-program-client: Reformat program-client-local.c.

lib-program-client: Reformat program-client.h.

lib-program-client: Reformat program-client.c.

lib: iostream-pump: Properly implement running a pump with one of the streams blocking.

Having both streams blocking is not useful and that is now explicitly forbidden.

lib: iostream-pump: Add iostream_pump_destroy().

This functions always stops the pump and dereferences the streams before
dereferencing the pump itself.

lib: iostream-pump: Make iostream_pump_unref() implementation match other similar code.

This also means that iostream_pump_unref(NULL) is now a no-op.

lib: iostream-pump: Use refcount as name and int as type for reference count field.

This is what the rest of Dovecot uses.

lib: Reformat test-iostream-pump.c.

lib: Reformat iostream-pump.c.

lib: Reformat iostream-pump.h.

lib-smtp: test-smtp-server-errors: Add test for DATA command erroneously used with BODY=BINARYMIME.

lib-smtp: test-smtp-server-errors: Add tests for missing MAIL and RCPT commands before DATA command.

lib-smtp: server: Check that BINARYMIME is not used without CHUNKING.

submission: Add 8BITMIME and BINARYMIME back to supported capabilities.

These are supported when the backend provides support. These were erroneously
disabled earlier by 3bf0c0e211ba1e4ee9977a9dfea32e14ebc50aab.

istream-seekable: Record stream size in stat

Otherwise the size is shown 0

istream-mail: Move pos back when bailing out on error

Fixes
Panic: file istream.c: line 276 (i_stream_read): assertion failed: ((_stream->pos - _stream->skip) == (prev_pos - prev_skip))

lib-mail: html2text: do not parse entity when quote_level > 0.

&entities inside blockquotes are added to text, while other text is
not, this leads to strange results.

imapc: Update mail size also when RFC822.SIZE is smaller than fetched header size

If this isn't done, istream-mail will detect that the fetched header is
larger than RFC822.SIZE and fail with "Cached message size smaller than
expected"

imapc: Update mail size also when istream_opened() hook is called

When fetching a message body the cached message size was set. However,
if istream_opened() hook was used this wasn't done. If a client had
fetched both (RFC822.SIZE BODY.PEEK[]) and the server sent a wrong
RFC822.SIZE, that size was used for the message body size, which resulted
in "Cached message size larger than expected" errors.

lib-ssl-iostream: Correctly build certificate chains

Prevents sending extraneous certificates when using
alternative certs.

Reported by John Fawcett <john@voipsupport.it> and
Peter Linss <peter@linss.com>.

lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>

config: tabescape local name and service

config: Make local_name comparison faster

Based on patch by J. Nick Koston <nick@cpanel.net>

lib-lua: Remove script from linked list on destroy

Otherwise it might cause a crash

lmtp: proxy: Use proxy_not_trusted field if returned from passdb.

Before, this field was ignored. Now, if this field is set, no XCLIENT command is
ever sent to the remote proxy.

lmtp: proxy: Use ssl/starttls fields if returned from passdb.

Before, these fields were ignored. Now, these are used to determine whether the
proxy connection to the backend should be secured by SSL and how.

login-common: Use client SSL certificate and key settings from lib-master.

lib-master: Initialize key and certificate for client SSL settings.

This uses the ssl_client_cert and ssl_client_key settings.

login-common: Remove unused ssl_require_crl setting.

lib-smtp: client: Add smtp_client_connection_create_ip().

This allows making SMTP client connections without performing a DNS lookup. The
optional hostname parameter is used to verify the hostname in the SSL
certificate from the server, if any.

lib-smtp: client: smtp_client_connection_create(): ATTR_NULL() pointed to wrong parameter.

lib-smtp: client: connection: Perform IP lookup in a separate function.

lib: net: Avoid comparing the content of unassigned IPs in net_ip_cmp().

lib-ssl-iostream: Fix potential crash if istream is destroyed before ostream

This happened if o_stream_destroy() triggered flush, which attempted to read
from the ssl_io->ssl_input. If the istream-ssl was already destroyed, it was
NULL and that caused a crash.

imapc: Fix errors when handling UIDVALIDITY change

This mainly happened when imapc was used with index files and the backend
IMAP server recreated the mailbox. This caused errors like:
Expunged message uid=1 reappeared - reconnecting

imapc: Don't try to add mails to index if they already exist there

Broken by 259a4ca5943123915a019799623d2e4a4ef7fd15 when imapc was used
with (not in-memory) index files.

This caused errors like "Append with UID 200, but next_uid = 201"

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

lib-lda: Do not convert "From:" message address to STMP address, just to make a string for logging.

This leads to problems when the message address (RFC5322) has UTF-8 code points
in the local part, which is (currently) allowed for message addresses, but not
for SMTP addresses (RFC5321).

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

lmtp: Provide hidden support for ORCPT RCPT parameter.

This is normally only available with the DSN capability, but we use it to
forward the original recipient in proxy setups.

This feature was available in the original Dovecot v2.2 LMTP, but it got lost in
the new lib-smtp implementation.

lib-smtp: client: Add support for forcibly enabling support for a capability.

Then it is enabled even when the server does not list it in the EHLO response.

lib-smtp: params: Make ORCPT parameter available separately if hidden capability is enabled.