lib-smtp: test-smtp-server-errors: Add tests for RCPT command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for MAIL command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for bad RCPT command syntax.

lib-smtp: test-smtp-server-errors: Add tests for bad MAIL command syntax.

lib-smtp: test-smtp-server-errors: Implicitly stop server when all expected client connections are closed.

lib-smtp: test-smtp-server-errors: Add more debug messages for the server.

lib-smtp: test-smtp-server-errors: Make detection of early termination of child processes part of each test.

lib-smtp: test-smtp-server-errors: Add log prefixes for client and server.

Makes it easier to distinguish which process is sending a log message while
debugging.

lib-smtp: test-smtp-server-errors: Add support for client-side connection context data.

lib-smtp: test-smtp-server-errors: Use o_stream_nsend*() rather than o_stream_send*().

The result is not checked anyway.

lib-smtp: server: Add workarounds for well-known MAIL and RCPT command syntax deviations.

lib-smtp: address parser: Do not allow source route for path with omitted brackets.

Parse it strictly as a Mailbox, which makes more sense.

lib-storage: mail-storage-settings: Pre-parse postmaster_address as an SMTP address.

The pre-parsed address is not currently used anywhere, but this does check that
the postmaster address can successfully be converted to an SMTP address, which
is important for Pigeonhole.

lib-smtp: address: Add source syntax check for conversion from RFC5322 addresses.

The message-address parser (for RFC 5322) allows UTF-8 characters in the
localpart, which is not acceptable for SMTP addresses. This change adds a check
that determines whether the source RFC5222 address can be converted into a
SMTP address.

lib-master: Add own boolean for SSL module loading

want_ssl_settings isn't reliable enough.

lib-master: Do not attempt to load SSL module if no SSL support is compiled in

Fixes imap-login: Error: imap-login(init): Fatal: Cannot load SSL module: SSL support not compiled in

Broken in 754896551f0422cda5d78500b26700eec5343c5b

Found by bjornar

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

lib-mail: message-address: Fix address parser to properly reject angle-addr without `>'.

lib-mail: message-address: Fix assert panic occurring in message_address_parse_path() when no opening `<' is found.

Panic was:

Panic: file message-address.c: line 147 (parse_angle_addr): assertion failed: (*ctx->parser.data == '<')

fs-posix: Fix iterating nonexistent symlinks when readdir() returns DT_UNKNOWN

This especially broke "doveadm fs delete -R" when the symlink destination
was deleted before the symlink.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)

lda: Allow empty envelope sender.

Fix by Martin Waschbüsch.

lda: Reformatted main.c.

lib-storage: reintroduce mail_index_set_fsync_mode

This patch fixes a regression introduced in
638600575ee95f2513c683ef09cb188f76eacd22 where mail_fsync=always would
not be honoured, leading to fatal "nfs flush requires mail_fsync=always"
errors.

lib-mail: Fix include guards for istream-nonuls.h

dict-fs: iterate: make sure the key is returned as full path

Fixes the following assert on iterating:
> Panic: file userdb-dict.c: line 123 (userdb_dict_get_user):
> assertion failed: (strncmp(key, ctx->key_prefix, ctx->key_prefix_len) == 0)

Configuration:
> uri = fs:posix:prefix=/tmp/dict
> iterate_prefix = userdb/
> key userdb {
>   key = userdb/%u
>   format = json
> }

Fix arc4random build checks

The configure script checks for arc4random() but the actual code uses
arc4random_buf(). This breaks for FreeBSD <8.0 and MacOS X <10.7, which
have the former but not the latter. This change (and an autoreconf run)
solves the problem at the cost of not using the available ARC4
implementation.

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

lib: Simplify murmurhash3 LP64 vs. IPL32 test vectors

lib: murmurhash3 produces bytes (not uint32_t's)

login-common: Indicate TLS secured transport on proxied TLS too

config: Hide more sensitive information

Hide parts of values where we can see a key that has word
key, secret or pass as prefix and is a key-value pair
separated by =.

config: Move sensitive value hiding to own function

Simplifies next change

lib: Add str_nescape

For partial escaping

lib: Add i_strstr_arr for searching string for multiple needles

man: doveconf - Document -P flag

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Add v2.3.1

NEWS: Update to 2.3.0.1

lib-dcrypt: Reformatted test-stream.c.

lib-dcrypt: Reformatted test-crypto.c.

lib-dcrypt: Reformatted ostream-encrypt.h.

lib-dcryp: Reformatted ostream-encrypt.c.

lib-dcrypt: Reformatted istream-decrypt.h.

lib-dcrypt: Reformatted istream-decrypt.c.

lib-dcrypt: Reformatted dcrypt-private.h.

lib-dcrypt: Reformatted dcrypt-openssl.c.

lib-dcrypt: Reformatted dcrypt-iostream.h.

lib-dcrypt: Reformatted dcrypt-gnutls.c.

lib-dcrypt: Reformatted dcrypt.h.

lib-drypt: Reformatted dcrypt.c.

lib-program-client: Add more detailed debug logging.

lib-program-client: Use event logging.

This also makes the overall log messages better match similar messages produced
by other parts of Dovecot.

lib-program-client: Use i_close_fd() rather than close() when error is not supposed to happen.

lib-program-client: Make debug mode for test suite optional.

It is now disabled by default.

lib-program-client: local: Cleanup any kill timeout while program client is destroyed.

lib-program-client: local: Make sure the child is dead once the program client is destroyed.

lib-program-client: Simplify disconnect handling.

Perform all of the cleanups in a separate shared function.
Always close all fds, since there is nothing left to be read or written at
disconnect.

lib-program-client: remote: Don't try to read remaining input at disconnect.

This code is no longer relevant. At disconnect, there is nothing left to be read
by definition.

lib-program-client: Use iostream-pump for streaming data from program.

lib-program-client: Destroy timeout once client is passively disconnected.

lib-program-client: remote: Initialize program_client_istream with parent FD.

This way, io_add_istream() works as expected.

lib-program-client: local: Stop immediately when child program without I/O ends.

Particularly, don't perform this by calling the input handler.

lib-program-client: Change return type of program_client_connected() to void.

Returning an int status code is no longer useful.

lib-program-client: Use iostream-pump for streaming data towards program.

lib-program-client: Initialize dot streams right after the connection is established.

This avoids creating the dot streams in the input/output handlers, which makes
the code cleaner and easier to port to using iostream-pump.

lib-program-client: Use iostream-temp rather than istream-seekable for seekable output.

This considerably simplifies the code.

lib-program-client: test-program-client-net: Read the client input stream to EOF after the dot stream is closed.

The low-level file stream is not necessarily read to EOF when the body dot
stream sees EOF.

lib-program-client: test-program-client-unix: Properly recognize the noreply script protocol option.

Somehow the equivalent test-program-client-net code does not have this problem.
And somehow this test did not fail before.

lib-program-client: test-program-client-net: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-unix: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-net: Handle test client connections non-blocking.

lib-program-client: test-program-client-unix: Handle test client connections non-blocking.

lib-program-client: test-program-client-net: Create body streams only once in test_program_input_handle().

lib-program-client: test-program-client-unix: Create body stream only once in test_program_input_handle().

lib-program-client: test-program-client-net: Match client input handling code with test-program-client-unix.

lib-program-client: test-program-client-unix: Further fix error handling in test_program_input().

lib-program-client: remote: Always shut down the output when all is written.

Before, this step was omitted when dot streams were used. However, shutting down
the output is necessary no matter what. Otherwise, the receiving end will not
see that no more input will follow, causing deadlock.

lib-program-client: Make sure program client callback is called only once.

lib-program-client: remote: Use struct program_client_remote as parameter where possible.

Avoids the need to cast it everywhere.

lib-program-client: remote: Call program client variable "prclient" consistently.

lib-program-client: local: Call program client variable "plclient" consistently.

lib-program-client: Reformat test-program-client-unix.c.

lib-program-client: Reformat test-program-client-net.c.

lib-program-client: Reformat program-client-private.h.

lib-program-client: Reformat test-program-client-local.c.

lib-program-client: Reformat program-client-remote.c.

lib-program-client: Reformat program-client-local.c.

lib-program-client: Reformat program-client.h.

lib-program-client: Reformat program-client.c.

lib: iostream-pump: Properly implement running a pump with one of the streams blocking.

Having both streams blocking is not useful and that is now explicitly forbidden.

lib: iostream-pump: Add iostream_pump_destroy().

This functions always stops the pump and dereferences the streams before
dereferencing the pump itself.

lib: iostream-pump: Make iostream_pump_unref() implementation match other similar code.

This also means that iostream_pump_unref(NULL) is now a no-op.

lib: iostream-pump: Use refcount as name and int as type for reference count field.

This is what the rest of Dovecot uses.

lib: Reformat test-iostream-pump.c.

lib: Reformat iostream-pump.c.

lib: Reformat iostream-pump.h.

lib-smtp: test-smtp-server-errors: Add test for DATA command erroneously used with BODY=BINARYMIME.