lib-mail: Change rfc822_parser_context.nul_replacement_char to string

lib: Call module's preinit function, when loading

plugins/old-stats: Add old-stats preinit() which opens mail stats io.

doveadm: Add rebuild attachments command

Goes thru given mails and resets the attachment indicator.

lib-storage: Parse mail parts in mail_set_attachment_keywords if not present

lib-storage: Add error reporting to mail_set_attachment_keywords

doveadm: mailbox cache decisions - Fatally fail if fields are missing

doveadm stats dump: Add stddev field

Include it in default output as well.

doveadm stats dump: Add -f <fields> parameter

This allows specifying which fields are wanted to be dumped.

stats: Support dumping any given percentile

stats: Support dumping variance

lib-mail: message_part_*_parse_from_header() - Replace NULs with 0x80

This avoids truncation of Content-*, Subject, Message-ID, In-Reply-To and
Date headers in IMAP ENVELOPE, BODY and BODYSTRUCTURE replies. Of course,
NULs in headers are violating RFCs already, so the previous behavior wasn't
really wrong either.

dsync: If lock file can't be created because home is missing, mkdir the home

lib-storage: Add mail_user_home_mkdir()

doveadm: Add mailbox cache manipulation commands

This allows changing cache decisions and dropping cache pointer
for wanted mails.

doveadm-mail: Handle field conversion to short opt better

Convert non-string types as well

doveadm save: Fix using <file without panic

When getting input with <file with Linux/epoll, it crashed with:

Panic: epoll_ctl(add, 0) failed: Operation not permitted (fd doesn't support epoll - instead of '<file', try 'cat file|')

lib: Add test for rng

lib: stats-dist - Add accessor for samples

lib: stats-dist - Add variance

lib: rand - Fix potential modulo bias

imap-hibernate: Log error when connect(imap-master) fails

It was previously logged only with info-level.

lib-storage: Don't add trailing NUL to strings in dovecot.index.cache

They are unnecessary and just unnecessarily consume disk space. The
existing reading code works even if they don't exist, so this change won't
break backwards compatibility.

lib: Mark str_append_n() deprecated

It was almost always used wrongly. Most of the time str_append_data()
should have been used instead. str_append_max() has the old functionality.

lib: Add ATTR_DEPRECATED macro

global: Replace str_append_n() with str_append_max()

lib-fts: fts-tokenizer-address - Cleanup NUL handling in parent_data

The end result is anyway that the token will be truncated at the first NUL.
This change just makes the code a bit more understandable on where the
truncation will happen.

lib: str_append_[tab]unescaped(): Don't truncate input at NULs

For str_append_tabunescaped() the input is supposed to have NULs already
escaped though, so it was truncating only with invalid input.

global: Replace str_append_n() with str_append_data() wherever possible

It shouldn't be possible for input to have NULs in any of these places.
This makes the extra NUL-check in str_append_n() unnecessary.

lib: Add str_append_max()

It's otherwise the same as str_append_n(), except it takes const char* as
input instead of const void*. This, as well as its name, should make it
less likely to be used wrong when the input may legitimately have NULs.

The unit test is changed from str_append_n() to str_append_max(), because
str_append_n() will be deprecated.

lib: Improve str_append_n() comment

lib-mail: Add MESSAGE_HEADER_REPLACE_NULS_WITH_0x80 flag

The flag signals that input stream for message_parse_header() should replace
0x0 symbols with 0x80.

lib-mail: rfc2231_parse() - Replace NULs with 0x80

Instead of truncating the strings at NULs.

lib-mail: message_address_parse*() - Replace NULs with 0x80

Instead of truncating the strings at NULs.

lib-mail: rfc822-parser: Add nul_replacement_char

lib-mail: rfc822-parser: Strip away folding whitespace from comments

lib-mail: rfc822-parser: Improve domain-literal parsing

Strip away folding whitespace. Treat any extra '[' as an error.

lib-mail: rfc822-parser: Don't allow preserving escaped [CR]LF

It's not valid to have "\<CR>" or "\<LF>", so the old behavior isn't really
wrong either. However, rfc822_parse_quoted_string() callers are more likely
to expect that the output won't contain any [CR]LF so this new behavior is
a bit better.

lib-mail: Change rfc822_parse_content_param() API to allow NULs in value

This was the only function in rfc822-parser.h that wasn't NUL-safe.
This won't fix anything, but it makes the rfc822-parser.h API fully
consistent with the NUL handling.

Normally rfc2231_parse() should be called instead of calling
rfc822_parse_content_param() directly, so this shouldn't break any plugins.

fts-squat: Fix truncating headers at NULs while indexing

login-common: Consistently truncate client SASL input at first NUL

The input is supposed to be base64-encoded, so there's no need to support
actual NUL characters. The previous code truncated at NULs, but could have
kept appending more data to the value. This could have produced somewhat
random results.

lib-master, util: Consistently truncate tabescaped input at the first NUL

The NULs are supposed to come tab-escaped, so there's no need to support
actual NUL characters. The previous code truncated at NULs, but could
have kept appending more data to the value. This could have produced
somewhat random results.

config: Consistently truncate value at the first NUL in value input file

When value contained "<file", the file was added as a value. The setting
values don't currently support NULs, so the value gets truncated at the
first NUL. However, the previous code could have appended more data to
the value. This could have produced somewhat confusing results.

dict-fs/memcached-ascii/redis: Consistently truncate value at NULs

The dict API currently doesn't support NULs in values, so they have to be
truncated. However, previously they were truncated at NULs, but more data
may have still been appended to the value. This could have produced
somewhat random results.

auth: checkpassword - Fail if input from script contains NULs

Previously the input was just silently truncated at NULs.

doveadm: Fix table printer to not truncate output at NULs

doveadm dump: Don't truncate dovecot.index.cache values at NULs

lib-mail: rfc822-parser: Don't truncate comment/quoted-string/domain-literal at NUL

The other tokens couldn't have contained NULs in the first place.

lib-mail: message_snippet_generate() - Ignore NULs without shrinking snippet size

Previously the NULs also weren't in the snippet content, but they were
included in the snippet size.

lib-storage: Fix truncating header values at NUL when adding to cache

For example FETCH BODY.PEEK[HEADER.FIELDS (Subject)] could have returned
the NUL on the first fetch when the mail wasn't in dovecot.index.cache,
but the second FETCH would have returned it truncated at the NUL.

lib-mail: message-address: Make the parser allow paths that omit `<' and `>'.

This is a syntax violation, but we allow it to account for a rather wide
selection of software that does not follow the standards.

lib-mail: message-address: Make parser properly reject paths with spurious trailing characters.

lib-mail: message-address: Make sure incomplete paths are rejected by parser.

lib-mail: message-address: Require paths with an invalid source route to have at least a proper `:'.

Otherwise, the parser would allow a bare domain.

lib-mail: message-address: Properly deinit RFC822 parser in message_address_parse_path().

lib-mail: test-message-address: Add test for parsing empty path.

lib-mail: test-message-address: Use i_memdup() rather than explicit malloc(), memcpy().

lib: Added i_memdup().

lib-ssl-iostream: Fix boolean misuse in SSL_CTX_set_ecdh_auto usage

f8aaa6e63a56085f61f128838ad7a3aa080d9d5b introduced warnings on gcc

lib-ssl-iostream: Do not handshake further if we are destroying

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

lib-ssl-iostream: Make ssl_iostream_unref() private

global: Replace ssl_iostream_unref() with ssl_iostream_destroy()

Destroying performs cleanups correctly.

lib-master: Add log_core_filter setting to core dump on matching filter

lib: Add global core filter, which allows core dumping on matching events

lib: Add log types as event categories

This allows using debug, info, warning, error, fatal and panic as
categories.

lib-master, stats: Send event's log_type to stats process

This makes the internal stats protocol incompatible with the previous
version, so major protocol version is increased.

lib-master: If log_debug is empty, don't set global debug log filter at all

global_debug_log_filter==NULL check is a bit faster.

lib-master: Cleanup - Add new helper function for parsing log filter settings

lib-master: Rename master_service_log_debug_parse() to master_service_log_filter_parse()

This function will be used for parsing other settings besides just
log_debug.

lib-master: If connect() to backend UNIX socket is retried, log a warning

For example if imap-login process needs to retry before it successfully
connects to imap process's socket, a warning is logged. This warning is
important because it means that the imap-login process may have been
sleeping up to 0.5 seconds and causing all the other connections to hang
during it.

It would be better to make this retrying asynchronous, but before spending
time on doing that, lets see if this warning is ever even being logged.

lib-master: Add how long request took for "Internal auth failure" errors

lib-storage: Add cydir/mdbox/sdbox/imapc/maildir/mbox/pop3c event categories

lib-storage: Add mail_storage.event_category

If set, this category is added to mail_storage.event.

lib-storage: Add mail_storage.event and use it wherever possible

lib-ssl-iostream: Fix boolean misuse in SSL_CTX_set_ecdh_auto usage

Fixes compiler nit on clang

lib-ssl-iostream: Fix openssl compatibility issue introduced in OpenSSL 1.0.2f

Fixes dovecot: imap-login: Debug: SSL error: SSL_read() failed: error:140E0197:SSL routines:SSL_shutdown:shutdown while in init

po3pc: Handle unexpected server disconnections without assert-crash

Fixes: Panic: file pop3c-client.c: line 308 (pop3c_client_wait_one): assertion failed: (client->fd != -1 || client->state == POP3C_CLIENT_STATE_CONNECTING)

doveconf: Fix infinite loop when hiding sensitive information

For example with "nopassword=y". Broken in
fc02343fd81a6fab272ac0366b15fc60ec44a8b6

lib-smtp: Fix empty address parsing

sret wasn't initialized, which could have randomly caused "Path only
consists of source route" error with empty addresses. Broken by
81c8955e3d1475c6ab1892b1d3edf91126683fda

submission: Add workarounds for well-known MAIL and RCPT command syntax deviations.

This adds a new `submission_client_workarounds' setting that works analogous to
the `imap_client_workarounds' setting.

Workarounds:

- whitespace-before-path: Allow one or more spaces or tabs between `MAIL FROM:'
                          and path and between `RCPT TO:' and path.
- mailbox-for-path:       Allow using bare Mailbox syntax (i.e., without <...>)
                          instead of full path syntax.

lib-smtp: test-smtp-server-errors: Add tests for RCPT command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for MAIL command workarounds.

lib-smtp: test-smtp-server-errors: Add tests for bad RCPT command syntax.

lib-smtp: test-smtp-server-errors: Add tests for bad MAIL command syntax.

lib-smtp: test-smtp-server-errors: Implicitly stop server when all expected client connections are closed.

lib-smtp: test-smtp-server-errors: Add more debug messages for the server.

lib-smtp: test-smtp-server-errors: Make detection of early termination of child processes part of each test.

lib-smtp: test-smtp-server-errors: Add log prefixes for client and server.

Makes it easier to distinguish which process is sending a log message while
debugging.

lib-smtp: test-smtp-server-errors: Add support for client-side connection context data.

lib-smtp: test-smtp-server-errors: Use o_stream_nsend*() rather than o_stream_send*().

The result is not checked anyway.

lib-smtp: server: Add workarounds for well-known MAIL and RCPT command syntax deviations.

lib-smtp: address parser: Do not allow source route for path with omitted brackets.

Parse it strictly as a Mailbox, which makes more sense.

lib-storage: mail-storage-settings: Pre-parse postmaster_address as an SMTP address.

The pre-parsed address is not currently used anywhere, but this does check that
the postmaster address can successfully be converted to an SMTP address, which
is important for Pigeonhole.

lib-smtp: address: Add source syntax check for conversion from RFC5322 addresses.

The message-address parser (for RFC 5322) allows UTF-8 characters in the
localpart, which is not acceptable for SMTP addresses. This change adds a check
that determines whether the source RFC5222 address can be converted into a
SMTP address.

lib-master: Add own boolean for SSL module loading

want_ssl_settings isn't reliable enough.

lib-master: Do not attempt to load SSL module if no SSL support is compiled in

Fixes imap-login: Error: imap-login(init): Fatal: Cannot load SSL module: SSL support not compiled in

Broken in 754896551f0422cda5d78500b26700eec5343c5b

Found by bjornar

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.