fts: Optimize replacing NULs in header

fts: Fix indexing mails with NULs in headers

After the first NUL all the rest of the string was converted to spaces.
This was broken already in the initial commit that attempted to fix this:
4d27f95c76bd008bb38f9c442567046da2b6ce14

lib-http: test-http-client-errors - Skip VERSION line in DNS reply

Otherwise we send extraneous results causing SIGPIPE crash.

Broken in ddb9ead03f4cc7a2c61094e50803e07dfd590cb5

lib-dns: Always use dns_lookup_free

Ensures that all resources get free'd in single place,
Fixes memory leak and event double-unref.

Broken in 9ee82e3f660e6e072532283cad8668a578ac137d

lib-dns: Always allocate lookup

Simplifies next change

lib-dns: Use pooled memory with dns lookups

Simplifies memory management

lib: Add test for event_inc_int()

submission: Reorder initialization code

login_set socket paths get invalidated when
master_service_init_finish is called, so we need
to run the code that uses them before this.

lib-smtp: Increase memory pool initial sizes

This reduces malloc traffic

lib-dns: Remove useless code

Found by scan-build

lib-http: Hook lib-http event to connection event

dns, lib-dns: Move to protocol v1.0

dns: Add event support

dns: Use connection.c

This enables processing multiple requests at a time.

lib: connection - Add and fix logging

lib: connection - Add event support

lib-dns: Add event support

lib-dns: Move calling callback to separate function

Simplifies next commit

lib-dns: Initialize lookup earlier

lib-dns: Compose final command in dns_client_lookup_common

Makes logging easier

lib-dns: Use connection with dns-client

lib: lib-event - Add inc_int to passthrough events

Was forgotten in 12927b843387b2a93fcf1d2e05df7c79af06e567

lib: Make io_loop_move_*(NULL) no-op

lib: Mark signal waiting IO as "never wait alone"

This signal is being automatically moved to nested ioloops. It can't be the
only IO being waited, since there's no code that simply wants to wait for a
signal.

lib: ioloop-epoll/kqueue: Remove now unnecessary infinite wait check.

The previous change adds this globally to io_loop_run_get_wait_time().

lib: Add io_set_never_wait_alone()

If ioloop is run without any timeouts and without IOs that don't have this
flag, assert-crash rather than going to infinite wait.

lib: Add and use io_loop_run_get_wait_time()

This is going to be called just before running an ioloop iteration.
The next commit improves its behavior.

lib-smtp: test-smtp-client-errors: Add tests for transaction timeouts.

lib-smtp: client: Add debug message for the moment when all RCPT replies are received.

This helps in debugging transaction state transition problems.

lib-smtp: client: Fix transaction state transition for the DATA command.

It progressed to the DATA state too early. By the looks of things, this only
affected the correctness of error and debug messages. It does not affect the
transaction itself.

lib-smtp: client: Fix segmentation fault occurring at transaction timeout.

In the DATA command callback trans->cmd_data can be NULL when the command is
aborted from smtp_client_transaction_fail_reply().

lib-smtp: client: transaction: Prevent early transaction abort in smtp_client_transaction_fail_reply().

Can happen in one of the command callbacks of aborted commands.

lib-smtp: Remove trailing whitespace in smtp-cient-transaction.c.

lib-smtp: Remove trailing whitespace in test-smtp-client-errors.c.

lib: Add test for stats_dist_get_variance()

lib,stats,dict: Make stats_dist_get_avg() return double

master: Wait 1 second for SIGQUITs to get handled

The delay (previously 100ms, now 1s) is intended to delay our exit enough so
that the child processes have a chance to receive & handle the SIGQUITs we
just sent.  If we don't wait long enough, it is possible that we'll get
restarted before our children had the chance to stop listening on their
sockets and we'll hit "address already in use" type errors.

Increasing the delay does not fix the issue, but it masks it better.

lib-index: mail_cache_lookup_headers() - Allow using datastack pool

This fixes assert caused by 53712af0e7f357e7279d9ff03831428aae85aa45:
Panic: pool_data_stack_realloc(): stack frame changed

lib-storage: Fix NUL handling in mail_get_first_header*(), mail_get_headers*()

These functions return NUL-terminated values, so they got truncated whenever
a header value contained a NUL. Fix this by converting NULs to unicode
replacement characters in the output.

lib-mail: Make message_header_strdup() public

Also move it to a better file.

lib-mail: Cleanup - Rename internal hdr_strdup() to message_header_strdup()

lib-mail: rfc822-parser - Handle \<NUL> in quoted-string and domain-literal

It was already handled in comments. Previously this caused the strings and
domain-literals to be truncated at that position.

lib-mail: test-message-address - Test NULs in display-name

lib: test-event-filter - Test overriding parent fields

lib: Add event_field_clear() to allow clearing parent event's fields

lib: Add event_inc_int()

This can be useful when updating counter fields.

lib-http: test-http-client-errors: Make "peer reuse failure" test reliable.

It was highly timing-sensitive, since it required a particular error status to
be returned. Sometimes, it would yield a different error based on a
slightly different order of events, making the test fail. Such failures aren't
relevant though, since this regression test is about triggering a segfault that
used to occur.

imap: Fix command ambiguity checking with special plugins

If the tagged line is already sent, that command can't result in ambiguity
anymore.

A cleaner fix would be to add a new _WAIT_SYNC_OUTPUT state, but that
requires all the existing code to understand that new state correctly, so it
has a higher chance of breaking something. So at least for now don't add it.

lib: test-strfuncs - Rename test i_strbegins to str_begins

Matches the real name

doveconf: Fix compiler nit

Ensure secret_r cannot be NULL unless none was found.

doveconf: Improve secret hiding

Hide with more wide filtering.

doveconf: Use key_ends_with to compare suffixes

Fixes key hiding.

Broken in 1518e085

auth: mycrypt - include crypt.h

Fixes crypt usage on glibc-2.28

Reported by Reuben Farrelly
Patch provided by Thore Bödecker

lib-smtp: Read input before exiting in sendmail-exit-1.sh

This avoids a Broken pipe error that fails the unit test this script
belongs to.

lib-smtp: Include test-bin in dist

lib-test: Warn if test_run or test_run_named result is not used

Ensures hopefully that unit tests do not succeed when they fail
due to wrong exit code.

global: Ensure unit tests return value

lib: Remove murmurhash3

It is not used anywhere

lib: Remove bloomfilter

It is not used anywhere

lib-ssl-iostream: Remove unused DH members

These are not being used anywhere.

lib-ssl-iostream: Make DH parameters optional

Since a lot of connections use elliptic curve
Diffie-Hellman these days, make it possible to
use dovecot without providing Diffie-Hellman
parameters. This reduces setup cost as the
parameters do not need to be generated, which
can be a time consuming task.

doveconf: Do not skip over secrets when hiding them

All candidates for hiding need to be considered, otherwise
it might skip over some of them and leave them unhidden.

lib-dict-backend: Fix linking order for test-dict-sql

config: generation of clean config should copy sensitive data

Add -P parameter to the CLI warning doveconf example

man: Add missing commands to doveadm

lib-master: Copy ssl_curve_list setting

Otherwise it won't get used.

Broken in 30dca95419

lib-imap: Remove content_subtype==NULL checks

This can never happen after the previous commit. This also changes the
BODYSTRUCTURE output for invalid Content-Types, but since they're invalid
anyway it doesn't really matter what the output is.

lib-mail: If message_part_data.content_type is set, make sure content_subtype isn't NULL

This fixes a crash in index_mail_find_first_text_mime_part() where snippet
generation assumed that content_subtype isn't NULL.

lib-storage: Fix bodystructure parsing crash if header is parsed twice

The second parsing will recreate the parser_ctx, discarding the old parsed
message_part.data for the header. On the second parsing
save_bodystructure_header=FALSE so the message_part.data isn't filled for
the header. Later on the bodystructure parsing assumes the data is set,
and crashes.

This only happened with mail_attachment_detection_options=add-flags-on-save
and Sieve script that first accessed a non-cached header and then used the
"body" extension.

Fixes segfault and also:
Panic: file imap-bodystructure.c: line 116 (part_write_body_multipart): assertion failed: (part->data != NULL)

lib-mail: Add asserts to message_part_*() to make sure part->data isn't NULL

This makes it easier to debug the crashes than just having a segfault.

m4, quota: Support rquota using libtirpc

m4: Enable rquota only if rpc/rpc.h exists

It's been removed in glibc 2.26

director: Allow fully freeing user while waiting for IPC kick to finish

director_user_move_free() will now just free the IPC command, so this isn't
a problem anymore.

director: Fix crash when user kill times out before IPC finishes

Abort the IPC kick command when freeing kill context so the IPC callback
won't be called.

lib-master: ipc-client: Support aborting commands

lib-master: ipc-client: Cleanup - avoid extra return in the function

Simplifies the following commit.

lib-master: ipc-client: Never call callback directly from ipc_client_cmd()

This may simplify the calling code, especially after the following commit
that returns the command pointer.

lib-master: ipc-client: Split code to ipc_client_abort_commands()

lib-master: ipc-client: Use linked list of commads instead of array

Needed for the following commit that returns the command pointer.

lib-master: ipc-client: Don't call callback twice if IPC proxy sends invalid input

ipc_client_disconnect() called it once, and the second time was done with
the cmds[0] that was already removed from the array.

lib-auth: Fix reconnect timeout leak at deinit

login-proxy: Fix logging reason when kicking non-logged in connections

Use the same reason as for logged in connections.

login-proxy: Fix potential crash when kicking user with alt username

If a new alt username field was returned after other users already were
being proxied, trying to kick with the new alt username field will crash.

lib-http: client: Notify host object about submission of request before submitting the request to the queue.

This makes sure the host idle timeout is stopped before the request is submitted
and the host object's refresh function is called. If the idle timeout is still
running at that point, the refresh function will return success without
performing a lookup, which can lead to a panic.

Panic was:

Panic: file ./http-client-private.h: line 672 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

lib-http: client: Reset ips count to zero before DNS lookup.

auth: Fix nonexistent passwd-file error handling

If the path uses %variables, the missing file was logged with info-level,
but it was still returning tempfail as the result. Return "user doesn't
exist" instead.

lib-ssl-iostream: Shutdown connection cleanly whenever i/ostream is destroyed

Do this while both istream and ostream still exist. Fixes crash where
openssl_iostream_destroy() attempts to flush the shutdown, but ssl_input
is NULL and it crashes.

lib-ssl-iostream: Split code to openssl_iostream_shutdown()

lib: mempool - Remove unnecessary check

The previous commit guarantees that we always have one of _ILP32 and _LP64
defined so we don't have to check ourselves.

lib: Make sure exactly one of _ILP32 and _LP64 is defined at all times

These defines are very common, but not universal.  For example, clang on
illumos and FreeBSD always defines one of them, while 32-bit Ubuntu 16.04
doesn't define either.

lib: o_stream_send*() - Add ATTR_WARN_UNUSED_RESULT

Callers either need to check the return value or use o_stream_nsend*().

imap-urlauth: Ignore ostream errors and use o_stream_nsend*()

global: Replace (void)o_stream_send*() with o_stream_nsend*()

lib-http: http-server: Flush output after sending 500 error for aborted request

It probably doesn't make a difference, but it's a bit clearer what the
intent is.

global: Replace o_stream_send*() with o_stream_nsend*() where return value is ignored

Verified that in all of these places either o_stream_set_no_error_handling()
has been called or o_stream_flush/finish() is called afterwards.

doveadm service status: Show total number of processes created

doveadm service status: Support different number of fields returned by master

doveadm: Add doveadm_print_get_headers_count()

Returns the number of headers added to printer.

master: Track total number of processes created per service

director: Fix assert-crash when doveadm disconnects immediately after sending command

Any command that requires a ring sync should cause the doveadm connection to
wait until the ring is synced. However, if the disconnection happened early
enough the connection is deinitialized before the ring sync is finished.

Fixes:
Panic: file doveadm-connection.c: line 1097 (doveadm_connection_deinit): assertion failed: (conn->to_ring_sync_abort == NULL)