lib-test: Warn if test_run or test_run_named result is not used

Ensures hopefully that unit tests do not succeed when they fail
due to wrong exit code.

global: Ensure unit tests return value

lib: Remove murmurhash3

It is not used anywhere

lib: Remove bloomfilter

It is not used anywhere

lib-ssl-iostream: Remove unused DH members

These are not being used anywhere.

lib-ssl-iostream: Make DH parameters optional

Since a lot of connections use elliptic curve
Diffie-Hellman these days, make it possible to
use dovecot without providing Diffie-Hellman
parameters. This reduces setup cost as the
parameters do not need to be generated, which
can be a time consuming task.

doveconf: Do not skip over secrets when hiding them

All candidates for hiding need to be considered, otherwise
it might skip over some of them and leave them unhidden.

lib-dict-backend: Fix linking order for test-dict-sql

config: generation of clean config should copy sensitive data

Add -P parameter to the CLI warning doveconf example

man: Add missing commands to doveadm

lib-master: Copy ssl_curve_list setting

Otherwise it won't get used.

Broken in 30dca95419

lib-imap: Remove content_subtype==NULL checks

This can never happen after the previous commit. This also changes the
BODYSTRUCTURE output for invalid Content-Types, but since they're invalid
anyway it doesn't really matter what the output is.

lib-mail: If message_part_data.content_type is set, make sure content_subtype isn't NULL

This fixes a crash in index_mail_find_first_text_mime_part() where snippet
generation assumed that content_subtype isn't NULL.

lib-storage: Fix bodystructure parsing crash if header is parsed twice

The second parsing will recreate the parser_ctx, discarding the old parsed
message_part.data for the header. On the second parsing
save_bodystructure_header=FALSE so the message_part.data isn't filled for
the header. Later on the bodystructure parsing assumes the data is set,
and crashes.

This only happened with mail_attachment_detection_options=add-flags-on-save
and Sieve script that first accessed a non-cached header and then used the
"body" extension.

Fixes segfault and also:
Panic: file imap-bodystructure.c: line 116 (part_write_body_multipart): assertion failed: (part->data != NULL)

lib-mail: Add asserts to message_part_*() to make sure part->data isn't NULL

This makes it easier to debug the crashes than just having a segfault.

m4, quota: Support rquota using libtirpc

m4: Enable rquota only if rpc/rpc.h exists

It's been removed in glibc 2.26

director: Allow fully freeing user while waiting for IPC kick to finish

director_user_move_free() will now just free the IPC command, so this isn't
a problem anymore.

director: Fix crash when user kill times out before IPC finishes

Abort the IPC kick command when freeing kill context so the IPC callback
won't be called.

lib-master: ipc-client: Support aborting commands

lib-master: ipc-client: Cleanup - avoid extra return in the function

Simplifies the following commit.

lib-master: ipc-client: Never call callback directly from ipc_client_cmd()

This may simplify the calling code, especially after the following commit
that returns the command pointer.

lib-master: ipc-client: Split code to ipc_client_abort_commands()

lib-master: ipc-client: Use linked list of commads instead of array

Needed for the following commit that returns the command pointer.

lib-master: ipc-client: Don't call callback twice if IPC proxy sends invalid input

ipc_client_disconnect() called it once, and the second time was done with
the cmds[0] that was already removed from the array.

lib-auth: Fix reconnect timeout leak at deinit

login-proxy: Fix logging reason when kicking non-logged in connections

Use the same reason as for logged in connections.

login-proxy: Fix potential crash when kicking user with alt username

If a new alt username field was returned after other users already were
being proxied, trying to kick with the new alt username field will crash.

lib-http: client: Notify host object about submission of request before submitting the request to the queue.

This makes sure the host idle timeout is stopped before the request is submitted
and the host object's refresh function is called. If the idle timeout is still
running at that point, the refresh function will return success without
performing a lookup, which can lead to a panic.

Panic was:

Panic: file ./http-client-private.h: line 672 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

lib-http: client: Reset ips count to zero before DNS lookup.

auth: Fix nonexistent passwd-file error handling

If the path uses %variables, the missing file was logged with info-level,
but it was still returning tempfail as the result. Return "user doesn't
exist" instead.

lib-ssl-iostream: Shutdown connection cleanly whenever i/ostream is destroyed

Do this while both istream and ostream still exist. Fixes crash where
openssl_iostream_destroy() attempts to flush the shutdown, but ssl_input
is NULL and it crashes.

lib-ssl-iostream: Split code to openssl_iostream_shutdown()

lib: mempool - Remove unnecessary check

The previous commit guarantees that we always have one of _ILP32 and _LP64
defined so we don't have to check ourselves.

lib: Make sure exactly one of _ILP32 and _LP64 is defined at all times

These defines are very common, but not universal.  For example, clang on
illumos and FreeBSD always defines one of them, while 32-bit Ubuntu 16.04
doesn't define either.

lib: o_stream_send*() - Add ATTR_WARN_UNUSED_RESULT

Callers either need to check the return value or use o_stream_nsend*().

imap-urlauth: Ignore ostream errors and use o_stream_nsend*()

global: Replace (void)o_stream_send*() with o_stream_nsend*()

lib-http: http-server: Flush output after sending 500 error for aborted request

It probably doesn't make a difference, but it's a bit clearer what the
intent is.

global: Replace o_stream_send*() with o_stream_nsend*() where return value is ignored

Verified that in all of these places either o_stream_set_no_error_handling()
has been called or o_stream_flush/finish() is called afterwards.

doveadm service status: Show total number of processes created

doveadm service status: Support different number of fields returned by master

doveadm: Add doveadm_print_get_headers_count()

Returns the number of headers added to printer.

master: Track total number of processes created per service

director: Fix assert-crash when doveadm disconnects immediately after sending command

Any command that requires a ring sync should cause the doveadm connection to
wait until the ring is synced. However, if the disconnection happened early
enough the connection is deinitialized before the ring sync is finished.

Fixes:
Panic: file doveadm-connection.c: line 1097 (doveadm_connection_deinit): assertion failed: (conn->to_ring_sync_abort == NULL)

lib-mail: Change MESSAGE_ADDRESS_PARSE_FLAG_NON_STRICT_DOTS to _FLAG_STRICT_DOTS

Generally we want it to be enabled everywhere, so it's easier to just enable
it by default.

(This is kept as a separate commit from the previous one so it'll be easy to
revert this in case we actually don't want this to be the default.)

lib-mail: Add MESSAGE_ADDRESS_PARSE_FLAG_NON_STRICT_DOTS

This code is somewhat copy&pasted from parse_local_part() in Pigeonhole.

lib-mail: message_address_parse() - Change fill_missing parameter to flags

This change allows adding more flags. The API is also backwards compatible
in a way that the old FALSE/TRUE values still map to compatible 0/1 flags.

lib-mail: Fix rfc822_parse_dot_atom() to reject if dot isn't followed by atom

lib-storage: Initialize reset_id in index_index_copy_cache

Makes valgrind happy with clang's optimizations.

lib: mempool - Improve p_realloc() panic message

Most importantly, this differentiates it from the panic message that
p_malloc() prints.

lib: mempool - Centralize p_free() NULL pointer check

This changes the behavior of p_free(pool, some_null_pointer) slightly.

datastack mempools:

    Previously, the datastack frame id was checked regardless of whether or
    not the pointer was NULL.  Now, only non-NULL pointers perform this
    check.

system mempools:

    Previously, the process would SIGSEGV if a NULL pointer was freed in a
    debug binary on a system with malloc_usable_size().  Now, no SIGSEGV
    occurs.

allocfree, alloconly, and unsafe datastack:

    No change in behavior.

lib: mempool - Centralize p_realloc() NULL pointer check

Instead of each mempool implementation having to check the pointer passed in
for being NULL, we can check that the sizes are within the required bounds
in p_realloc().

lib: mempool - Centralize p_{m,re}alloc() size checks

Instead of each mempool implementation having to check the allocation sizes
for sanity, we can check that the sizes are within the required bounds in
p_malloc() and p_realloc().

Since p_malloc() and p_realloc() are static inlines, some consumers will see
a little bit of growth in binary size, but others will be able to optimize
the check away at compile time.

lib: mempool - Define a global max allocation size supported by all pools

Instead of relying on each mempool implementation to define its own limits
and checks, this commit defines a generic one that's sufficient to make any
mempool present or future happy.

lib: mempool-allocfree: Remove unused #define

This define was never actually used.

lib: mempool-datastack - Use container_of instead of casts

lib: mempool-alloconly - Use container_of instead of casts

lib: Rename a alloconly mempool helper function to make its scope obvious

pool_try_grow() makes it look like it is part of the mempool API, even
though it is an internal helper specific to the alloconly pool.

lib: Document the unsafe datastack mempool

lib: Document the system mempool

lib: Document datastack mempools

lib: Document allocfree mempools

lib: Document alloconly mempools

lib: mempool - Further reduce test code duplication

We have to use a macro because we need to pass a type as an argument.

lib: mempool - Reduce test code duplication

The 32 and 64 bit versions of the tests were identical.

lib: mempool - Generalize the test

Instead of hardcoding what appear to be arbitrary constants, use expressions
based on UINT{16,32,64}_MAX.

man: doveadm-search-query.7 - Add sequence-set and update UID

lib-compression: Fix assert-crash in test suite on 32bit systems

Fix compilation warnings in test-compression.c due to mismatches
between size_t and uoff_t, which then manifests in assert-crashes
running the test suite on 32bit systems.

lib-http: request-parser: Do not require Host header for HTTP/1.0 requests.

lib-http: server: Properly handle empty Host header by providing a default authority.

This behavior is required by the RFC.

lib-http: request-parser: Add support for empty Host header (default base url).

lib-http: url: Add support for default base url to request target parsing.

lib-http: request-parser: Allocate parser on alloconly pool.

lib-http: server: Record ip:port in connection object for later use.

lib: i_close_fd_path() - Replace assert with more descriptive panic

Since this function can be called from so many places, it's easier to figure
out the bug if the panic message contains what called it.

global: Start relying on event_set_forced_debug(e, FALSE) being a no-op

Converted using the following semantic patch:

@@
expression event;
expression cond;
@@

- if (cond) {
-  event_set_forced_debug(event,
(
- TRUE
|
- cond
)
- );
- }
+ event_set_forced_debug(event, cond);

lib: Change event_set_forced_debug(e, FALSE) to be a no-op

lib: Add event_unset_forced_debug()

lda: Deinitialize cleanly if user doesn't exist in userdb

lda: Deinitialize cleanly if mail delivery fails

lda: Cleanup - move code to lda_deliver() function

No functional changes.

lda: Cleanup - reorder code

Makes the next commit cleaner.

acl: Fix return value of acl_attribute_get_acl

If matching acl entry is not found, it must return 0
and not 1 because it did not find anything.

Fixes dsync: Panic: file mailbox-attribute.c: line 362 (mailbox_attribute_get_stream): assertion failed: (value_r->value != NULL || value_r->value_stream != NULL)

Broken in 37c72fa0cd3f1d74d79b64afb3fb6da5ffd4fe3a

Found by @dl8bh

dict-file: If write failed, file was left locked

dict-file: Fix memory leak when file is recreated during lock wait

lib: Assert-crash if duplicate event categories are tried to be registered

lib: str-sanitize: Use uni_utf8_data_truncate().

lib: Add str_truncate_utf8().

It works similar to str_truncate(), but it makes sure the truncated string
remains valid UTF-8.

lib: unichar: Add uni_utf8_data_truncate().

Returns the size of the data when truncated to be less than or equal to
a specified size, making sure UTF-8 character boundaries are respected.

indexer: Don't log error when getting path to nonexistent mailbox fails

indexer: Don't log mailbox was deleted under us error

indexer: Don't log error when mailbox was not found

fts-solr: Properly URL encode quotes for empty string

Invalid URL encoding of empty string made Solr server give 400 Bad
Request HTTP responses for searches like SEARCH HEADER FROM "".

fts-solr: Fix default_ns parameter parsing

This version makes it possible to specify a value to the setting as
well.

fts-solr: Append '/' to URL path when missing in configuration

This fixes a crash when url parameter has empty path like
http://localhost:8080 instead of http://localhost:8080/ and makes using
url like http://localhost:8080/solr behave the same as
http://localhost:8080/solr/

lib-master: Fix reading settings when local_name has multiple names

Only the last name was matching. For example with local_name "one two
three" { ...  } only "three" matched.

fts-solr: Remove obsolete break-imap-search setting

auth: Fix LDAP user iteration to not access already freed memory

db_ldap_request_free() was called on already freed request. Changed to use
auth_request's pool to fix this, since the request is correctly referenced.

quota-clone: Fix assert-crash at deinit if quota_clone update fails

The timeout isn't removed on failure, so it crashed with:
Panic: file quota-clone-plugin.c: line 257 (quota_clone_mail_user_deinit_pre): assertion failed: (quser->to_quota_flush == NULL)