lib-mail: message_snippet_generate() - Ignore NULs without shrinking snippet size

Previously the NULs also weren't in the snippet content, but they were
included in the snippet size.

lib-storage: Fix truncating header values at NUL when adding to cache

For example FETCH BODY.PEEK[HEADER.FIELDS (Subject)] could have returned
the NUL on the first fetch when the mail wasn't in dovecot.index.cache,
but the second FETCH would have returned it truncated at the NUL.

lib: Fix filtering by event name in log_core_filter

event->sending_name was already cleared by the time it was checked, so any
event:* filters never matched.

master: Wait 1 second for SIGQUITs to get handled

The delay (previously 100ms, now 1s) is intended to delay our exit enough so
that the child processes have a chance to receive & handle the SIGQUITs we
just sent.  If we don't wait long enough, it is possible that we'll get
restarted before our children had the chance to stop listening on their
sockets and we'll hit "address already in use" type errors.

Increasing the delay does not fix the issue, but it masks it better.

*-login: Fix non-global ssl=no configuration

For example local 127.0.0.2 { ssl=no } wasn't working.

dict-file: If write failed, file was left locked

dict-file: Fix memory leak when file is recreated during lock wait

lda: Deinitialize cleanly if user doesn't exist in userdb

lda: Deinitialize cleanly if mail delivery fails

lda: Cleanup - move code to lda_deliver() function

No functional changes.

lda: Cleanup - reorder code

Makes the next commit cleaner.

lib-storage: Fix memory leak in mail_storage_set_internal_error()

lib: Fix memory leak at deinit if log_core_filter is set

doveadm dump: Fix dumping "vsize" header in dovecot.index

It was trying to print it as the "vsize" header in dovecot.list.index.
This caused confusing output, as well as potentially accessing memory
out of bounds.

doveadm log find: Fix memory leak

doveadm user: Fix memory leak

dsync: Fix memory leak - unreference iostreams at deinit

Only some of the code paths need unreferencing, so also add a reference to
the other code paths.

dsync: ibc - reference iostreams internally

This makes it clearer who needs to reference and unreference the streams.

lib-master: Allow calling master_service_deinit() without _init_finish()

lib: restrict-access: Free chroot_dir at deinit

lib: Free global_event_stack array at deinit

virtual: Fix memory leak when selecting mailboxes with '-' or /metadata

mail-crypt-acl: Fix memory leak when updating ACLs

lib-dcrypt, mail-crypt: Fix leaking memory when using non-global keys

The users' private keys had one reference too much. Because of key cache,
most likely the keys were leaked only once at deinit.

Changed the i_stream_create_decrypt_callback() API so that it allows the
callback to create the key itself without having to store it anywhere.

In this case the key was already added to cache, which increased its
refcount. So an alternative fix would have been to simply unreferenced the
key before returning it. It's a bit ugly though to rely on such caches,
since without the cache the code would be buggy.

mail-crypt: Fix memory leak in "doveadm mailbox cryptokey generate"

lib-smtp: server: Fix memory leak when handling BDAT command

imapc: Fix leaking memory when sending imapc commands after authentication failure

lib: test-strfuncs - Rename test i_strbegins to str_begins

Matches the real name

doveconf: Fix compiler nit

Ensure secret_r cannot be NULL unless none was found.

doveconf: Improve secret hiding

Hide with more wide filtering.

doveconf: Use key_ends_with to compare suffixes

Fixes key hiding.

Broken in 1518e085

doveconf: Do not skip over secrets when hiding them

All candidates for hiding need to be considered, otherwise
it might skip over some of them and leave them unhidden.

doveconf: Hide URL userpart

doveconf: Add find_next_secret

Find start of possible next secret, and return
what the found secret was. Makes next commit easier.

config: Fix crash in doveconf -n when hiding sensitive information

Broken by fc02343f

lib: Add str_append_escaped and use it with str_escape

doveconf: Fix infinite loop when hiding sensitive information

For example with "nopassword=y". Broken in
fc02343fd81a6fab272ac0366b15fc60ec44a8b6

config: Hide more sensitive information

Hide parts of values where we can see a key that has word
key, secret or pass as prefix and is a key-value pair
separated by =.

config: Move sensitive value hiding to own function

Simplifies next change

lib: Add str_nescape

For partial escaping

lib: Add i_strstr_arr for searching string for multiple needles

man: doveconf - Document -P flag

imap: Fix assert-crash when client is disconnected during a long COPY/MOVE

Similar fix than 481992bfe2740bdec70fcd7366dea50ed9128966

Fixes:
Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

lib/data-stack  - in panic scenarios, use the panic memory buffer

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/datastack - remove useless thing

It was useless.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Deduplicate headers in struct mailbox_header_lookup_ctx

This might slightly improve performance.

man: Add missing commands to doveadm

global: Start relying on event_set_forced_debug(e, FALSE) being a no-op

Converted using the following semantic patch:

@@
expression event;
expression cond;
@@

- if (cond) {
-  event_set_forced_debug(event,
(
- TRUE
|
- cond
)
- );
- }
+ event_set_forced_debug(event, cond);

lib: Change event_set_forced_debug(e, FALSE) to be a no-op

lib: Add event_unset_forced_debug()

lib-storage: Initialize reset_id in index_index_copy_cache

Makes valgrind happy with clang's optimizations.

lmtp, submission: Remove extra spaces from "state = X" in disconnect log line

Other Dovecot log messages don't have spaces in key=value.

doveadm-dict: Initialize set variable in cmd_dict_init

Makes valgrind happy with clang's optimizations

doveadm-dict: Remove spurious `key =` debug logging

Was added in 42db3821

lib-dict-backend: Fix linking order for test-dict-sql

lib-dict-backend: Fix building --with-cdb --without-shared-libs

log: Fix the default prefix

"listen_fd(123): foo" is better than "listen_fd 14foo"

lib-index: fsck: Fix small log offsets to file's correct header size

Use the file's actual current header size, not
MAIL_TRANSACTION_LOG_HEADER_MIN_SIZE, which is nowadays smaller. This
resulted in unnecessary errors like:

Corrupted transaction log file ...: Invalid min_file_offset: ..., min_file_offset (24) < hdr_size (40)

lib-index: fsck: Don't change log_file_tail_offset=0

imap-hibernate: Log error when connect(imap-master) fails

It was previously logged only with info-level.

lib-index: Remove #if'ed out code

Originally added by 0b2d4626c6fb4e40bc81c56d8227191f3c7e1ea3. Possibly
accidentally.

indexer: Don't log error when getting path to nonexistent mailbox fails

indexer: Don't log mailbox was deleted under us error

indexer: Don't log error when mailbox was not found

fts-solr: Properly URL encode quotes for empty string

Invalid URL encoding of empty string made Solr server give 400 Bad
Request HTTP responses for searches like SEARCH HEADER FROM "".

fts-solr: Fix default_ns parameter parsing

This version makes it possible to specify a value to the setting as
well.

fts-solr: Append '/' to URL path when missing in configuration

This fixes a crash when url parameter has empty path like
http://localhost:8080 instead of http://localhost:8080/ and makes using
url like http://localhost:8080/solr behave the same as
http://localhost:8080/solr/

lib-master: Copy ssl_curve_list setting

Otherwise it won't get used.

Broken in 30dca95419

lib-ssl-iostream: Remove unused DH members

These are not being used anywhere.

lib-ssl-iostream: Make DH parameters optional

Since a lot of connections use elliptic curve
Diffie-Hellman these days, make it possible to
use dovecot without providing Diffie-Hellman
parameters. This reduces setup cost as the
parameters do not need to be generated, which
can be a time consuming task.

m4, quota: Support rquota using libtirpc

m4: Enable rquota only if rpc/rpc.h exists

It's been removed in glibc 2.26

lib-ssl-iostream: Turn on SSL_OP_SINGLE_DH_USE

Improves forward secrecy in case a DH cipher is used.

lib: Assert-crash if duplicate event categories are tried to be registered

lib-smtp: server: data command: Hold a reference to the connection while handling input.

Makes sure connection object remains available while command is handled. Fixes a
valgrind error reported for accessing the connection object after it is freed,
which happens for the destroy debug message of the command (even when debugging
is not enabled).

lib-smtp: server: data command: Dereference command at single place during input handling.

lib-storage: Turn on debug early if MAIL_STORAGE_SERVICE_FLAG_DEBUG set

lib-storage: Use provided flags in mail_storage_service_first_init

lib-storage: Fix MAIL_STORAGE_SERVICE_FLAG_DEBUG work again

auth: pass overriden auth_debug setting to auth process

lib-storage: Replace "if(mail_debug)" with "if(event_want_debug_log)"

plugins: replace "if(mail_debug){i_debug}" with "e_debug"

lib-storage: Replace "if(mail_debug){i_debug}" "e_debug"

lib-storage: Force mail_storage_service_user event debug when mail_debug=yes

lda & lib-lda: "if(mail_debug){i_debug}" with "e_debug"

indexer: Replace "if(mail_debug){i_debug}" with "e_debug"

imap: Replace "if(mail_debug){i_debug}" with "e_debug"

lib-imap-urlauth & imap-urlauth: replace "if(mail_debug){i_debug}" with "e_debug(client->event)"

imap-urlauth: Add event with "imap-urlauth" category to struct client of imap-urlauth

global: Replace check for auth_debug with event_want_debug_log in doveadm-auth::auth_connected()

These functions will create event with "auth" category and unref it in
the end.

global: Replace "if(auth_debug){i_debug(...)}" with e_debug(event, ...)

event is one of: global auth::auth_event,
auth_client_connection->event, auth_request->event,
login-common::event_auth. These event have category "auth".

global: Remove unnecessary checks for mail_debug and auth_request->debug

These checks are performed before calling auth_request_log_debug() and
push_notification_driver_debug(), while the same checks are performed
inside of these functions, and they return without doing anything.

auth: Add event with category "auth" to struct auth_request.

auth: Add event with category "auth" to struct auth_client_connection.

login-common: Add global event_auth with "auth" category.

lib: Add event_want_debug and event_want_debug_log macros

auth: Add global auth_event with category "auth".

push-notification: Add SSL support for OX driver

config: generation of clean config should copy sensitive data

Add -P parameter to the CLI warning doveconf example

lib: bits - macros to simplify expressions when using -Wstrict-bool

To be strict-bool compliant, your expressions need to be a bit verbose,
these might simplify things.

There are presently over 400 instances matching HAS_NO_BITS(), and nearly
1300 instances matching HAS_ANY_BITS(), so it's a very common pattern.

Signed-off-by: Phil Carmody <phil@dovecot.fi>