dns: Add event support

dns: Use connection.c

This enables processing multiple requests at a time.

lib: connection - Add and fix logging

lib: connection - Add event support

lib-dns: Add event support

lib-dns: Move calling callback to separate function

Simplifies next commit

lib-dns: Initialize lookup earlier

lib-dns: Compose final command in dns_client_lookup_common

Makes logging easier

lib-dns: Use connection with dns-client

lib: lib-event - Add inc_int to passthrough events

Was forgotten in 12927b843387b2a93fcf1d2e05df7c79af06e567

lib: Make io_loop_move_*(NULL) no-op

lib: Use i_asserts() for NULL-checks in test_event_filter_inc_int()

This is so scan-build doesn't explore the assertations not holding and
create noise with that.

lib: Add test for event_inc_int()

lib: test-event-filter - Test overriding parent fields

lib: Add event_field_clear() to allow clearing parent event's fields

lib: Add event_inc_int()

This can be useful when updating counter fields.

lib: Add test for stats_dist_get_variance()

lib,stats,dict: Make stats_dist_get_avg() return double

man, doveadm: Rename "mailbox cache compress" to "mailbox cache purge"

The "compress" word makes it sound like e.g. zlib compression. The "purge"
word is used for a similar behavior with mdbox purging.

doveadm: Add mailbox cache compress

lib-index: Add mail_cache_compress_forced()

doveadm-auth-server: Fix cmd_list output to use JSON

Fixes output for HTTP client

doveadm-auth-server: Do not use i_fatal on user listing error

Breaks error reporting to HTTP client

dict-client: Avoid excessive CPU usage while waiting commands to finish

client_dict_add_timeout() adds the timeout thinking that the dict no longer
has any work to do, so it can be freed soon. However, if other work is
added before that, the timeout just keeps getting called over and over
again. This is especially bad with the default idle timeout of 0.

login-proxy: Fix logging reason when kicking non-logged in connections

Use the same reason as for logged in connections.

imap: Fix command ambiguity checking with special plugins

If the tagged line is already sent, that command can't result in ambiguity
anymore.

A cleaner fix would be to add a new _WAIT_SYNC_OUTPUT state, but that
requires all the existing code to understand that new state correctly, so it
has a higher chance of breaking something. So at least for now don't add it.

lib-http: test-http-client-errors: Address another reliability issue in "peer reuse failure" test.

lib-http: response: Add convenience functions for status evaluation.

lib-http: test-http-client-errors: Make "peer reuse failure" test reliable.

It was highly timing-sensitive, since it required a particular error status to
be returned. Sometimes, it would yield a different error based on a
slightly different order of events, making the test fail. Such failures aren't
relevant though, since this regression test is about triggering a segfault that
used to occur.

auth: mycrypt - include crypt.h

Fixes crypt usage on glibc-2.28

Reported by Reuben Farrelly
Patch provided by Thore Bödecker

lib-master: ipc-client: Don't free command too early

When multiple replies were received by IPC only the final reply should free
the command. This may have caused e.g. "doveadm proxy list" to crash.
Broken by 435f0545b200767c25a5daee17cd6b4998d03710

director: Allow fully freeing user while waiting for IPC kick to finish

director_user_move_free() will now just free the IPC command, so this isn't
a problem anymore.

director: Fix crash when user kill times out before IPC finishes

Abort the IPC kick command when freeing kill context so the IPC callback
won't be called.

lib-master: ipc-client: Support aborting commands

lib-master: ipc-client: Cleanup - avoid extra return in the function

Simplifies the following commit.

lib-master: ipc-client: Never call callback directly from ipc_client_cmd()

This may simplify the calling code, especially after the following commit
that returns the command pointer.

lib-master: ipc-client: Split code to ipc_client_abort_commands()

lib-master: ipc-client: Use linked list of commads instead of array

Needed for the following commit that returns the command pointer.

lib-master: ipc-client: Don't call callback twice if IPC proxy sends invalid input

ipc_client_disconnect() called it once, and the second time was done with
the cmds[0] that was already removed from the array.

pop3: Do not expunge \Deleted mails without QUIT

Prevents loss of email if connection
is unexpectedly terminated.

cassandra: Add proper log levels to logged messages

If logging to "internal handler", i.e. to log process, write the log prefix
that includes the log level. This way Cassandra's trace/debug/info messages
won't end up in error log.

lib: Add i_failure_handler_is_internal()

lib-storage: fail storage: Allocate event for mailbox.

Absence of event causes segfault when event logging is performed for the
mailbox.

lib-master: Unit test for sending events to stats.

lib-smtp: client: Make the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream. In a similar HTTP client issue, this caused a segfault.

lib-http: client: Fix segfault by making the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream.

submission: Reorder initialization code

login_set socket paths get invalidated when
master_service_init_finish is called, so we need
to run the code that uses them before this.

lib-smtp: Increase memory pool initial sizes

This reduces malloc traffic

lib-smtp: server: Fix memory leak occurring when an error occurs early for BDAT/BURL.

lib-smtp: server: connection: Rely on i_stream_destroy(NULL) being a no-op.

lib-smtp: server: Restructure reference counting of BDAT/BURL chain stream.

It is now dereferenced directly, rather than via a local variable; thereby
making sure it is reset to NULL.

director: Fix assert-crash when doveadm disconnects immediately after sending command

Any command that requires a ring sync should cause the doveadm connection to
wait until the ring is synced. However, if the disconnection happened early
enough the connection is deinitialized before the ring sync is finished.

Fixes:
Panic: file doveadm-connection.c: line 1097 (doveadm_connection_deinit): assertion failed: (conn->to_ring_sync_abort == NULL)

director: Add assert to make sure doveadm connection's IO isn't added multiple times

doveadm: Make sure to stop running commands requiring synced ring when ring is no longer synced

A command could desync the ring, and no more commands should be run
afterwards.

This also fixes a bug where a command that desyncs the ring is supposed to
wait for the ring being synced before returning OK, but returns it
immediately instead.

lib/printf-format-fix: fix rejection of "%.0f" as a valid string

Sometimes you want to calculate in floats, but don't want the decimals
printed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-smtp: reply-parser: Fix closing the text_lines array with NULL sentinel.

For (EHLO) replies with more than 7 lines, the text_lines array of the reply did
not end in NULL, causing a segfault.

lib: i_zero*() - Give compiler error if it's wrongly used on an array

lib-master, auth: Fix clearing memory

It doesn't look like these being wrong were causing any bugs.

doveadm stats dump: Fix potentially not writing all stats output

It depended on whether uninitialized stack memory was 0 or not.

lib: Mark signal waiting IO as "never wait alone"

This signal is being automatically moved to nested ioloops. It can't be the
only IO being waited, since there's no code that simply wants to wait for a
signal.

lib: ioloop-epoll/kqueue: Remove now unnecessary infinite wait check.

The previous change adds this globally to io_loop_run_get_wait_time().

lib: Add io_set_never_wait_alone()

If ioloop is run without any timeouts and without IOs that don't have this
flag, assert-crash rather than going to infinite wait.

lib: Add and use io_loop_run_get_wait_time()

This is going to be called just before running an ioloop iteration.
The next commit improves its behavior.

lib-storage: Don't try to deserialize bodystructure if we already have it

Fixes:
Panic: file message-part-data.c: line 37 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Simplify an assertion condition

Since the i_assert() is guarded by a check for save_bodystructure_header
being true, the whole condition can be simplified.

lib-storage: Don't try to process header if we haven't parsed the body structure

Fixes:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

lib: Move log type to be written before appended log prefix

This changes the logging format back to how it used to be before the event
logging changes.

lib: Add failure_context.log_prefix_type_pos

If non-zero, this specifies where the log type (e.g. "Info: ") is written
within the log prefix. By default it's appended.

lib, log: Add log prefix length to internal logging protocol

This way log process knows which part of the text is the log prefix, and
which part is the logged text.

log: Move data stack frame allocation to parent function

This simplifies the next commit, which requires data stack nearly always
when logging. The data stack frames are cheap enough that we don't really
need to optimize for avoiding the cases when they're not needed.

log: Avoid unnecessary global log prefix changes

If the context specifies a log prefix, the global prefix isn't going to be
used.

lib: failures - Use common log_prefix_add() for default and syslog formatters

lib: Add unit test for event log prefix handling

Some of the tests are commented out until they're fixed in a following
commit.

lib: failures - Move adding LF from default_format() to default_write()

This makes it similar to internal_format/write()

lib: Move failure handler structs and typedefs to failures-private.h

Also change the function typedefs to be non-pointers, like they usually are
in Dovecot code.

lib: Make failure handler variables static

lib: Rename handler_config variable to failure_handler

It's a global variable, so it needs to have a proper prefix.

lib: Implement vfuncs for logging to stderr

lib: Implement vfuncs for logging to syslog

lib: Implement vfuncs for logging to default location and common failure logging handling

lib: Introduce abstraction for failure logging implementations.

lib-master: Fix crash when stats events are merged all the way to the root

lib-master: stats_event_get_merged() - Remove unnecessary variable assignment

Fixes scan-build complaint.

lib-master: stats_event_write use BEGIN only when event and parent_event create timestamps differ

lib: Add some event handling functions.

event_has_all_categories() - checks if given event contains all the
categories of an another event.
event_has_all_fields() - checks if given event contains all the fields
of an another event.
event_dup() - duplicates an event.
event_copy_categories_fields() - copies all categories and fields from
source to dest.

lib-http: client: peer: Log the number of pending connections consistently in relevant debug messages.

Use the same style everywhere and log it where it makes sense.

lib-http: client: peer: Maintain a list of connections pending on behalf of a peer.

Before, pending connections were only listed in the peer pool.

lib-http: client: connection: Unlist the connection as pending immediately in http_client_connection_failure().

lib-http: client: connection: Remove the connection from the peer pool pending list in a separate function.

lib-http: client: peer: Notify all peers in a peer pool about a successful connection.

This allows peers for which the last connection attempt failed (which was not
the last pending attempt in the pool) to try again. This solves a problem that
could potentially cause a hang with multiple parallel clients creating serveral
new connections at once.

lib-http: client: peer: Add debug message for http_client_peer_connection_failure().

lib-http: client: peer: Clarify debug message in http_client_peer_connection_failed_pool().

lib-http: client: peer: Log debug message before calling peer pool in http_client_peer_connection_success().

lib-http: client: peer: Rename http_client_peer_connection_failed_any() to http_client_peer_connection_failed_pool().

lib-http: client: peer: Always run http_client_queue_connection_failure() upon definitive connection failure.

The recorded peer->connecting flag was highly unreliable in a scenario involving
starting parallel connections. This way, the linked queues can update their
state accordingly. Also, this will not cause empty queues to initiate new
connection, because empty queues will do nothing after updating the connection
state.

This problem caused a client ioloop hang in high-load conditions.

lib-http: client: peer: Move http_client_peer_connection_failure().

lib-http: client: queue: Do not fail claimed requests unless the queue is being destroyed.

Before, connection failure would also abort requests already being sent on
another connection, which is premature at best.

lib-http: client: queue: Fix the number of pending requests listed in http_client_queue_connection_failure() debug message.

lib-http: client: peer: Determine number of pending peers in http_client_peer_shared_connection_failure() itself.

Before, the number of pending peers was a parameter, but that was only for a
single peer pool. This is wrong, since the one peer can have many different
pools (depending on how many clients with incompatible configs share this
peer).

lib-http: client: peer: Notify definitive connection failure only within a peer pool.

Other peer pools have different configuration, which may actually succeed and
will arrive at this point when their own connections fail anyway.