driver-sqlite: Fix crash and event leak in driver_sqlite_query_s()

driver-sqlite: Assign db in driver_sqlite_exec()

This fixes a crash.

lib-sql: Fix wrong sql_query_finished_event() success parameter use

driver-sqlite: Don't give false out of memory errors

Only log error from sqlite3_errmsg() when connected to the db, since
otherwise dovecot logs false "out of memory" errors.

driver-sqlite: Add error to sql_query_finished event on error

driver-pgsql: Add error to sql_query_finished if it fails

driver-cassandra: Add error to sql_query_finished event on error

lib-sql: Do not create event for old drivers

They can't use it anyways

driver-sqlpool: Only strdup error on error

Satisfies static analyzers

driver-sqlite: Document why rollback is called when commit fails

driver-cassandra: Add events

driver-pgsql: Add events

driver-sqlite: Add events

driver-mysql: Add events

driver-sqlpool: Add events

lib-sql: Add events

auth: Use sql_init_full

global: Replace sql_db_cache_new with sql_db_cache_new2

dict-sql: Use sql_db_cache_new2

lib-sql: Add sql_db_cache_new2 that uses the new sql_init_full initializer

driver-cassandra: Add init_full

driver-cassandra: Return error from connection string parser

driver-cassandra: Add driver_cassandra_free

driver-pgsql: Add init_full

driver-pgsql: Add driver_pgsql_free

driver-sqlite: Add init_full

driver-mysql: Add init_full

driver-mysql: Allocate mysql connection ourselves

This allows reusing the same mysql object on reconnect,
and simplifies cleanup in case initialization fails.

driver-mysql: Return error in connection string parser

driver-sqlpool: Add driver_sqlpool_init_full

Needed by SQL API change

driver-sqlpool: Use init_full when available

lib-sql: Add init_full vfunction

driver-sqlite: Whitespace fix

auth: Add db_ prefix to sql in db-sql

Prevents clash with lib-sql

util: Fix compile with tcpwrap

stats: Wait for clients to disconnect at shutdown

global: Replace MASTER_SERVICE_FLAG_SEND_STATS with _DONT_SEND_STATS

Most services want to send statistics, so it's better to reverse the flag
behavior. Mark the few services that don't want stats with
MASTER_SERVICE_FLAG_DONT_SEND_STATS.

master: Start service processes only after adding all service listeners

Otherwise the processes could try to connect to services that aren't being
listened on, causing errors. Especially stats-writer socket needs to be
available early on.

lib: Test event category parent matching

lib: Fix matching parent categories in event filter

So far this hasn't caused problems, because parent events had been using
parent categories. However, if the parent category wasn't used by an event
or its parents, an event filter wouldn't have matched it.

lib-master, master: Initialize stats-client via environment variables

That way it's initialized before settings are read, and it can catch events
earlier. It also doesn't require all services to read settings if they
otherwise don't need them.

dns: Fix duration field in dns_worker_request_finished event

lib-dns - struct member cleanup in dns_lookup

The index was never used anyway. Now we're using an alloconly pool,
there's no need for the dns_lookup to keep a freeable pointer to the
fields also int result.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: test-http-client-errors - Skip VERSION line in DNS reply

Otherwise we send extraneous results causing SIGPIPE crash.

Broken in ddb9ead03f4cc7a2c61094e50803e07dfd590cb5

lib-dns: Always use dns_lookup_free

Ensures that all resources get free'd in single place,
Fixes memory leak and event double-unref.

Broken in 9ee82e3f660e6e072532283cad8668a578ac137d

lib-dns: Always allocate lookup

Simplifies next change

lib-dns: Use pooled memory with dns lookups

Simplifies memory management

lib-dns: Remove useless code

Found by scan-build

lib-http: Hook lib-http event to connection event

dns, lib-dns: Move to protocol v1.0

dns: Add event support

dns: Use connection.c

This enables processing multiple requests at a time.

lib: connection - Add and fix logging

lib: connection - Add event support

lib-dns: Add event support

lib-dns: Move calling callback to separate function

Simplifies next commit

lib-dns: Initialize lookup earlier

lib-dns: Compose final command in dns_client_lookup_common

Makes logging easier

lib-dns: Use connection with dns-client

lib: lib-event - Add inc_int to passthrough events

Was forgotten in 12927b843387b2a93fcf1d2e05df7c79af06e567

lib: Make io_loop_move_*(NULL) no-op

lib: Use i_asserts() for NULL-checks in test_event_filter_inc_int()

This is so scan-build doesn't explore the assertations not holding and
create noise with that.

lib: Add test for event_inc_int()

lib: test-event-filter - Test overriding parent fields

lib: Add event_field_clear() to allow clearing parent event's fields

lib: Add event_inc_int()

This can be useful when updating counter fields.

lib: Add test for stats_dist_get_variance()

lib,stats,dict: Make stats_dist_get_avg() return double

man, doveadm: Rename "mailbox cache compress" to "mailbox cache purge"

The "compress" word makes it sound like e.g. zlib compression. The "purge"
word is used for a similar behavior with mdbox purging.

doveadm: Add mailbox cache compress

lib-index: Add mail_cache_compress_forced()

doveadm-auth-server: Fix cmd_list output to use JSON

Fixes output for HTTP client

doveadm-auth-server: Do not use i_fatal on user listing error

Breaks error reporting to HTTP client

dict-client: Avoid excessive CPU usage while waiting commands to finish

client_dict_add_timeout() adds the timeout thinking that the dict no longer
has any work to do, so it can be freed soon. However, if other work is
added before that, the timeout just keeps getting called over and over
again. This is especially bad with the default idle timeout of 0.

login-proxy: Fix logging reason when kicking non-logged in connections

Use the same reason as for logged in connections.

imap: Fix command ambiguity checking with special plugins

If the tagged line is already sent, that command can't result in ambiguity
anymore.

A cleaner fix would be to add a new _WAIT_SYNC_OUTPUT state, but that
requires all the existing code to understand that new state correctly, so it
has a higher chance of breaking something. So at least for now don't add it.

lib-http: test-http-client-errors: Address another reliability issue in "peer reuse failure" test.

lib-http: response: Add convenience functions for status evaluation.

lib-http: test-http-client-errors: Make "peer reuse failure" test reliable.

It was highly timing-sensitive, since it required a particular error status to
be returned. Sometimes, it would yield a different error based on a
slightly different order of events, making the test fail. Such failures aren't
relevant though, since this regression test is about triggering a segfault that
used to occur.

auth: mycrypt - include crypt.h

Fixes crypt usage on glibc-2.28

Reported by Reuben Farrelly
Patch provided by Thore Bödecker

lib-master: ipc-client: Don't free command too early

When multiple replies were received by IPC only the final reply should free
the command. This may have caused e.g. "doveadm proxy list" to crash.
Broken by 435f0545b200767c25a5daee17cd6b4998d03710

director: Allow fully freeing user while waiting for IPC kick to finish

director_user_move_free() will now just free the IPC command, so this isn't
a problem anymore.

director: Fix crash when user kill times out before IPC finishes

Abort the IPC kick command when freeing kill context so the IPC callback
won't be called.

lib-master: ipc-client: Support aborting commands

lib-master: ipc-client: Cleanup - avoid extra return in the function

Simplifies the following commit.

lib-master: ipc-client: Never call callback directly from ipc_client_cmd()

This may simplify the calling code, especially after the following commit
that returns the command pointer.

lib-master: ipc-client: Split code to ipc_client_abort_commands()

lib-master: ipc-client: Use linked list of commads instead of array

Needed for the following commit that returns the command pointer.

lib-master: ipc-client: Don't call callback twice if IPC proxy sends invalid input

ipc_client_disconnect() called it once, and the second time was done with
the cmds[0] that was already removed from the array.

pop3: Do not expunge \Deleted mails without QUIT

Prevents loss of email if connection
is unexpectedly terminated.

cassandra: Add proper log levels to logged messages

If logging to "internal handler", i.e. to log process, write the log prefix
that includes the log level. This way Cassandra's trace/debug/info messages
won't end up in error log.

lib: Add i_failure_handler_is_internal()

lib-storage: fail storage: Allocate event for mailbox.

Absence of event causes segfault when event logging is performed for the
mailbox.

lib-master: Unit test for sending events to stats.

lib-smtp: client: Make the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream. In a similar HTTP client issue, this caused a segfault.

lib-http: client: Fix segfault by making the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream.

submission: Reorder initialization code

login_set socket paths get invalidated when
master_service_init_finish is called, so we need
to run the code that uses them before this.

lib-smtp: Increase memory pool initial sizes

This reduces malloc traffic

lib-smtp: server: Fix memory leak occurring when an error occurs early for BDAT/BURL.

lib-smtp: server: connection: Rely on i_stream_destroy(NULL) being a no-op.