driver-sqlite: Assign db in driver_sqlite_exec()

This fixes a crash.

stats: Wait for clients to disconnect at shutdown

global: Replace MASTER_SERVICE_FLAG_SEND_STATS with _DONT_SEND_STATS

Most services want to send statistics, so it's better to reverse the flag
behavior. Mark the few services that don't want stats with
MASTER_SERVICE_FLAG_DONT_SEND_STATS.

master: Start service processes only after adding all service listeners

Otherwise the processes could try to connect to services that aren't being
listened on, causing errors. Especially stats-writer socket needs to be
available early on.

lib-storage: Don't try to deserialize bodystructure if we already have it

Fixes:
Panic: file message-part-data.c: line 37 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Simplify an assertion condition

Since the i_assert() is guarded by a check for save_bodystructure_header
being true, the whole condition can be simplified.

lib-storage: Don't try to process header if we haven't parsed the body structure

Fixes:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

lib-http: client: peer: Log the number of pending connections consistently in relevant debug messages.

Use the same style everywhere and log it where it makes sense.

lib-http: client: peer: Maintain a list of connections pending on behalf of a peer.

Before, pending connections were only listed in the peer pool.

lib-http: client: connection: Unlist the connection as pending immediately in http_client_connection_failure().

lib-http: client: connection: Remove the connection from the peer pool pending list in a separate function.

lib-http: client: peer: Notify all peers in a peer pool about a successful connection.

This allows peers for which the last connection attempt failed (which was not
the last pending attempt in the pool) to try again. This solves a problem that
could potentially cause a hang with multiple parallel clients creating serveral
new connections at once.

lib-http: client: peer: Add debug message for http_client_peer_connection_failure().

lib-http: client: peer: Clarify debug message in http_client_peer_connection_failed_pool().

lib-http: client: peer: Log debug message before calling peer pool in http_client_peer_connection_success().

lib-http: client: peer: Rename http_client_peer_connection_failed_any() to http_client_peer_connection_failed_pool().

lib-http: client: peer: Always run http_client_queue_connection_failure() upon definitive connection failure.

The recorded peer->connecting flag was highly unreliable in a scenario involving
starting parallel connections. This way, the linked queues can update their
state accordingly. Also, this will not cause empty queues to initiate new
connection, because empty queues will do nothing after updating the connection
state.

This problem caused a client ioloop hang in high-load conditions.

lib-http: client: peer: Move http_client_peer_connection_failure().

lib-http: client: queue: Do not fail claimed requests unless the queue is being destroyed.

Before, connection failure would also abort requests already being sent on
another connection, which is premature at best.

lib-http: client: queue: Fix the number of pending requests listed in http_client_queue_connection_failure() debug message.

lib-http: client: peer: Determine number of pending peers in http_client_peer_shared_connection_failure() itself.

Before, the number of pending peers was a parameter, but that was only for a
single peer pool. This is wrong, since the one peer can have many different
pools (depending on how many clients with incompatible configs share this
peer).

lib-http: client: peer: Notify definitive connection failure only within a peer pool.

Other peer pools have different configuration, which may actually succeed and
will arrive at this point when their own connections fail anyway.

driver-sqlite: Fix event usage in driver_sqlite_exec

Broken in 850f874971a7afa4f1f7b47df37fca082dc415a1

pop3: Do not expunge \Deleted mails without QUIT

Prevents loss of email if connection
is unexpectedly terminated.

lib-sql: Do not create event for old drivers

They can't use it anyways

lib: Test event category parent matching

driver-sqlpool: Only strdup error on error

Satisfies static analyzers

driver-sqlite: Document why rollback is called when commit fails

driver-cassandra: Add events

driver-pgsql: Add events

driver-sqlite: Add events

driver-mysql: Add events

driver-sqlpool: Add events

lib-sql: Add events

auth: Use sql_init_full

global: Replace sql_db_cache_new with sql_db_cache_new2

dict-sql: Use sql_db_cache_new2

lib-sql: Add sql_db_cache_new2 that uses the new sql_init_full initializer

driver-cassandra: Add init_full

driver-cassandra: Return error from connection string parser

driver-cassandra: Add driver_cassandra_free

driver-pgsql: Add init_full

driver-pgsql: Add driver_pgsql_free

driver-sqlite: Add init_full

driver-mysql: Add init_full

driver-mysql: Allocate mysql connection ourselves

This allows reusing the same mysql object on reconnect,
and simplifies cleanup in case initialization fails.

driver-mysql: Return error in connection string parser

driver-sqlpool: Add driver_sqlpool_init_full

Needed by SQL API change

driver-sqlpool: Use init_full when available

lib-sql: Add init_full vfunction

driver-sqlite: Whitespace fix

auth: Add db_ prefix to sql in db-sql

Prevents clash with lib-sql

lib-master: Fix crash when stats events are merged all the way to the root

lib-master: stats_event_get_merged() - Remove unnecessary variable assignment

Fixes scan-build complaint.

lib: Move log type to be written before appended log prefix

This changes the logging format back to how it used to be before the event
logging changes.

lib: Add failure_context.log_prefix_type_pos

If non-zero, this specifies where the log type (e.g. "Info: ") is written
within the log prefix. By default it's appended.

lib, log: Add log prefix length to internal logging protocol

This way log process knows which part of the text is the log prefix, and
which part is the logged text.

log: Move data stack frame allocation to parent function

This simplifies the next commit, which requires data stack nearly always
when logging. The data stack frames are cheap enough that we don't really
need to optimize for avoiding the cases when they're not needed.

log: Avoid unnecessary global log prefix changes

If the context specifies a log prefix, the global prefix isn't going to be
used.

lib: failures - Use common log_prefix_add() for default and syslog formatters

lib: Add unit test for event log prefix handling

Some of the tests are commented out until they're fixed in a following
commit.

lib: failures - Move adding LF from default_format() to default_write()

This makes it similar to internal_format/write()

lib: Move failure handler structs and typedefs to failures-private.h

Also change the function typedefs to be non-pointers, like they usually are
in Dovecot code.

lib: Make failure handler variables static

lib: Rename handler_config variable to failure_handler

It's a global variable, so it needs to have a proper prefix.

lib-master: stats_event_write use BEGIN only when event and parent_event create timestamps differ

lib: Add some event handling functions.

event_has_all_categories() - checks if given event contains all the
categories of an another event.
event_has_all_fields() - checks if given event contains all the fields
of an another event.
event_dup() - duplicates an event.
event_copy_categories_fields() - copies all categories and fields from
source to dest.

lib: Fix matching parent categories in event filter

So far this hasn't caused problems, because parent events had been using
parent categories. However, if the parent category wasn't used by an event
or its parents, an event filter wouldn't have matched it.

lib-http: Add assert to make sure http_client_init_shared(NULL, NULL) isn't called

This should make scan-build happy.

lib: Remove a dead assignment from test-array.c

Found by scan-build.

lib: Implement vfuncs for logging to stderr

lib: Implement vfuncs for logging to syslog

lib: Implement vfuncs for logging to default location and common failure logging handling

lib: Introduce abstraction for failure logging implementations.

pop3: use array interface rather than internal buffer to access data

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - tests that freeing without data doesn't free the data

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/array - give arrays the non-freeing deinit that strings and buffers have

Buffers provide the ability to free the control block but preserve and
return the previously controlled data to the caller: buffer_free_without_data().

As wrapped buffers, strings also have this functionality: str_free_without_data().
(They have to do that, as their buffer implementation is encapsulated away
out of sight to the str.h user.)

Arrays, also wrapped buffers, are missing this capability under the 'array'
name, you have to use the buffer function call, which involves diving into
the guts of the array implementation (because arrays do not hide their
implementation like strings do), and also sacrifices array's type safety.

With this inline helper, it should be simple, obvious, clean and safe.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

m4/dovecot.m4: rename valgrind output file to hide it from certain tests

Some lib-http tests use readdir() to create test cases, and sometimes
object to the contents of test.out.$$. However, as lib-http is also
sensitive to certain characters in the filenames of the files it uses,
we can hide the valgrind output by chosing its filename to exclude it
from the lib_http tests. Non-initial '~' is not known to cause any issues
for either the shell or any known operating system, so is the safest of
lib-http's 'dodgy' characters to use as the separator.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

m4/dovecot.m4 - Apply DRY principle to test output filename

Define the name we will use for the file once, then just use that variable
instead of using explicit repeatition.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: increase pool sizes in tests

Pool growth messages spam the test output, just dive in with a slightly
larger default to shut them up. Only affects these individual tests,
not any other users of the library.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: library default pool allocation increases

Many pools will need to grow even when the smallest amount of work is
done within them, which can spam the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: change default client/server pool sizes when using SSL

SSL carries a lot of state with it, so just start with a bigger
pool if we know we're using it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: harden payload tests against dodgy filenames

Tests use files from readdir() as input, but do no sanitation of the
names, and therefore things like editor temp files can cause havoc
with the HTTP request parser.

The solution is to trap dodgy characters in the filenames, and ignore
those files. Initially, trap HTTP's "unsafe" and "reserved" characters.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: Fix documentation on POINTER_CAST

lib-master, master: Initialize stats-client via environment variables

That way it's initialized before settings are read, and it can catch events
earlier. It also doesn't require all services to read settings if they
otherwise don't need them.

dns: Fix duration field in dns_worker_request_finished event

lib: connection - Clarify logging of incoming connections

Don't log "Client connected" for both incoming and outgoing connections.

lib: connection - Remove dead code

connection_client_connected() can only be called for clients. There was
already an assert for it.

dns: Remove duplicate event_unref() in dns_client_input_args()

The event is unreffed at the end of the function also.

dns: Return the lookup error string to the querier

lib-dns: Set error_r in dns_client_connect() on failure

lib-dns: Remove DNS from the log messages now that it's in the prefix

lib-dns: Use dns(host): prefix instead of just host: in event

lib: Use basename of unix socket path as event log prefix

This is to make the prefix consistent with other unix socket loggings in
Dovecot.

lib-smtp: client: Fix potential segfault occurring after receiving RCPT reply.

Could occur when RCPT reply is received befor DATA command is sent in LMTP session.

Problem found by Coverity.

lib-dns - struct member cleanup in dns_lookup

The index was never used anyway. Now we're using an alloconly pool,
there's no need for the dns_lookup to keep a freeable pointer to the
fields also int result.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Mark noenforcing quotas with unlimited quota

This allows quota to be properly updated for unenforced quotas
so they can be used for tracking only.

This fixes issue where using noenforcing would not update quota
during mail save, but requires a manual quota update.

quota: Cleanup - Move enforce checking out of quota_root_visible()

Non-enforcing quota roots need to be visible even when enforcing quotas,
otherwise we cannot update them.

lib: Use i_asserts() for NULL-checks in test_event_filter_inc_int()

This is so scan-build doesn't explore the assertations not holding and
create noise with that.

fts: Optimize replacing NULs in header