driver-sqlite: Whitespace fix

auth: Add db_ prefix to sql in db-sql

Prevents clash with lib-sql

lib-master: Fix crash when stats events are merged all the way to the root

lib-master: stats_event_get_merged() - Remove unnecessary variable assignment

Fixes scan-build complaint.

lib: Move log type to be written before appended log prefix

This changes the logging format back to how it used to be before the event
logging changes.

lib: Add failure_context.log_prefix_type_pos

If non-zero, this specifies where the log type (e.g. "Info: ") is written
within the log prefix. By default it's appended.

lib, log: Add log prefix length to internal logging protocol

This way log process knows which part of the text is the log prefix, and
which part is the logged text.

log: Move data stack frame allocation to parent function

This simplifies the next commit, which requires data stack nearly always
when logging. The data stack frames are cheap enough that we don't really
need to optimize for avoiding the cases when they're not needed.

log: Avoid unnecessary global log prefix changes

If the context specifies a log prefix, the global prefix isn't going to be
used.

lib: failures - Use common log_prefix_add() for default and syslog formatters

lib: Add unit test for event log prefix handling

Some of the tests are commented out until they're fixed in a following
commit.

lib: failures - Move adding LF from default_format() to default_write()

This makes it similar to internal_format/write()

lib: Move failure handler structs and typedefs to failures-private.h

Also change the function typedefs to be non-pointers, like they usually are
in Dovecot code.

lib: Make failure handler variables static

lib: Rename handler_config variable to failure_handler

It's a global variable, so it needs to have a proper prefix.

lib-master: stats_event_write use BEGIN only when event and parent_event create timestamps differ

lib: Add some event handling functions.

event_has_all_categories() - checks if given event contains all the
categories of an another event.
event_has_all_fields() - checks if given event contains all the fields
of an another event.
event_dup() - duplicates an event.
event_copy_categories_fields() - copies all categories and fields from
source to dest.

lib: Fix matching parent categories in event filter

So far this hasn't caused problems, because parent events had been using
parent categories. However, if the parent category wasn't used by an event
or its parents, an event filter wouldn't have matched it.

lib-http: Add assert to make sure http_client_init_shared(NULL, NULL) isn't called

This should make scan-build happy.

lib: Remove a dead assignment from test-array.c

Found by scan-build.

lib: Implement vfuncs for logging to stderr

lib: Implement vfuncs for logging to syslog

lib: Implement vfuncs for logging to default location and common failure logging handling

lib: Introduce abstraction for failure logging implementations.

pop3: use array interface rather than internal buffer to access data

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - tests that freeing without data doesn't free the data

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/array - give arrays the non-freeing deinit that strings and buffers have

Buffers provide the ability to free the control block but preserve and
return the previously controlled data to the caller: buffer_free_without_data().

As wrapped buffers, strings also have this functionality: str_free_without_data().
(They have to do that, as their buffer implementation is encapsulated away
out of sight to the str.h user.)

Arrays, also wrapped buffers, are missing this capability under the 'array'
name, you have to use the buffer function call, which involves diving into
the guts of the array implementation (because arrays do not hide their
implementation like strings do), and also sacrifices array's type safety.

With this inline helper, it should be simple, obvious, clean and safe.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

m4/dovecot.m4: rename valgrind output file to hide it from certain tests

Some lib-http tests use readdir() to create test cases, and sometimes
object to the contents of test.out.$$. However, as lib-http is also
sensitive to certain characters in the filenames of the files it uses,
we can hide the valgrind output by chosing its filename to exclude it
from the lib_http tests. Non-initial '~' is not known to cause any issues
for either the shell or any known operating system, so is the safest of
lib-http's 'dodgy' characters to use as the separator.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

m4/dovecot.m4 - Apply DRY principle to test output filename

Define the name we will use for the file once, then just use that variable
instead of using explicit repeatition.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: increase pool sizes in tests

Pool growth messages spam the test output, just dive in with a slightly
larger default to shut them up. Only affects these individual tests,
not any other users of the library.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: library default pool allocation increases

Many pools will need to grow even when the smallest amount of work is
done within them, which can spam the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: change default client/server pool sizes when using SSL

SSL carries a lot of state with it, so just start with a bigger
pool if we know we're using it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: harden payload tests against dodgy filenames

Tests use files from readdir() as input, but do no sanitation of the
names, and therefore things like editor temp files can cause havoc
with the HTTP request parser.

The solution is to trap dodgy characters in the filenames, and ignore
those files. Initially, trap HTTP's "unsafe" and "reserved" characters.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: Fix documentation on POINTER_CAST

lib-master, master: Initialize stats-client via environment variables

That way it's initialized before settings are read, and it can catch events
earlier. It also doesn't require all services to read settings if they
otherwise don't need them.

dns: Fix duration field in dns_worker_request_finished event

lib: connection - Clarify logging of incoming connections

Don't log "Client connected" for both incoming and outgoing connections.

lib: connection - Remove dead code

connection_client_connected() can only be called for clients. There was
already an assert for it.

dns: Remove duplicate event_unref() in dns_client_input_args()

The event is unreffed at the end of the function also.

dns: Return the lookup error string to the querier

lib-dns: Set error_r in dns_client_connect() on failure

lib-dns: Remove DNS from the log messages now that it's in the prefix

lib-dns: Use dns(host): prefix instead of just host: in event

lib: Use basename of unix socket path as event log prefix

This is to make the prefix consistent with other unix socket loggings in
Dovecot.

lib-smtp: client: Fix potential segfault occurring after receiving RCPT reply.

Could occur when RCPT reply is received befor DATA command is sent in LMTP session.

Problem found by Coverity.

lib-dns - struct member cleanup in dns_lookup

The index was never used anyway. Now we're using an alloconly pool,
there's no need for the dns_lookup to keep a freeable pointer to the
fields also int result.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Mark noenforcing quotas with unlimited quota

This allows quota to be properly updated for unenforced quotas
so they can be used for tracking only.

This fixes issue where using noenforcing would not update quota
during mail save, but requires a manual quota update.

quota: Cleanup - Move enforce checking out of quota_root_visible()

Non-enforcing quota roots need to be visible even when enforcing quotas,
otherwise we cannot update them.

lib: Use i_asserts() for NULL-checks in test_event_filter_inc_int()

This is so scan-build doesn't explore the assertations not holding and
create noise with that.

fts: Optimize replacing NULs in header

fts: Fix indexing mails with NULs in headers

After the first NUL all the rest of the string was converted to spaces.
This was broken already in the initial commit that attempted to fix this:
4d27f95c76bd008bb38f9c442567046da2b6ce14

lib-http: test-http-client-errors - Skip VERSION line in DNS reply

Otherwise we send extraneous results causing SIGPIPE crash.

Broken in ddb9ead03f4cc7a2c61094e50803e07dfd590cb5

lib-dns: Always use dns_lookup_free

Ensures that all resources get free'd in single place,
Fixes memory leak and event double-unref.

Broken in 9ee82e3f660e6e072532283cad8668a578ac137d

lib-dns: Always allocate lookup

Simplifies next change

lib-dns: Use pooled memory with dns lookups

Simplifies memory management

lib: Add test for event_inc_int()

submission: Reorder initialization code

login_set socket paths get invalidated when
master_service_init_finish is called, so we need
to run the code that uses them before this.

lib-smtp: Increase memory pool initial sizes

This reduces malloc traffic

lib-dns: Remove useless code

Found by scan-build

lib-http: Hook lib-http event to connection event

dns, lib-dns: Move to protocol v1.0

dns: Add event support

dns: Use connection.c

This enables processing multiple requests at a time.

lib: connection - Add and fix logging

lib: connection - Add event support

lib-dns: Add event support

lib-dns: Move calling callback to separate function

Simplifies next commit

lib-dns: Initialize lookup earlier

lib-dns: Compose final command in dns_client_lookup_common

Makes logging easier

lib-dns: Use connection with dns-client

lib: lib-event - Add inc_int to passthrough events

Was forgotten in 12927b843387b2a93fcf1d2e05df7c79af06e567

lib: Make io_loop_move_*(NULL) no-op

lib: Mark signal waiting IO as "never wait alone"

This signal is being automatically moved to nested ioloops. It can't be the
only IO being waited, since there's no code that simply wants to wait for a
signal.

lib: ioloop-epoll/kqueue: Remove now unnecessary infinite wait check.

The previous change adds this globally to io_loop_run_get_wait_time().

lib: Add io_set_never_wait_alone()

If ioloop is run without any timeouts and without IOs that don't have this
flag, assert-crash rather than going to infinite wait.

lib: Add and use io_loop_run_get_wait_time()

This is going to be called just before running an ioloop iteration.
The next commit improves its behavior.

lib-smtp: test-smtp-client-errors: Add tests for transaction timeouts.

lib-smtp: client: Add debug message for the moment when all RCPT replies are received.

This helps in debugging transaction state transition problems.

lib-smtp: client: Fix transaction state transition for the DATA command.

It progressed to the DATA state too early. By the looks of things, this only
affected the correctness of error and debug messages. It does not affect the
transaction itself.

lib-smtp: client: Fix segmentation fault occurring at transaction timeout.

In the DATA command callback trans->cmd_data can be NULL when the command is
aborted from smtp_client_transaction_fail_reply().

lib-smtp: client: transaction: Prevent early transaction abort in smtp_client_transaction_fail_reply().

Can happen in one of the command callbacks of aborted commands.

lib-smtp: Remove trailing whitespace in smtp-cient-transaction.c.

lib-smtp: Remove trailing whitespace in test-smtp-client-errors.c.

lib: Add test for stats_dist_get_variance()

lib,stats,dict: Make stats_dist_get_avg() return double

master: Wait 1 second for SIGQUITs to get handled

The delay (previously 100ms, now 1s) is intended to delay our exit enough so
that the child processes have a chance to receive & handle the SIGQUITs we
just sent.  If we don't wait long enough, it is possible that we'll get
restarted before our children had the chance to stop listening on their
sockets and we'll hit "address already in use" type errors.

Increasing the delay does not fix the issue, but it masks it better.

lib-index: mail_cache_lookup_headers() - Allow using datastack pool

This fixes assert caused by 53712af0e7f357e7279d9ff03831428aae85aa45:
Panic: pool_data_stack_realloc(): stack frame changed

lib-storage: Fix NUL handling in mail_get_first_header*(), mail_get_headers*()

These functions return NUL-terminated values, so they got truncated whenever
a header value contained a NUL. Fix this by converting NULs to unicode
replacement characters in the output.

lib-mail: Make message_header_strdup() public

Also move it to a better file.

lib-mail: Cleanup - Rename internal hdr_strdup() to message_header_strdup()

lib-mail: rfc822-parser - Handle \<NUL> in quoted-string and domain-literal

It was already handled in comments. Previously this caused the strings and
domain-literals to be truncated at that position.

lib-mail: test-message-address - Test NULs in display-name

lib: test-event-filter - Test overriding parent fields

lib: Add event_field_clear() to allow clearing parent event's fields

lib: Add event_inc_int()

This can be useful when updating counter fields.

lib-http: test-http-client-errors: Make "peer reuse failure" test reliable.

It was highly timing-sensitive, since it required a particular error status to
be returned. Sometimes, it would yield a different error based on a
slightly different order of events, making the test fail. Such failures aren't
relevant though, since this regression test is about triggering a segfault that
used to occur.

imap: Fix command ambiguity checking with special plugins

If the tagged line is already sent, that command can't result in ambiguity
anymore.

A cleaner fix would be to add a new _WAIT_SYNC_OUTPUT state, but that
requires all the existing code to understand that new state correctly, so it
has a higher chance of breaking something. So at least for now don't add it.

lib: test-strfuncs - Rename test i_strbegins to str_begins

Matches the real name

doveconf: Fix compiler nit

Ensure secret_r cannot be NULL unless none was found.

doveconf: Improve secret hiding

Hide with more wide filtering.