config: Expand multiple variables per line

Needed to properly support environment variables.

config: config-parser - Add config_write_keyvariable

Move code handling key variable expansion to separate function.
Simplifies next commit.

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make dlua_push_mail() take lua_State * directly

lib-storage: Make dlua_push_mail_user() take lua_State * directly

lib-storage: Make lua_storage_cmp() take lua_State * directly

lib-storage: Make lua_check_storage_mailbox() take lua_State * directly

lib-storage: Make dlua_push_mailbox() take lua_State * directly

master: Send instance_name setting to log process

This way log process can use it for syslog ident

cassandra: Fix logging messages with LFs

At least some trace level messages had them.

m4: Fix configuration of libunwind on i386 (and probably other systems).

Use the standard libunwind-coredump instead of the system-dependent library.
This way, all can be configured using pkg-config, without relying on a failed
attempt to use the $build_cpu variable to find the system-dependent library.
This fails on i386 and probably other systems as well.

lib-imap: imap_bodystructure_write() - Add asserts to check unexpected NULLs inside lists

This just changes the assert that already triggers into a bit clearer
assert.

lib-imap: Add unit test for invalid BODYSTRUCTUREs

lib-imap: imap_arg_get/as_nstring() - fail if input is an atom

Atoms were wrongly allowed in these places.

These have been used in very few places, so this change should be pretty
safe to do. The only affected places are:

 * SETMETADATA - Backwards compatibility preserved by earlier commit
 * ID - It's not expected that any clients use atoms here
 * imapc - Server replies are parsed more strictly now

lib-imap: Don't wrongly accept NILs or atoms when parsing BODYSTRUCTURE

Especially NILs could cause crashes later on when some internal field is
NULL when it's not expectedly to be.

Fixes a crash when parsing BODYSTRUCTURE and writing it out with
imap_bodystructure_write() when some of the parameter lists contained NILs.

lib-imap: imap_body_parse_from_bodystructure() - Write size field as atom

Following changes will break writing it as nstring.

imap: SETMETADATA - Explicitly support using atoms for values

Required to keep atoms working (and especially not assert-crashing) after
the following imap_arg_get_nstring() change.

lib: event-filter - Implement event_filter_merge() unit test

lib: event-filter - Use p_strdup() instead of p_strdup_empty() to avoid NULLs

The code used p_strdup_empty() in an (incorrect) attempt to avoid NULLs
turning into empty strings ("").  None of the strdup variants do this.
However, p_strdup_empty() converts empty strings to NULLs.  This caused a
NULL pointer dereference later on.

lib: test-lib - Free event filters

Fixes memory leak

Forgotten from 01ccf687d660331ca3e483c90582156757cebb7f

lib: event-filter - Implement filter boolean expression unit tests

This is a exhaustive test of the boolean operators using field equality
comparisons.  This test code focuses on the boolean operators (AND, OR,
NOT) and not on the comparison operators (=, <, >, <=, and >=) and their
arguments (event names, source locations, categories).

lib: event-filter - Correct a comment referring to old filter syntax

lib: event-filter - Add a helper function to get at the filter's boolean expression

This is necessary for the soon-to-be-implemented unit tests.

lib: event-filter - Expose internal functions to allow for unit testing

We'll need these to avoid code duplication when unit testing the boolean
expression evaluation logic.

lib: event-filter - Make NOT operator right associative and higher precedence

For example, consider the filter:

    event=* AND
    NOT event=foo AND
    NOT event=bar AND
    NOT event=baz

The "NOT" operator is supposed to be bound to the comparisons to the
immediate right.  That is, it supposed to be equivalent to:

    event=* AND
    (NOT event=foo) AND
    (NOT event=bar) AND
    (NOT event=baz)

Both of these should produce the following parse tree:

    AND
      AND
        AND
          EQ EVENT '*'
          NOT
            EQ EVENT 'foo'
        NOT
          EQ EVENT 'bar'
      NOT
        EQ EVENT 'baz'

Instead, before this commit, the NOTs were getting bound to the entire
sub-expression to the right.  Therefore, the original filter expression
was being parsed as if it were:

    event=* AND
    NOT (event=foo AND
         NOT (event=bar AND
              NOT event=baz))

Which produced the following parse tree:

    AND
      EQ EVENT '*'
      NOT
        AND
          EQ EVENT 'foo'
          NOT
            AND
              EQ EVENT 'bar'
              NOT
                EQ EVENT 'baz'

lib-test: fuzzer - Don't crash in targets without ioloop

auth: Makefile.am - Use $(LIBDOVECOT_LUA) instead of redefining it

auth: Fix building built-in lua

It was working only when building as plugin.

lib: test-buffer - Fix memory leak errors in fatal buffer tests

lib-test: Add test_fatal_set_callback()

lib-master: test-event-stats - Add test for large event id

Ensure UPDATE command syntax is correct when event id is over 1 million

indexer: Remove worker-specific request queue

- Each request is done in a single connection and indexer master disconnects
from worker after indexing job is complete.
- No need to keep a worker queue since it always have length of 1. Instead,
keep a pointer to indexer_request for each worker connection.
- If indexing is in progress for a user, don't try to use the same connection
when a new request arrives for the same user. Instead, move the request to the
back of the queue and wait for the in progress request to finish then
create a new connection and submit request to worker.

indexer: Cleanup idle_list from worker pool

- Indexer always disconnects from worker process, no need to keep a list
of idle processes.
- The callback already calls worker_pool_release_connection every time worker
updated percentage. Defer disconnecting from working to the callback.
It checks if the request is completed and destroys connection.

indexer: Disconnect from indexer-worker after each request

This allows indexer-worker to properly handle service configurations such as
service_count and idle_kill time.

lib: array - Make sure it assert-crashes if trying to add more than UINT_MAX elements

This is required, because array_count() returns unsigned int.

lib: Add buffer_create_dynamic_max()

lib: hash - Add assert to make sure hash table doesn't grow beyond UINT_MAX nodes

hash_table_count() returns unsigned int, so the node count can't be larger.
It's internally also tracked as unsigned int currently. It should be large
enough for all practical use cases.

auth: db-lua - Deref script in auth_lua_call_userdb_iterate_init() only once

auth: db-lua - Deref script in auth_lua_call_userdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_passdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_password_verify() only once

auth: db-lua - Make auth_lua_dovecot_auth_register() take lua_State * directly

auth: db-lua - Make auth_lua_auth_request_register() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup_finish() take lua_State * directly

auth: db-lua - Make auth_lua_export_passdb_table() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup() take lua_State * directly

auth: db-lua - Make auth_lua_export_userdb_table() take lua_State * directly

auth: db-lua - Make auth_lua_export_table() take lua_State * directly

auth: db-lua - Make auth_lua_push_auth_request() take lua_State * directly

auth: db-lua - Make lua methods and functions use the passed in lua_State * directly

auth: db-lua - Make auth_lua_check_auth_request() take lua_State * directly

lib-lua: Use dlua_register()

lib-lua: Add dlua_register()

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make lua_storage_mail_user_set_metadata_unset() take lua_State * directly

lib-storage: Make lua_check_storage_mail_user() take lua_State * directly

lib-storage: Make lua_check_storage_mail() take lua_State * directly

lib-lua: Make dlua_dump_stack() take lua_State * directly

lib-lua: Move dlua_dump_stack() prototype to private header

lib-lua: Make dlua_check_event() take lua_State * directly

lib-lua: Make dlua_push_event() take lua_State * directly

lib-lua: Move dlua_{check,push}_event() prototypes to private header

lib-lua: Make dlua_getdovecot() take lua_State * directly

lib-lua: Make dlua_setmembers() take lua_State * directly

lib-lua: Make lua methods and functions use the passed in lua_State * directly

lib-lua: Make dlua_push_event_passthrough() take lua_State * directly

lib-lua: Make dlua_check_event_passthrough() take lua_State * directly

lib-lua: Make dlua_event_log() take lua_State * directly

lib-lua: Make dlua_get_file_line() take lua_State * directly

lib-lua: Make DLUA_REQUIRE_ARGS*() take the lua_State * directly

This is the first in a series of commits that convert a number of functions
to pass around the lua_State pointer directly and to use it instead of using
the lua_State pointed to by the struct dlua_script.

This change is needed to eventually support the 'yield' functionality and
"sequential looking, but async behind the scenes" lua scripts.  To support
this, the C code needs to instantiate multiple lua_States and then operate
on the correct one - whichever one is passed back by the lua runtime.  This
lays the ground work for that.

imap: test-imap-client-hibernate - Remove dead assignment

util: dovecot-sysreport: Use "uname -n" instead of "hostname" for portability

hostname is not defined by POSIX, so not guaranteed to work.

lib-mail: mail-html2text: HTML entity lookup must be case-sensitive

HTML entities are case-sensitive.

lib-storage: Add unit test for mailbox-list error handling

This is exactly the same test as what mail-storage has for its error
handling.

lib-storage: test-mail-storage - Split overlong lines

lib-storage: Change mailbox_list_set_error/critical() to work the same as storage's

The storage ones had various fixes to different situations. Just make the
mailbox list ones exactly the same to get the same fixes.

lib-storage: mailbox_list_get_last_error() - Handle unexpected situations better

Change the logic to be similar as in mail_storage_get_last_error() if the
mail_error or error_string unexpectedly isn't set.

lib-storage: Detect corrupted mail size when calculating body size

When body size is calculated from message size - header size, make sure that
the message size is at least as large as the header size. Otherwise treat
the message size as corrupted.

stats: openmetrics: Do not duplicate counter and duration metrics for histograms

Histograms generate "_count" and "_sum" metrics either for each quantile or
for the whole distribution. This patch prevents creating a duplicate metric
with type counter which results in metric name collision.

stats: Make exported metrics compliant with OpenMetrics standards

Commit based on github PR: https://github.com/dovecot/core/pull/136

Fix issues raised by promtool and prometheus client library parser.
Cleanup and code fixes by Siavash Tavakoli.

indexer, auth: Set indexer-worker and auth-worker services' type=worker

lib-master, master: Add "worker" service type

The worker services are expected to reach their process_limit regularly.
There shouldn't be a warning logged about temporarily reaching the limit,
since it can happen due to race conditions.

master: Split off service_log_drop_warning()

master: Update comment to service_process.total_count

It's not an exact value. Making it exact would require changing the IPC
protocol to master, which isn't worth it just for this.

lib-master: Notify master immediately when process can accept more clients

Instead of delaying it for 1 second. Otherwise the master might be
complaining about process/client limit being reached or creating more
processes unnecessarily.

lib-mail: message-snippet: Fix expected number of leading non-whitespace chars

If message body starts with a single char + space (e.g. "I am"), the
space is wrongly removed (i.e. snippet would be "Iam") because at least two
non-whitespace characters are expected. Fix the minimum to 1 to fix this.

auth: Log failure before freeing up request

The request got free'd before logging, causing use-after-free access.

Broken in cec5a9c92d094d639c49bb83eeb9383ebb231c6f

imap: cmd-setmetadata: Do not open mailbox

Set metadata without actually opening the mailbox.

As a side-effect this changes SETMETADATA command response when ACL
rules are present and user only has lookup right. For non-existing
mailboxes, command fails with "Mailbox doesn't exist" message instead of
"Permission denied" error.

imap: cmd-getmetadata: Retrieve metadata values without opening the mailbox

No need to actually opening the mailbox, only check for its existence.
This also makes GETMETADATA command behave more in line with RFC 5464 when
acls are preset. Changes to command results for different cases:

- User with only "l" right:
  - for non-existing mailbox command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
- User with "l" right and one of "s", "w", "i", and "p" rights:
  - for INBOX, command result changed from "Permission denied" failure to "OK"
  - for existing mailboxes, command result changed from "Permission denied"
    failure to "OK"
  - for non-existing mailboxes, command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
  - for autocreated mailboxes, command result changed from "Permission denied"
    failure to "OK"
- User with "l" right and one of "x", "c", "d", and "a" rights:
  - for non-existing mailboxes, command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
- User with only "r" right:
  - for INBOX, command result changed from "OK" to "Mailbox doesn't exist"
  - for existing mailboxes, command result changed from "OK" to "Mailbox doesn't exist"
  - for autocreated mailboxes, command result changed from "OK" to "Mailbox doesn't exist"

imap: cmd-getmetadata: Do not ignore NOTFOUND and PERM when handling errors

Don't ignore MAIL_ERROR_NOTFOUND MAIL_ERROR_PERM in cmd_getmetadata_handle_error
and fail GETMETADATA command properly. This code was added in the initial
GETMETADATA implementation commit.  It doesn't seem like it has ever done
anything useful.

doveadm mailbox metadata: Don't open mailbox for get and list commands

lib-storage: Move checking autocreated boxes to storage backends

This allows acl plugin to check ACLs for autocreated mailboxes as well.

lib-storage: index-attribute: Fix typo

doveadm: doveadm-mail-mailbox-metadata: Add flag for prefixes in metadata list

Add an optional "-p" flag for metadata list command. Keys should have been
listed with "/private" or "/shared" prefixes from the get-go but for the
sake of not breaking users' workflow put this behind a flag.

lib-mail: test-message-search - Avoid static analyzer warnings about NULL pointers

dsync: Add assert to help static analyzers

cassandra: Fix error handling on SSL initialization failure

lib: istream-file,ostream-file - Mark close failure as unlikely

File descriptor close failure is unlikely to happen.

lib: istream-file,ostream-file - Ignore ECONNRESET

This happens e.g. on FreeBSD when closing a socket that has not been
fully flushed to client. Since we can't do anything about that,
we might as well just ignore it.

lib: fd-util - Ignore ECONNRESET when closing fd

This happens e.g. on FreeBSD when closing a socket that has not been
fully flushed to client. Since we can't do anything about that,
we might as well just ignore it.