lib-storage: mailbox_list_default_get_storage_name() - Cleanup shared namespace root handling

lib-storage: Split off mailbox_list_vname_prepare()

This also slightly changes the code logic. mailbox_list_escape_name() is
now called also for INBOX, but that doesn't actually matter.

lib-storage: Remove mailbox_list_unescape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Remove mailbox_list_escape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Add unit tests for mailbox_list_default_get_{storage_name|vname}()

lib-storage: Rename mailbox_list_settings.broken_char to vname_escape_char

This clarifies that it's only used in vnames.

lib-storage: Rename mailbox_list_settings.escape_char to storage_name_escape_char

This clarifies that it's only used in storage_names.

lib-imap: Add imap_utf7_to_utf8_escaped() and imap_escaped_utf8_to_utf7()

These can be used to convert invalid mUTF-7 to escaped UTF-8 and back to the
original invalid input.

lib-imap: test-imap-utf7 - Simplify test_imap_utf7_non_utf16()

lib-imap: Move unnecessary shift check to mbase64_decode_to_utf8()

lib-imap: test-imap-utf7 - Improve/clarify testing '&'

& is never base64-encoded.

config: Add unit test for config parser

config: Extract sources to libconfig.la

Makes unit testing possible

lib-settings: test-settings - Add tests for settings file

test-settings-parser: Add test for size

lib-settings: test-settings-parser - Add test for settings parser

lib-settings: Add support for $ENV:name

Expands into given environment variable

config: Add support for $ENV:name

Expands into given environment variable

config: Expand multiple variables per line

Needed to properly support environment variables.

config: config-parser - Add config_write_keyvariable

Move code handling key variable expansion to separate function.
Simplifies next commit.

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make dlua_push_mail() take lua_State * directly

lib-storage: Make dlua_push_mail_user() take lua_State * directly

lib-storage: Make lua_storage_cmp() take lua_State * directly

lib-storage: Make lua_check_storage_mailbox() take lua_State * directly

lib-storage: Make dlua_push_mailbox() take lua_State * directly

master: Send instance_name setting to log process

This way log process can use it for syslog ident

cassandra: Fix logging messages with LFs

At least some trace level messages had them.

m4: Fix configuration of libunwind on i386 (and probably other systems).

Use the standard libunwind-coredump instead of the system-dependent library.
This way, all can be configured using pkg-config, without relying on a failed
attempt to use the $build_cpu variable to find the system-dependent library.
This fails on i386 and probably other systems as well.

lib-imap: imap_bodystructure_write() - Add asserts to check unexpected NULLs inside lists

This just changes the assert that already triggers into a bit clearer
assert.

lib-imap: Add unit test for invalid BODYSTRUCTUREs

lib-imap: imap_arg_get/as_nstring() - fail if input is an atom

Atoms were wrongly allowed in these places.

These have been used in very few places, so this change should be pretty
safe to do. The only affected places are:

 * SETMETADATA - Backwards compatibility preserved by earlier commit
 * ID - It's not expected that any clients use atoms here
 * imapc - Server replies are parsed more strictly now

lib-imap: Don't wrongly accept NILs or atoms when parsing BODYSTRUCTURE

Especially NILs could cause crashes later on when some internal field is
NULL when it's not expectedly to be.

Fixes a crash when parsing BODYSTRUCTURE and writing it out with
imap_bodystructure_write() when some of the parameter lists contained NILs.

lib-imap: imap_body_parse_from_bodystructure() - Write size field as atom

Following changes will break writing it as nstring.

imap: SETMETADATA - Explicitly support using atoms for values

Required to keep atoms working (and especially not assert-crashing) after
the following imap_arg_get_nstring() change.

lib: event-filter - Implement event_filter_merge() unit test

lib: event-filter - Use p_strdup() instead of p_strdup_empty() to avoid NULLs

The code used p_strdup_empty() in an (incorrect) attempt to avoid NULLs
turning into empty strings ("").  None of the strdup variants do this.
However, p_strdup_empty() converts empty strings to NULLs.  This caused a
NULL pointer dereference later on.

lib: test-lib - Free event filters

Fixes memory leak

Forgotten from 01ccf687d660331ca3e483c90582156757cebb7f

lib: event-filter - Implement filter boolean expression unit tests

This is a exhaustive test of the boolean operators using field equality
comparisons.  This test code focuses on the boolean operators (AND, OR,
NOT) and not on the comparison operators (=, <, >, <=, and >=) and their
arguments (event names, source locations, categories).

lib: event-filter - Correct a comment referring to old filter syntax

lib: event-filter - Add a helper function to get at the filter's boolean expression

This is necessary for the soon-to-be-implemented unit tests.

lib: event-filter - Expose internal functions to allow for unit testing

We'll need these to avoid code duplication when unit testing the boolean
expression evaluation logic.

lib: event-filter - Make NOT operator right associative and higher precedence

For example, consider the filter:

    event=* AND
    NOT event=foo AND
    NOT event=bar AND
    NOT event=baz

The "NOT" operator is supposed to be bound to the comparisons to the
immediate right.  That is, it supposed to be equivalent to:

    event=* AND
    (NOT event=foo) AND
    (NOT event=bar) AND
    (NOT event=baz)

Both of these should produce the following parse tree:

    AND
      AND
        AND
          EQ EVENT '*'
          NOT
            EQ EVENT 'foo'
        NOT
          EQ EVENT 'bar'
      NOT
        EQ EVENT 'baz'

Instead, before this commit, the NOTs were getting bound to the entire
sub-expression to the right.  Therefore, the original filter expression
was being parsed as if it were:

    event=* AND
    NOT (event=foo AND
         NOT (event=bar AND
              NOT event=baz))

Which produced the following parse tree:

    AND
      EQ EVENT '*'
      NOT
        AND
          EQ EVENT 'foo'
          NOT
            AND
              EQ EVENT 'bar'
              NOT
                EQ EVENT 'baz'

lib-test: fuzzer - Don't crash in targets without ioloop

auth: Makefile.am - Use $(LIBDOVECOT_LUA) instead of redefining it

auth: Fix building built-in lua

It was working only when building as plugin.

lib: test-buffer - Fix memory leak errors in fatal buffer tests

lib-test: Add test_fatal_set_callback()

lib-master: test-event-stats - Add test for large event id

Ensure UPDATE command syntax is correct when event id is over 1 million

indexer: Remove worker-specific request queue

- Each request is done in a single connection and indexer master disconnects
from worker after indexing job is complete.
- No need to keep a worker queue since it always have length of 1. Instead,
keep a pointer to indexer_request for each worker connection.
- If indexing is in progress for a user, don't try to use the same connection
when a new request arrives for the same user. Instead, move the request to the
back of the queue and wait for the in progress request to finish then
create a new connection and submit request to worker.

indexer: Cleanup idle_list from worker pool

- Indexer always disconnects from worker process, no need to keep a list
of idle processes.
- The callback already calls worker_pool_release_connection every time worker
updated percentage. Defer disconnecting from working to the callback.
It checks if the request is completed and destroys connection.

indexer: Disconnect from indexer-worker after each request

This allows indexer-worker to properly handle service configurations such as
service_count and idle_kill time.

lib: array - Make sure it assert-crashes if trying to add more than UINT_MAX elements

This is required, because array_count() returns unsigned int.

lib: Add buffer_create_dynamic_max()

lib: hash - Add assert to make sure hash table doesn't grow beyond UINT_MAX nodes

hash_table_count() returns unsigned int, so the node count can't be larger.
It's internally also tracked as unsigned int currently. It should be large
enough for all practical use cases.

auth: db-lua - Deref script in auth_lua_call_userdb_iterate_init() only once

auth: db-lua - Deref script in auth_lua_call_userdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_passdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_password_verify() only once

auth: db-lua - Make auth_lua_dovecot_auth_register() take lua_State * directly

auth: db-lua - Make auth_lua_auth_request_register() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup_finish() take lua_State * directly

auth: db-lua - Make auth_lua_export_passdb_table() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup() take lua_State * directly

auth: db-lua - Make auth_lua_export_userdb_table() take lua_State * directly

auth: db-lua - Make auth_lua_export_table() take lua_State * directly

auth: db-lua - Make auth_lua_push_auth_request() take lua_State * directly

auth: db-lua - Make lua methods and functions use the passed in lua_State * directly

auth: db-lua - Make auth_lua_check_auth_request() take lua_State * directly

lib-lua: Use dlua_register()

lib-lua: Add dlua_register()

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make lua_storage_mail_user_set_metadata_unset() take lua_State * directly

lib-storage: Make lua_check_storage_mail_user() take lua_State * directly

lib-storage: Make lua_check_storage_mail() take lua_State * directly

lib-lua: Make dlua_dump_stack() take lua_State * directly

lib-lua: Move dlua_dump_stack() prototype to private header

lib-lua: Make dlua_check_event() take lua_State * directly

lib-lua: Make dlua_push_event() take lua_State * directly

lib-lua: Move dlua_{check,push}_event() prototypes to private header

lib-lua: Make dlua_getdovecot() take lua_State * directly

lib-lua: Make dlua_setmembers() take lua_State * directly

lib-lua: Make lua methods and functions use the passed in lua_State * directly

lib-lua: Make dlua_push_event_passthrough() take lua_State * directly

lib-lua: Make dlua_check_event_passthrough() take lua_State * directly

lib-lua: Make dlua_event_log() take lua_State * directly

lib-lua: Make dlua_get_file_line() take lua_State * directly

lib-lua: Make DLUA_REQUIRE_ARGS*() take the lua_State * directly

This is the first in a series of commits that convert a number of functions
to pass around the lua_State pointer directly and to use it instead of using
the lua_State pointed to by the struct dlua_script.

This change is needed to eventually support the 'yield' functionality and
"sequential looking, but async behind the scenes" lua scripts.  To support
this, the C code needs to instantiate multiple lua_States and then operate
on the correct one - whichever one is passed back by the lua runtime.  This
lays the ground work for that.

imap: test-imap-client-hibernate - Remove dead assignment

util: dovecot-sysreport: Use "uname -n" instead of "hostname" for portability

hostname is not defined by POSIX, so not guaranteed to work.

lib-mail: mail-html2text: HTML entity lookup must be case-sensitive

HTML entities are case-sensitive.

lib-storage: Add unit test for mailbox-list error handling

This is exactly the same test as what mail-storage has for its error
handling.

lib-storage: test-mail-storage - Split overlong lines

lib-storage: Change mailbox_list_set_error/critical() to work the same as storage's

The storage ones had various fixes to different situations. Just make the
mailbox list ones exactly the same to get the same fixes.

lib-storage: mailbox_list_get_last_error() - Handle unexpected situations better

Change the logic to be similar as in mail_storage_get_last_error() if the
mail_error or error_string unexpectedly isn't set.

lib-storage: Detect corrupted mail size when calculating body size

When body size is calculated from message size - header size, make sure that
the message size is at least as large as the header size. Otherwise treat
the message size as corrupted.

stats: openmetrics: Do not duplicate counter and duration metrics for histograms

Histograms generate "_count" and "_sum" metrics either for each quantile or
for the whole distribution. This patch prevents creating a duplicate metric
with type counter which results in metric name collision.

stats: Make exported metrics compliant with OpenMetrics standards

Commit based on github PR: https://github.com/dovecot/core/pull/136

Fix issues raised by promtool and prometheus client library parser.
Cleanup and code fixes by Siavash Tavakoli.

indexer, auth: Set indexer-worker and auth-worker services' type=worker

lib-master, master: Add "worker" service type

The worker services are expected to reach their process_limit regularly.
There shouldn't be a warning logged about temporarily reaching the limit,
since it can happen due to race conditions.