lib-settings: test-setting-parser - Use correct type in test

SIZE uses uoff_t.

lib: backtrace - Use correct format modifier

Matches size_t correctly.

lib: test-time-util - Use correct types for test case

Fixes type mismatch on 32-bit systems.

master: Fix reopening log files on SIGUSR1

man: Clarify how doveadm log reopen works

dovecot.service.in: Update documentation URL

lib-master: test-event-stats - Fix unit test when compiling using build directory

When using build directory __FILE__ expands to
"../../../src/lib-master/test-event-stats.c", which doesn't match
"test-event-stats.c" what is normally used.

lib-master: test-event-stats - Cast test value to uint64_t

lib: Fix timeval_cmp_margin for 32-bit systems

The test suite compares times with seconds values of -INT_MAX and
INT_MAX. The result of this comparison does not fit in a value of
type int and so the test suite fails on 32-bit systems where time_t
is an int. To fix this, calculations on seconds values are done
using long long integers.

Broken by 16ab5542

dsync: Use a better default vname escape character

A control character was a bit unreadable in strings.

dsync: Replace escape characters in outgoing mailbox names with alt_char

Especially when dsync is used for migration, we don't want to end up having
invalid mUTF7 mailbox names locally. Also, remote might not even be
configured to use the same escape character.

dsync: Send alt_char also to slave brain

lib-storage: mailbox_list_escape_name_params() - Assert that escape_char isn't NUL

imapc: Add comment explaining various mailbox names

imapc: fs mailbox_list - Remove vname_escape_char

This isn't necessary.

imapc: Add IMAPC_LIST_FS_NAME_ESCAPE_CHAR

This clarifies how the escape characters are used.

imapc: Add a default vname_escape_char

Having vname_escape_char guarantees that all the remote mailbox names are
accessible by escaping them as necessary.

imapc: Fix local filesystem directory name escaping

Use the remote mailbox name as the base. Convert the hierarchy separator
and add escaping as necessary.

The old method was based on storage_name, and it's a bit unclear if it
worked correctly in all situations.

imapc: Add imapc_list_remote_to_storage_name()

imapc: Fix remote/storage mailbox name mismatches

imapc: Use more explicit mailbox name variable names

Clearly specify which type of a mailbox name it is to avoid
misunderstandings.

imapc: Rename imapc_list_get_fs_name() to imapc_list_storage_to_fs_name()

imapc: Rename imapc_list_to_vname() to imapc_list_remote_to_vname()

imapc: Rename imapc_list_to_remote() to imapc_list_storage_to_remote_name()

lib-storage: mailbox_list_default_get_storage_name() - Escape ns_prefix/INBOX if possible

If storage_name_escape_char is set, escape the "I" letter in the
storage_name if the namespace also has inbox=yes. This way it's possible to
distinguish between the actual INBOX and ns_prefix/INBOX.

lib-storage: Update mailbox_list_settings.{vname|storage_name}_escape_char comments

Also add the examples in the comments to unit tests to make sure they really
work.

lib-storage: Fix mailbox name escape/unescape ordering

This fixes some cases like not properly escaping '/' in storage_name if it
was also the namespace separator. This also allows using the same character
for both vname_escape_char and storage_name_escape_char.

lib-storage: mailbox_list_default_get_vname() - Fix escaping namespace separator in storage_name

For example if { storage_name="foo/bar", storage_sep=".", ns_sep="/" }
the "/" in the name shouldn't be treated as a namespace separator.
If vname_escape_char is set, it should be returned escaped instead.

lib-storage: Use imap_escaped_utf8_to_utf7()

lib-storage: Use imap_escaped_utf8_hex_to_char()

lib-storage: Use mailbox_list_settings.vname_escape_char also with utf8 storage names

mailbox_list_default_get_storage_name() was already unescaping with utf8,
so mailbox_list_default_get_vname() should also be escaping with utf8.

lib-storage: mailbox_list_default_get_vname() - Use imap_utf7_to_utf8_escaped()

This changes the output a bit for broken mUTF7 names. Previously if any
part of the string had broken mUTF7 input, none of it was converted.
Now it's instead trying to convert as much as it can.

lib-storage: mailbox_list_default_get_vname() - Escape each hierarchical name separately

Same reasoning as for the similar change for
mailbox_list_default_get_storage_name().

lib-storage: Split off mailbox_list_storage_name_prepare()

lib-storage: mailbox_list_default_get_storage_name() - Escape each hierarchical name separately

This makes it possible in the following commits to allow unescaping to
write namespace hierarchy separator character without converting it into
the mailbox_list separator.

lib-storage: mailbox_list_default_get_storage_name() - Cleanup shared namespace root handling

lib-storage: Split off mailbox_list_vname_prepare()

This also slightly changes the code logic. mailbox_list_escape_name() is
now called also for INBOX, but that doesn't actually matter.

lib-storage: Remove mailbox_list_unescape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Remove mailbox_list_escape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Add unit tests for mailbox_list_default_get_{storage_name|vname}()

lib-storage: Rename mailbox_list_settings.broken_char to vname_escape_char

This clarifies that it's only used in vnames.

lib-storage: Rename mailbox_list_settings.escape_char to storage_name_escape_char

This clarifies that it's only used in storage_names.

lib-imap: Add imap_utf7_to_utf8_escaped() and imap_escaped_utf8_to_utf7()

These can be used to convert invalid mUTF-7 to escaped UTF-8 and back to the
original invalid input.

lib-imap: test-imap-utf7 - Simplify test_imap_utf7_non_utf16()

lib-imap: Move unnecessary shift check to mbase64_decode_to_utf8()

lib-imap: test-imap-utf7 - Improve/clarify testing '&'

& is never base64-encoded.

config: Add unit test for config parser

config: Extract sources to libconfig.la

Makes unit testing possible

lib-settings: test-settings - Add tests for settings file

test-settings-parser: Add test for size

lib-settings: test-settings-parser - Add test for settings parser

lib-settings: Add support for $ENV:name

Expands into given environment variable

config: Add support for $ENV:name

Expands into given environment variable

config: Expand multiple variables per line

Needed to properly support environment variables.

config: config-parser - Add config_write_keyvariable

Move code handling key variable expansion to separate function.
Simplifies next commit.

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make dlua_push_mail() take lua_State * directly

lib-storage: Make dlua_push_mail_user() take lua_State * directly

lib-storage: Make lua_storage_cmp() take lua_State * directly

lib-storage: Make lua_check_storage_mailbox() take lua_State * directly

lib-storage: Make dlua_push_mailbox() take lua_State * directly

master: Send instance_name setting to log process

This way log process can use it for syslog ident

cassandra: Fix logging messages with LFs

At least some trace level messages had them.

m4: Fix configuration of libunwind on i386 (and probably other systems).

Use the standard libunwind-coredump instead of the system-dependent library.
This way, all can be configured using pkg-config, without relying on a failed
attempt to use the $build_cpu variable to find the system-dependent library.
This fails on i386 and probably other systems as well.

lib-imap: imap_bodystructure_write() - Add asserts to check unexpected NULLs inside lists

This just changes the assert that already triggers into a bit clearer
assert.

lib-imap: Add unit test for invalid BODYSTRUCTUREs

lib-imap: imap_arg_get/as_nstring() - fail if input is an atom

Atoms were wrongly allowed in these places.

These have been used in very few places, so this change should be pretty
safe to do. The only affected places are:

 * SETMETADATA - Backwards compatibility preserved by earlier commit
 * ID - It's not expected that any clients use atoms here
 * imapc - Server replies are parsed more strictly now

lib-imap: Don't wrongly accept NILs or atoms when parsing BODYSTRUCTURE

Especially NILs could cause crashes later on when some internal field is
NULL when it's not expectedly to be.

Fixes a crash when parsing BODYSTRUCTURE and writing it out with
imap_bodystructure_write() when some of the parameter lists contained NILs.

lib-imap: imap_body_parse_from_bodystructure() - Write size field as atom

Following changes will break writing it as nstring.

imap: SETMETADATA - Explicitly support using atoms for values

Required to keep atoms working (and especially not assert-crashing) after
the following imap_arg_get_nstring() change.

lib: event-filter - Implement event_filter_merge() unit test

lib: event-filter - Use p_strdup() instead of p_strdup_empty() to avoid NULLs

The code used p_strdup_empty() in an (incorrect) attempt to avoid NULLs
turning into empty strings ("").  None of the strdup variants do this.
However, p_strdup_empty() converts empty strings to NULLs.  This caused a
NULL pointer dereference later on.

lib: test-lib - Free event filters

Fixes memory leak

Forgotten from 01ccf687d660331ca3e483c90582156757cebb7f

lib: event-filter - Implement filter boolean expression unit tests

This is a exhaustive test of the boolean operators using field equality
comparisons.  This test code focuses on the boolean operators (AND, OR,
NOT) and not on the comparison operators (=, <, >, <=, and >=) and their
arguments (event names, source locations, categories).

lib: event-filter - Correct a comment referring to old filter syntax

lib: event-filter - Add a helper function to get at the filter's boolean expression

This is necessary for the soon-to-be-implemented unit tests.

lib: event-filter - Expose internal functions to allow for unit testing

We'll need these to avoid code duplication when unit testing the boolean
expression evaluation logic.

lib: event-filter - Make NOT operator right associative and higher precedence

For example, consider the filter:

    event=* AND
    NOT event=foo AND
    NOT event=bar AND
    NOT event=baz

The "NOT" operator is supposed to be bound to the comparisons to the
immediate right.  That is, it supposed to be equivalent to:

    event=* AND
    (NOT event=foo) AND
    (NOT event=bar) AND
    (NOT event=baz)

Both of these should produce the following parse tree:

    AND
      AND
        AND
          EQ EVENT '*'
          NOT
            EQ EVENT 'foo'
        NOT
          EQ EVENT 'bar'
      NOT
        EQ EVENT 'baz'

Instead, before this commit, the NOTs were getting bound to the entire
sub-expression to the right.  Therefore, the original filter expression
was being parsed as if it were:

    event=* AND
    NOT (event=foo AND
         NOT (event=bar AND
              NOT event=baz))

Which produced the following parse tree:

    AND
      EQ EVENT '*'
      NOT
        AND
          EQ EVENT 'foo'
          NOT
            AND
              EQ EVENT 'bar'
              NOT
                EQ EVENT 'baz'

lib-test: fuzzer - Don't crash in targets without ioloop

auth: Makefile.am - Use $(LIBDOVECOT_LUA) instead of redefining it

auth: Fix building built-in lua

It was working only when building as plugin.

lib: test-buffer - Fix memory leak errors in fatal buffer tests

lib-test: Add test_fatal_set_callback()

lib-master: test-event-stats - Add test for large event id

Ensure UPDATE command syntax is correct when event id is over 1 million

indexer: Remove worker-specific request queue

- Each request is done in a single connection and indexer master disconnects
from worker after indexing job is complete.
- No need to keep a worker queue since it always have length of 1. Instead,
keep a pointer to indexer_request for each worker connection.
- If indexing is in progress for a user, don't try to use the same connection
when a new request arrives for the same user. Instead, move the request to the
back of the queue and wait for the in progress request to finish then
create a new connection and submit request to worker.

indexer: Cleanup idle_list from worker pool

- Indexer always disconnects from worker process, no need to keep a list
of idle processes.
- The callback already calls worker_pool_release_connection every time worker
updated percentage. Defer disconnecting from working to the callback.
It checks if the request is completed and destroys connection.

indexer: Disconnect from indexer-worker after each request

This allows indexer-worker to properly handle service configurations such as
service_count and idle_kill time.

lib: array - Make sure it assert-crashes if trying to add more than UINT_MAX elements

This is required, because array_count() returns unsigned int.

lib: Add buffer_create_dynamic_max()

lib: hash - Add assert to make sure hash table doesn't grow beyond UINT_MAX nodes

hash_table_count() returns unsigned int, so the node count can't be larger.
It's internally also tracked as unsigned int currently. It should be large
enough for all practical use cases.

auth: db-lua - Deref script in auth_lua_call_userdb_iterate_init() only once

auth: db-lua - Deref script in auth_lua_call_userdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_passdb_lookup() only once

auth: db-lua - Deref script in auth_lua_call_password_verify() only once

auth: db-lua - Make auth_lua_dovecot_auth_register() take lua_State * directly

auth: db-lua - Make auth_lua_auth_request_register() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup_finish() take lua_State * directly

auth: db-lua - Make auth_lua_export_passdb_table() take lua_State * directly

auth: db-lua - Make auth_lua_call_lookup() take lua_State * directly

auth: db-lua - Make auth_lua_export_userdb_table() take lua_State * directly