mbox: Add mbox_[io]stream_set_syscall_error()

This allows logging the iostream-specific error rather than the more generic
errno.

lib-master: Fix haproxy PROXY protocol LOCAL type connection behavior when header includes address information or TLVs

PROXY protocol LOCAL type headers can actually include supplementary
information (addresses, TLVs) which need to be skipped to correctly handle the
header. Fixes Invalid TLV bug with haproxy 2.0.14 service checks.

More info here: https://github.com/haproxy/haproxy/issues/511
And here: https://www.mail-archive.com/haproxy@formilux.org/msg36890.html

lib: cpu-limit - Don't round current CPU usage up when checking if rlim_max is reached

The fatal error could trigger half a second too early.

Also always increase the provided cpu_limit_sec by 1 second to make sure it
won't trigger too early. Although even with this change it can still
trigger a few milliseconds too early for some reason.

lib: cpu-limit - Allow time comparisons to be more relaxed

This should fix random failures.

lib-storage: Fix assert-crash when parsing binary attachments

EOF may not have been detected in the cur_block istream early enough,
causing the calculation to go wrong. This happened at least with empty
base64 bodies, but could have possibly happened in other situations also.

Fixes:
Panic: file index-mail-binary.c: line 357 (blocks_count_lines): assertion failed: (block_count == 0 || block_idx+1 == block_count)

config: test-config-parser - Change filename to match .gitignore pattern

config: test-config-parser - Cleanup input file after test

acl: acl_lookup_dict_rebuild_update() - Commit transaction after each [un]set

When used with Cassandra an error can occur if multiple changes are
included into one transaction: "Multiple changes in transaction not
supported". Prevent these errors by committing every change on it's
own.

lib-storage: Fix assert-crash in shared namespace if storage has no directories

This allows using imapc with shared namespaces.

Fixes:
Panic: file mailbox-list.c: line 1419: unreached

acl: Add acl_ignore_namespace* settings

Ignore ACLs entirely for the listed namespaces. For example:

plugin {
  acl_ignore_namespace = virtual/
  acl_ignore_namespace2 = shared/*
}

util: health-check - Timeout the read via trap for POSIX shell compatibility

util: health-check - Consistent variable style

util: health-check - Made bash script compatible with dash shell

Makefile.am: fix typo and broken variable assignment

systemd integration: notify service manager when ready

With Type=simple or Type=forking, systemd does not really know when the
service is ready to accept connections and might start depending
services too early. Use Type=notify to explicitly tell the service
manager when the service is ready.

For a real problem caused by assuming readiness too early, please see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=951722

For the meaning of the service type and details of the readiness
protocol, see also the following links:
https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=
https://www.freedesktop.org/software/systemd/man/sd_notify.html

As discussed in the last link, more elaborate state notifications are
possible. This patch only implements the most basic part.

Original patch prepared by Michael Biebl, with slight modification.

lib: Add API for limiting CPU usage of subroutines.

lib: time-util - Add support for rounding off timeval to a time_t value.

lib: time-util - Add support for calculating the sum of two timeval values.

run-test-valgrind.supp: Add more suppressions

dsync: Add namespace prefixes to mailbox tree

Adds syncing selectable namespace prefixes, especially shared INBOXes with
"mail_shared_explicit_inbox=yes".

dsync: Check namespace prefix when syncing shared namespaces

When iterating over namespaces, comparing namespace pointers doesn't
work for shared namespaces. Instead, check the prefix and include all
the mailboxes in the namespace for syncing.

dsync: Don't send out of tree namespace parents for syncing

For namespaces prefixes with multiple hierarchical names, we shouldn't
send parents (i.e. first part/parts of the prefix) that are outside of syncing.

lib-storage: Cache mailbox's namespace prefix if selectable

If namespace prefix is a selectable mailbox, mailbox_guid_cache_refresh
should add it to cache.

lib-storage: Add mailbox_guid_cache_add_mailbox()

Refactored caching logic in mailbox_guid_cache_refresh to this new
function.

lib-storage: Add mail_namespace_prefix_is_inbox()

lib-storage: Skip private server attributes for shared inboxes

Private server attributes should be iterated only for user's own inbox.

lib-storage: mailbox-list-iter: Send delayed inbox after actually seeing the inbox

Control delayed inbox listing with a flag in ns_list_iterate_context.
Send only when the inbox is actually seen.

lib-index: Fix implicit integer truncation found by ubsan

lib-index: Avoid a duplicate "missing middle file seq" warning.

The previous changes fixed repeating warning, but it was still possible
that the warning was logged twice. Now it's logged only once.

lib-index: Change "missing middle file seq" error into warning

It's not really an error, but it has been useful in finding performance
problems. Possibly it should be changed into a named event at some point.

lib-index: view_sync_set_log_view_range() - Move error logging to parent

lib-index: Fix repetitive "missing middle file seq" error.

If a view keeps being synced with MAIL_INDEX_VIEW_SYNC_FLAG_NOEXPUNGES,
every sync regenerated the missing log files and logged this error.
This could have resulted in lots of errors being logged about it, as
well as unnecessary CPU usage.

The view syncing was always syncing from the last "expunge log position",
even when expunges weren't being synced. The new behavior is to do that
only when expunges are synced, but otherwise use the "head log position"
to sync only the new changes since the last view sync.

The error is now logged once when the log is first noticed being lost.
Another error is logged when pending expunges are synced.

m4: dovecot.m4 - Execute tests with libtool

This allows libtool to do all the necessary preparations
before test harness is used.

m4: dovecot.m4 - Find out and use absolute path to valgrind

lib-settings: test-settings-parser - Use ULL suffix

Some of the sizes do not fit to UL in 32 bit systems.

lib-compression: Remove xz/lzma write support

For now, we keep the read support to allow for a more gradual migration from
lzma/xz.

The code has bugs.  Additionally, there is no benefit in keeping it around.
bzip2 or zstd (at maximum compression level) are likely better choices for
archival.  For non-archival usecases, a light compression algorithm like
zstd (at low to medium compression level) or lz4 are better choices.

lib-mail: test-message-snippet - Add unit tests for multipart messages

lib-mail: test-message-snippet - Use test_assert_strcmp

Makes it easier to see what failed.

lib-mail: Reformat test-message-snippet.c

lib-mail: message-snippet - Stop building snippet on first non-empty part

When we have gotten some snippet out of first eligible part,
we can stop.

lib-mail: message-snippet - Do not stop on first non-text part

Some mail structures would break snippet generation because
the code would stop on multipart.

lib-mail: message-snippet - Free html parser before making new

If html parser has already been initialized, free it before restarting
the parser.

Fixes memory leak introduced by 7f7be2cbf68f8a202a688d5bc50f82483d461643

stats: stats-service-openmetrics - Use PRIdTIME_T for startup time

login: login-proxy - Fix type conflict

lib-mail: test-message-header-decode - Use ptrdiff_t for rep_char_len

The length is compared to a pointer difference, so using ptrdiff_t
squashes a warning.

lib-settings: test-setting-parser - Use correct type in test

SIZE uses uoff_t.

lib: backtrace - Use correct format modifier

Matches size_t correctly.

lib: test-time-util - Use correct types for test case

Fixes type mismatch on 32-bit systems.

master: Fix reopening log files on SIGUSR1

man: Clarify how doveadm log reopen works

dovecot.service.in: Update documentation URL

lib-master: test-event-stats - Fix unit test when compiling using build directory

When using build directory __FILE__ expands to
"../../../src/lib-master/test-event-stats.c", which doesn't match
"test-event-stats.c" what is normally used.

lib-master: test-event-stats - Cast test value to uint64_t

lib: Fix timeval_cmp_margin for 32-bit systems

The test suite compares times with seconds values of -INT_MAX and
INT_MAX. The result of this comparison does not fit in a value of
type int and so the test suite fails on 32-bit systems where time_t
is an int. To fix this, calculations on seconds values are done
using long long integers.

Broken by 16ab5542

dsync: Use a better default vname escape character

A control character was a bit unreadable in strings.

dsync: Replace escape characters in outgoing mailbox names with alt_char

Especially when dsync is used for migration, we don't want to end up having
invalid mUTF7 mailbox names locally. Also, remote might not even be
configured to use the same escape character.

dsync: Send alt_char also to slave brain

lib-storage: mailbox_list_escape_name_params() - Assert that escape_char isn't NUL

imapc: Add comment explaining various mailbox names

imapc: fs mailbox_list - Remove vname_escape_char

This isn't necessary.

imapc: Add IMAPC_LIST_FS_NAME_ESCAPE_CHAR

This clarifies how the escape characters are used.

imapc: Add a default vname_escape_char

Having vname_escape_char guarantees that all the remote mailbox names are
accessible by escaping them as necessary.

imapc: Fix local filesystem directory name escaping

Use the remote mailbox name as the base. Convert the hierarchy separator
and add escaping as necessary.

The old method was based on storage_name, and it's a bit unclear if it
worked correctly in all situations.

imapc: Add imapc_list_remote_to_storage_name()

imapc: Fix remote/storage mailbox name mismatches

imapc: Use more explicit mailbox name variable names

Clearly specify which type of a mailbox name it is to avoid
misunderstandings.

imapc: Rename imapc_list_get_fs_name() to imapc_list_storage_to_fs_name()

imapc: Rename imapc_list_to_vname() to imapc_list_remote_to_vname()

imapc: Rename imapc_list_to_remote() to imapc_list_storage_to_remote_name()

lib-storage: mailbox_list_default_get_storage_name() - Escape ns_prefix/INBOX if possible

If storage_name_escape_char is set, escape the "I" letter in the
storage_name if the namespace also has inbox=yes. This way it's possible to
distinguish between the actual INBOX and ns_prefix/INBOX.

lib-storage: Update mailbox_list_settings.{vname|storage_name}_escape_char comments

Also add the examples in the comments to unit tests to make sure they really
work.

lib-storage: Fix mailbox name escape/unescape ordering

This fixes some cases like not properly escaping '/' in storage_name if it
was also the namespace separator. This also allows using the same character
for both vname_escape_char and storage_name_escape_char.

lib-storage: mailbox_list_default_get_vname() - Fix escaping namespace separator in storage_name

For example if { storage_name="foo/bar", storage_sep=".", ns_sep="/" }
the "/" in the name shouldn't be treated as a namespace separator.
If vname_escape_char is set, it should be returned escaped instead.

lib-storage: Use imap_escaped_utf8_to_utf7()

lib-storage: Use imap_escaped_utf8_hex_to_char()

lib-storage: Use mailbox_list_settings.vname_escape_char also with utf8 storage names

mailbox_list_default_get_storage_name() was already unescaping with utf8,
so mailbox_list_default_get_vname() should also be escaping with utf8.

lib-storage: mailbox_list_default_get_vname() - Use imap_utf7_to_utf8_escaped()

This changes the output a bit for broken mUTF7 names. Previously if any
part of the string had broken mUTF7 input, none of it was converted.
Now it's instead trying to convert as much as it can.

lib-storage: mailbox_list_default_get_vname() - Escape each hierarchical name separately

Same reasoning as for the similar change for
mailbox_list_default_get_storage_name().

lib-storage: Split off mailbox_list_storage_name_prepare()

lib-storage: mailbox_list_default_get_storage_name() - Escape each hierarchical name separately

This makes it possible in the following commits to allow unescaping to
write namespace hierarchy separator character without converting it into
the mailbox_list separator.

lib-storage: mailbox_list_default_get_storage_name() - Cleanup shared namespace root handling

lib-storage: Split off mailbox_list_vname_prepare()

This also slightly changes the code logic. mailbox_list_escape_name() is
now called also for INBOX, but that doesn't actually matter.

lib-storage: Remove mailbox_list_unescape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Remove mailbox_list_escape_name() by moving its code inline

There was only a single caller for this function. It doesn't need to exist.

lib-storage: Add unit tests for mailbox_list_default_get_{storage_name|vname}()

lib-storage: Rename mailbox_list_settings.broken_char to vname_escape_char

This clarifies that it's only used in vnames.

lib-storage: Rename mailbox_list_settings.escape_char to storage_name_escape_char

This clarifies that it's only used in storage_names.

lib-imap: Add imap_utf7_to_utf8_escaped() and imap_escaped_utf8_to_utf7()

These can be used to convert invalid mUTF-7 to escaped UTF-8 and back to the
original invalid input.

lib-imap: test-imap-utf7 - Simplify test_imap_utf7_non_utf16()

lib-imap: Move unnecessary shift check to mbase64_decode_to_utf8()

lib-imap: test-imap-utf7 - Improve/clarify testing '&'

& is never base64-encoded.

config: Add unit test for config parser

config: Extract sources to libconfig.la

Makes unit testing possible

lib-settings: test-settings - Add tests for settings file

test-settings-parser: Add test for size

lib-settings: test-settings-parser - Add test for settings parser

lib-settings: Add support for $ENV:name

Expands into given environment variable

config: Add support for $ENV:name

Expands into given environment variable

config: Expand multiple variables per line

Needed to properly support environment variables.

config: config-parser - Add config_write_keyvariable

Move code handling key variable expansion to separate function.
Simplifies next commit.