lib-storage: Replace i_error() and i_warning() with e_error() and e_warning()

This changes only the generic code. The driver-specific code still needs
changing.

lib-storage: test-mailbox-list - Initialize namespace, user and event

Required by the following change.

lib-storage: mail-duplicate - Replace i_error() with e_error()

lib-storage: Add functions to get log prefixes

This changes the log prefixes to be stored even when
MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT is used.

lib-storage: Initialize service_user's logging before creating ioloop context

Needed by the next change.

lib-storage: Add PID to the default log prefix

doc/example: 10-metrics.conf - Add metrics related settings

doc/eaxmple: 10-logging.conf - Update syntax example to point to online documentation

lib: event_get_last_duration() - Change it to return uintmax_t

It can't be negative, so unsigned return value makes more sense.
Also clarify the function comment and parameter name.

stats: openmetrics: Do microsecond to seconds conversion only for duration values

Other metrics should be exported with their values unchanged.

stats: openmentrics: Change histogram bucket unit to seconds

In ae678116a79fff609cdf4fb1eb7eb3db2975bf1c the unit of durations was changed
from microseconds to seconds, but the `le` field in histograms is still in
microseconds.

stats: refactor duration field name into a macro

lib-master: If config reading via doveconf exec fails, show details in the error

lib-master: Reset master_service.config_path_from_master if -c parameter is used

This doesn't fix anything currently, but clarifies the behavior and
is needed by the following commit.

plugins: fts-solr: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

plugins: fts: tika: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

lib: test-cpu-limit - Increase ALLOW_MSECS_BELOW to 500ms

The test still randomly failed with 100ms. Maybe 500ms is enough?

lib: test-cpu-limit - Use test_assert_cmp()

lib-test: Add test_assert_ucmp[_idx]()

These are the unsigned versions of test_assert_cmp*()

lib-test: Add test_assert_cmp[_idx]()

Similar to test_assert_strcmp() but for numbers: If the comparison fails,
print the values and the used operator.

acl: acl_lookup_dict_rebuild_update()

Initialize dict_transaction_context *dt with NULL. Due to the changes
done in bfa7433bfcf538af7c4fdafe37a88bde6508c751 dt could be used
uninitialized.

Makefile.am: Don't delete dovecot.socket in make clean

Broken by 0650928f3e3728911d6bcea4daf743df02ec1b3d

imap: Fix PREVIEW behavior to support RFC 8970

mbox: Fix potentially logging read error when there was no error

Broken by 959385969388b2d4f6d3d0218fa175481cb46c8a

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

doveadm: Avoid duplicate error logging with doveadm_print_istream()

lib-compression, global: Remove support for implicit error logging

doveadm zlibconnect: Avoid duplicate error logging

The istream errors are already logged with i_fatal(). There's no need for a
duplicate error.

doveadm dump -t imapzlib: Explicitly log compress istream errors

zlib: Remove extra error logging for istream failures

The error will nowadays be logged as the istream error anyway.

mbox: istream-raw-mbox - Log parent istream read errors

mbox: Use mbox_ostream_set_syscall_error()

mbox: Use mbox_istream_set_syscall_error()

mbox: Add mbox_[io]stream_set_syscall_error()

This allows logging the iostream-specific error rather than the more generic
errno.

lib-master: Fix haproxy PROXY protocol LOCAL type connection behavior when header includes address information or TLVs

PROXY protocol LOCAL type headers can actually include supplementary
information (addresses, TLVs) which need to be skipped to correctly handle the
header. Fixes Invalid TLV bug with haproxy 2.0.14 service checks.

More info here: https://github.com/haproxy/haproxy/issues/511
And here: https://www.mail-archive.com/haproxy@formilux.org/msg36890.html

lib: cpu-limit - Don't round current CPU usage up when checking if rlim_max is reached

The fatal error could trigger half a second too early.

Also always increase the provided cpu_limit_sec by 1 second to make sure it
won't trigger too early. Although even with this change it can still
trigger a few milliseconds too early for some reason.

lib: cpu-limit - Allow time comparisons to be more relaxed

This should fix random failures.

lib-storage: Fix assert-crash when parsing binary attachments

EOF may not have been detected in the cur_block istream early enough,
causing the calculation to go wrong. This happened at least with empty
base64 bodies, but could have possibly happened in other situations also.

Fixes:
Panic: file index-mail-binary.c: line 357 (blocks_count_lines): assertion failed: (block_count == 0 || block_idx+1 == block_count)

config: test-config-parser - Change filename to match .gitignore pattern

config: test-config-parser - Cleanup input file after test

acl: acl_lookup_dict_rebuild_update() - Commit transaction after each [un]set

When used with Cassandra an error can occur if multiple changes are
included into one transaction: "Multiple changes in transaction not
supported". Prevent these errors by committing every change on it's
own.

lib-storage: Fix assert-crash in shared namespace if storage has no directories

This allows using imapc with shared namespaces.

Fixes:
Panic: file mailbox-list.c: line 1419: unreached

acl: Add acl_ignore_namespace* settings

Ignore ACLs entirely for the listed namespaces. For example:

plugin {
  acl_ignore_namespace = virtual/
  acl_ignore_namespace2 = shared/*
}

util: health-check - Timeout the read via trap for POSIX shell compatibility

util: health-check - Consistent variable style

util: health-check - Made bash script compatible with dash shell

Makefile.am: fix typo and broken variable assignment

systemd integration: notify service manager when ready

With Type=simple or Type=forking, systemd does not really know when the
service is ready to accept connections and might start depending
services too early. Use Type=notify to explicitly tell the service
manager when the service is ready.

For a real problem caused by assuming readiness too early, please see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=951722

For the meaning of the service type and details of the readiness
protocol, see also the following links:
https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=
https://www.freedesktop.org/software/systemd/man/sd_notify.html

As discussed in the last link, more elaborate state notifications are
possible. This patch only implements the most basic part.

Original patch prepared by Michael Biebl, with slight modification.

lib: Add API for limiting CPU usage of subroutines.

lib: time-util - Add support for rounding off timeval to a time_t value.

lib: time-util - Add support for calculating the sum of two timeval values.

run-test-valgrind.supp: Add more suppressions

dsync: Add namespace prefixes to mailbox tree

Adds syncing selectable namespace prefixes, especially shared INBOXes with
"mail_shared_explicit_inbox=yes".

dsync: Check namespace prefix when syncing shared namespaces

When iterating over namespaces, comparing namespace pointers doesn't
work for shared namespaces. Instead, check the prefix and include all
the mailboxes in the namespace for syncing.

dsync: Don't send out of tree namespace parents for syncing

For namespaces prefixes with multiple hierarchical names, we shouldn't
send parents (i.e. first part/parts of the prefix) that are outside of syncing.

lib-storage: Cache mailbox's namespace prefix if selectable

If namespace prefix is a selectable mailbox, mailbox_guid_cache_refresh
should add it to cache.

lib-storage: Add mailbox_guid_cache_add_mailbox()

Refactored caching logic in mailbox_guid_cache_refresh to this new
function.

lib-storage: Add mail_namespace_prefix_is_inbox()

lib-storage: Skip private server attributes for shared inboxes

Private server attributes should be iterated only for user's own inbox.

lib-storage: mailbox-list-iter: Send delayed inbox after actually seeing the inbox

Control delayed inbox listing with a flag in ns_list_iterate_context.
Send only when the inbox is actually seen.

lib-index: Fix implicit integer truncation found by ubsan

lib-index: Avoid a duplicate "missing middle file seq" warning.

The previous changes fixed repeating warning, but it was still possible
that the warning was logged twice. Now it's logged only once.

lib-index: Change "missing middle file seq" error into warning

It's not really an error, but it has been useful in finding performance
problems. Possibly it should be changed into a named event at some point.

lib-index: view_sync_set_log_view_range() - Move error logging to parent

lib-index: Fix repetitive "missing middle file seq" error.

If a view keeps being synced with MAIL_INDEX_VIEW_SYNC_FLAG_NOEXPUNGES,
every sync regenerated the missing log files and logged this error.
This could have resulted in lots of errors being logged about it, as
well as unnecessary CPU usage.

The view syncing was always syncing from the last "expunge log position",
even when expunges weren't being synced. The new behavior is to do that
only when expunges are synced, but otherwise use the "head log position"
to sync only the new changes since the last view sync.

The error is now logged once when the log is first noticed being lost.
Another error is logged when pending expunges are synced.

m4: dovecot.m4 - Execute tests with libtool

This allows libtool to do all the necessary preparations
before test harness is used.

m4: dovecot.m4 - Find out and use absolute path to valgrind

lib-settings: test-settings-parser - Use ULL suffix

Some of the sizes do not fit to UL in 32 bit systems.

lib-compression: Remove xz/lzma write support

For now, we keep the read support to allow for a more gradual migration from
lzma/xz.

The code has bugs.  Additionally, there is no benefit in keeping it around.
bzip2 or zstd (at maximum compression level) are likely better choices for
archival.  For non-archival usecases, a light compression algorithm like
zstd (at low to medium compression level) or lz4 are better choices.

lib-mail: test-message-snippet - Add unit tests for multipart messages

lib-mail: test-message-snippet - Use test_assert_strcmp

Makes it easier to see what failed.

lib-mail: Reformat test-message-snippet.c

lib-mail: message-snippet - Stop building snippet on first non-empty part

When we have gotten some snippet out of first eligible part,
we can stop.

lib-mail: message-snippet - Do not stop on first non-text part

Some mail structures would break snippet generation because
the code would stop on multipart.

lib-mail: message-snippet - Free html parser before making new

If html parser has already been initialized, free it before restarting
the parser.

Fixes memory leak introduced by 7f7be2cbf68f8a202a688d5bc50f82483d461643

stats: stats-service-openmetrics - Use PRIdTIME_T for startup time

login: login-proxy - Fix type conflict

lib-mail: test-message-header-decode - Use ptrdiff_t for rep_char_len

The length is compared to a pointer difference, so using ptrdiff_t
squashes a warning.

lib-settings: test-setting-parser - Use correct type in test

SIZE uses uoff_t.

lib: backtrace - Use correct format modifier

Matches size_t correctly.

lib: test-time-util - Use correct types for test case

Fixes type mismatch on 32-bit systems.

master: Fix reopening log files on SIGUSR1

man: Clarify how doveadm log reopen works

dovecot.service.in: Update documentation URL

lib-master: test-event-stats - Fix unit test when compiling using build directory

When using build directory __FILE__ expands to
"../../../src/lib-master/test-event-stats.c", which doesn't match
"test-event-stats.c" what is normally used.

lib-master: test-event-stats - Cast test value to uint64_t

lib: Fix timeval_cmp_margin for 32-bit systems

The test suite compares times with seconds values of -INT_MAX and
INT_MAX. The result of this comparison does not fit in a value of
type int and so the test suite fails on 32-bit systems where time_t
is an int. To fix this, calculations on seconds values are done
using long long integers.

Broken by 16ab5542

dsync: Use a better default vname escape character

A control character was a bit unreadable in strings.

dsync: Replace escape characters in outgoing mailbox names with alt_char

Especially when dsync is used for migration, we don't want to end up having
invalid mUTF7 mailbox names locally. Also, remote might not even be
configured to use the same escape character.

dsync: Send alt_char also to slave brain

lib-storage: mailbox_list_escape_name_params() - Assert that escape_char isn't NUL

imapc: Add comment explaining various mailbox names

imapc: fs mailbox_list - Remove vname_escape_char

This isn't necessary.

imapc: Add IMAPC_LIST_FS_NAME_ESCAPE_CHAR

This clarifies how the escape characters are used.

imapc: Add a default vname_escape_char

Having vname_escape_char guarantees that all the remote mailbox names are
accessible by escaping them as necessary.

imapc: Fix local filesystem directory name escaping

Use the remote mailbox name as the base. Convert the hierarchy separator
and add escaping as necessary.

The old method was based on storage_name, and it's a bit unclear if it
worked correctly in all situations.

imapc: Add imapc_list_remote_to_storage_name()

imapc: Fix remote/storage mailbox name mismatches

imapc: Use more explicit mailbox name variable names

Clearly specify which type of a mailbox name it is to avoid
misunderstandings.

imapc: Rename imapc_list_get_fs_name() to imapc_list_storage_to_fs_name()