configure: Remove useless checks for luajit

At one point, we considered supporting LuaJIT.  While it turned out to be
not worth it, the prototype removal accidentally left checks in the
configure file.

global: dict_iterate_deinit(NULL) is a no-op

lib-dict: Make dict_iterate_deinit(NULL) a no-op

global: dict_transaction_rollback(NULL) is a no-op

lib-dict: Make dict_transaction_rollback(NULL) a no-op

fts: Replace generic "transaction context" error with more specific ones

fts: Fix mail_precache() and related error handling

The mail_precache() caller is now expected to stop on error, so there's
no need for fts to stop the search internally anymore. And similarly
the caller will log the mail_precache() error so the search or
transaction don't need to fail.

ft->failed is now used only for failures that are more specific to the
transaction.

fts: Use storage error logging when possible

Use mail_storage_set_internal_error() only when it's required, because it
loses the internal error string in storage.

lib-fts, fts: fts_language_detect() - Return error string instead of logging it

indexer: Include "attempted to index ... messages" also in all error messages

After the following changes search or transaction won't always fail anymore.

global: Handle mail_precache() errors

lib-storage: Change mail_precache() API to allow returning an error

Makefile: Always include dovecot.socket and dovecot.service

lib-master: Always import systemd related variables with systemd

Otherwise it is too easy to break systemd integration by forgetting
these from import_environment.

master: Improve systemd integration

master: Use libsystemd instead of local source

master: service-listen - Use dovecot coding standard for systemd code

lib-imap-client: Add asserts to make sure running commands always have a timeout

lib-imap-client: Don't remove global command timeouts when mailbox is unselected

lib-imap-client: Fix busy-loop if server disconnects too early when trying to logout

This can happen if:
 * imapc sends NOOP to break idle
 * remote server sends BYE, but doesn't immediately disconnect
 * session is stopped, which causes imapc to attempt to send LOGOUT
 * imapc waits for NOOP response first
 * remote server disconnects
 * imapc notices the disconnection, but does nothing with it, because it
   thinks it's already handled. This keeps busy-looping.
 * If there was a mailbox selected, this results in infinite busy-loop. If a
   mailbox wasn't selected, imapc_cmd_timeout aborts the NOOP command.

lib-mail: message-parser - Always properly finish parsed input

If the caller hadn't called message_parser_parse_next_block() after
seeing EOF in the istream, the deinit could have crashed with:

Panic: file message-parser.c: line 802 (message_parser_deinit_from_parts): assertion failed: (ctx->nested_parts_count == 0 || i_stream_have_bytes_left(ctx->input))

lib: io_loop_context_new() - Fix memory leak

Broken by fea09a415cf89223d8b17c5982257c9b3c357cbc

login-common: Fix implicit integer conversions when connect timeout is reached

lmtp: Fix log prefix when autoexpunge is running

The username was missing from the log prefix.

lib: io_loop_context_new() no longer implicitly activates the context

The new behavior requires explicitly activating the context. This change
was needed, because an implicit creation activated the context but didn't
call any of the callbacks. If ioloop wasn't run, the activation callbacks
were never called. This meant that when context was deactivated, the
deactivation callbacks weren't run either.

lib-storage: Replace i_error() and i_warning() with e_error() and e_warning()

This changes only the generic code. The driver-specific code still needs
changing.

lib-storage: test-mailbox-list - Initialize namespace, user and event

Required by the following change.

lib-storage: mail-duplicate - Replace i_error() with e_error()

lib-storage: Add functions to get log prefixes

This changes the log prefixes to be stored even when
MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT is used.

lib-storage: Initialize service_user's logging before creating ioloop context

Needed by the next change.

lib-storage: Add PID to the default log prefix

doc/example: 10-metrics.conf - Add metrics related settings

doc/eaxmple: 10-logging.conf - Update syntax example to point to online documentation

lib: event_get_last_duration() - Change it to return uintmax_t

It can't be negative, so unsigned return value makes more sense.
Also clarify the function comment and parameter name.

stats: openmetrics: Do microsecond to seconds conversion only for duration values

Other metrics should be exported with their values unchanged.

stats: openmentrics: Change histogram bucket unit to seconds

In ae678116a79fff609cdf4fb1eb7eb3db2975bf1c the unit of durations was changed
from microseconds to seconds, but the `le` field in histograms is still in
microseconds.

stats: refactor duration field name into a macro

lib-master: If config reading via doveconf exec fails, show details in the error

lib-master: Reset master_service.config_path_from_master if -c parameter is used

This doesn't fix anything currently, but clarifies the behavior and
is needed by the following commit.

plugins: fts-solr: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

plugins: fts: tika: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

lib: test-cpu-limit - Increase ALLOW_MSECS_BELOW to 500ms

The test still randomly failed with 100ms. Maybe 500ms is enough?

lib: test-cpu-limit - Use test_assert_cmp()

lib-test: Add test_assert_ucmp[_idx]()

These are the unsigned versions of test_assert_cmp*()

lib-test: Add test_assert_cmp[_idx]()

Similar to test_assert_strcmp() but for numbers: If the comparison fails,
print the values and the used operator.

acl: acl_lookup_dict_rebuild_update()

Initialize dict_transaction_context *dt with NULL. Due to the changes
done in bfa7433bfcf538af7c4fdafe37a88bde6508c751 dt could be used
uninitialized.

Makefile.am: Don't delete dovecot.socket in make clean

Broken by 0650928f3e3728911d6bcea4daf743df02ec1b3d

imap: Fix PREVIEW behavior to support RFC 8970

mbox: Fix potentially logging read error when there was no error

Broken by 959385969388b2d4f6d3d0218fa175481cb46c8a

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

doveadm: Avoid duplicate error logging with doveadm_print_istream()

lib-compression, global: Remove support for implicit error logging

doveadm zlibconnect: Avoid duplicate error logging

The istream errors are already logged with i_fatal(). There's no need for a
duplicate error.

doveadm dump -t imapzlib: Explicitly log compress istream errors

zlib: Remove extra error logging for istream failures

The error will nowadays be logged as the istream error anyway.

mbox: istream-raw-mbox - Log parent istream read errors

mbox: Use mbox_ostream_set_syscall_error()

mbox: Use mbox_istream_set_syscall_error()

mbox: Add mbox_[io]stream_set_syscall_error()

This allows logging the iostream-specific error rather than the more generic
errno.

lib-master: Fix haproxy PROXY protocol LOCAL type connection behavior when header includes address information or TLVs

PROXY protocol LOCAL type headers can actually include supplementary
information (addresses, TLVs) which need to be skipped to correctly handle the
header. Fixes Invalid TLV bug with haproxy 2.0.14 service checks.

More info here: https://github.com/haproxy/haproxy/issues/511
And here: https://www.mail-archive.com/haproxy@formilux.org/msg36890.html

lib: cpu-limit - Don't round current CPU usage up when checking if rlim_max is reached

The fatal error could trigger half a second too early.

Also always increase the provided cpu_limit_sec by 1 second to make sure it
won't trigger too early. Although even with this change it can still
trigger a few milliseconds too early for some reason.

lib: cpu-limit - Allow time comparisons to be more relaxed

This should fix random failures.

lib-storage: Fix assert-crash when parsing binary attachments

EOF may not have been detected in the cur_block istream early enough,
causing the calculation to go wrong. This happened at least with empty
base64 bodies, but could have possibly happened in other situations also.

Fixes:
Panic: file index-mail-binary.c: line 357 (blocks_count_lines): assertion failed: (block_count == 0 || block_idx+1 == block_count)

config: test-config-parser - Change filename to match .gitignore pattern

config: test-config-parser - Cleanup input file after test

acl: acl_lookup_dict_rebuild_update() - Commit transaction after each [un]set

When used with Cassandra an error can occur if multiple changes are
included into one transaction: "Multiple changes in transaction not
supported". Prevent these errors by committing every change on it's
own.

lib-storage: Fix assert-crash in shared namespace if storage has no directories

This allows using imapc with shared namespaces.

Fixes:
Panic: file mailbox-list.c: line 1419: unreached

acl: Add acl_ignore_namespace* settings

Ignore ACLs entirely for the listed namespaces. For example:

plugin {
  acl_ignore_namespace = virtual/
  acl_ignore_namespace2 = shared/*
}

util: health-check - Timeout the read via trap for POSIX shell compatibility

util: health-check - Consistent variable style

util: health-check - Made bash script compatible with dash shell

Makefile.am: fix typo and broken variable assignment

systemd integration: notify service manager when ready

With Type=simple or Type=forking, systemd does not really know when the
service is ready to accept connections and might start depending
services too early. Use Type=notify to explicitly tell the service
manager when the service is ready.

For a real problem caused by assuming readiness too early, please see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=951722

For the meaning of the service type and details of the readiness
protocol, see also the following links:
https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=
https://www.freedesktop.org/software/systemd/man/sd_notify.html

As discussed in the last link, more elaborate state notifications are
possible. This patch only implements the most basic part.

Original patch prepared by Michael Biebl, with slight modification.

lib: Add API for limiting CPU usage of subroutines.

lib: time-util - Add support for rounding off timeval to a time_t value.

lib: time-util - Add support for calculating the sum of two timeval values.

run-test-valgrind.supp: Add more suppressions

dsync: Add namespace prefixes to mailbox tree

Adds syncing selectable namespace prefixes, especially shared INBOXes with
"mail_shared_explicit_inbox=yes".

dsync: Check namespace prefix when syncing shared namespaces

When iterating over namespaces, comparing namespace pointers doesn't
work for shared namespaces. Instead, check the prefix and include all
the mailboxes in the namespace for syncing.

dsync: Don't send out of tree namespace parents for syncing

For namespaces prefixes with multiple hierarchical names, we shouldn't
send parents (i.e. first part/parts of the prefix) that are outside of syncing.

lib-storage: Cache mailbox's namespace prefix if selectable

If namespace prefix is a selectable mailbox, mailbox_guid_cache_refresh
should add it to cache.

lib-storage: Add mailbox_guid_cache_add_mailbox()

Refactored caching logic in mailbox_guid_cache_refresh to this new
function.

lib-storage: Add mail_namespace_prefix_is_inbox()

lib-storage: Skip private server attributes for shared inboxes

Private server attributes should be iterated only for user's own inbox.

lib-storage: mailbox-list-iter: Send delayed inbox after actually seeing the inbox

Control delayed inbox listing with a flag in ns_list_iterate_context.
Send only when the inbox is actually seen.

lib-index: Fix implicit integer truncation found by ubsan

lib-index: Avoid a duplicate "missing middle file seq" warning.

The previous changes fixed repeating warning, but it was still possible
that the warning was logged twice. Now it's logged only once.

lib-index: Change "missing middle file seq" error into warning

It's not really an error, but it has been useful in finding performance
problems. Possibly it should be changed into a named event at some point.

lib-index: view_sync_set_log_view_range() - Move error logging to parent

lib-index: Fix repetitive "missing middle file seq" error.

If a view keeps being synced with MAIL_INDEX_VIEW_SYNC_FLAG_NOEXPUNGES,
every sync regenerated the missing log files and logged this error.
This could have resulted in lots of errors being logged about it, as
well as unnecessary CPU usage.

The view syncing was always syncing from the last "expunge log position",
even when expunges weren't being synced. The new behavior is to do that
only when expunges are synced, but otherwise use the "head log position"
to sync only the new changes since the last view sync.

The error is now logged once when the log is first noticed being lost.
Another error is logged when pending expunges are synced.

m4: dovecot.m4 - Execute tests with libtool

This allows libtool to do all the necessary preparations
before test harness is used.

m4: dovecot.m4 - Find out and use absolute path to valgrind

lib-settings: test-settings-parser - Use ULL suffix

Some of the sizes do not fit to UL in 32 bit systems.

lib-compression: Remove xz/lzma write support

For now, we keep the read support to allow for a more gradual migration from
lzma/xz.

The code has bugs.  Additionally, there is no benefit in keeping it around.
bzip2 or zstd (at maximum compression level) are likely better choices for
archival.  For non-archival usecases, a light compression algorithm like
zstd (at low to medium compression level) or lz4 are better choices.

lib-mail: test-message-snippet - Add unit tests for multipart messages

lib-mail: test-message-snippet - Use test_assert_strcmp

Makes it easier to see what failed.

lib-mail: Reformat test-message-snippet.c

lib-mail: message-snippet - Stop building snippet on first non-empty part

When we have gotten some snippet out of first eligible part,
we can stop.

lib-mail: message-snippet - Do not stop on first non-text part

Some mail structures would break snippet generation because
the code would stop on multipart.

lib-mail: message-snippet - Free html parser before making new

If html parser has already been initialized, free it before restarting
the parser.

Fixes memory leak introduced by 7f7be2cbf68f8a202a688d5bc50f82483d461643