indexer: Convert indexer-worker log info to event

Emit an event named "indexer_worker_indexing_finished", with following
extra fields:
- message_count: Number of messages indexed
- first_uid: First uid of the message indexed
- last_uid: Last uid of the message indexed
- user_cpu_usecs: Total user mode cpu time spent on indexing

On successful indexing and on MAIL_ERROR_NOTFOUND error event is emitted
with "e_debug()", in other error situations event is emitted with "e_error()".

lib: lib-event: Add event_enable_user_cpu_usecs

- Add an internal rusage struct to events to keep track of resource usage.
- "event_enable_user_cpu_usecs()" enables "user_cpu_usecs" field for the event

If "user_cpu_usecs" field is enabled, user CPU time will be calculated
at the time of sending the event and will be added to event fields.

m4: want_lua - Fix Lua function checks

One has to use $LIBS variable to ensure libraries
come after conftest.c in configure.

Broken in af819cd2f43b8896d949a33f8099234ac57df6e5

lib-lua: Add table get helpers

lib-lua: Check for function presence instead of Lua version in compat code

lib-lua: Reorder compat luaL_{setfuncs,setmetatable}

Switch their order to keep them alphabetical.  This will make the header
changes in the next commit a little more consistent.

Additionally, fix up the coding style.

lib-lua: Move compat macros and prototypes to dlua-compat.h

Additionally, fix -Wstrict-bool issue in luaL_newmetatable() compatibility
wrapper.

lib-lua: Remove unused compatibility macros

These are never used since all supported Lua versions define
LUA_VERSION_NUM.

lib-lua: Implement a Lua 5.1 & 5.2 compatibility wrapper for lua_isinteger

m4: want_lua - Check for lua_isinteger

lib-lua: Implement a Lua 5.1 compatibility wrapper for lua_tointegerx

m4: want_lua - Check for lua_tointegerx

lib-smtp: test-smtp-client-errors - Amend early data reply test to verify that connection is still viable.

Some problems only surface when the connection is reused for the next command.
Before, the connection was terminated immediately after the transaction, which
hides such issues.

lib-smtp: smtp-client-connection - Hold reference to command that is sending a stream.

This fixes a panic:

Panic: file smtp-client-command.c: line 715 (smtp_client_command_do_send_more): assertion failed: (cmd->stream != NULL)

lib-smtp: smtp-client-command - Make smtp_client_command_unref() return TRUE when the object persists.

lib-smtp: smtp-client-command - Make smtp_client_command_unref(NULL) a no-op.

imap: Fix logging garbage if imap-hibernate sends invalid VERSION

lib-mail: mail-html2text - Fix character signedness type mismatch

Fixes ubsan complaints:
mail-html2text.c:186:12: runtime error: implicit conversion from type 'unsigned char' of value 226 (8-bit, unsigned) to type 'char' changed the value to -30 (8-bit, signed)

fts-tika: Don't fail indexing if Tika returns 5xx error

Broken by 8e1eaf849ce4668c0941338e3e3671db159da575, which changed 5xx to be
retried once before it was ignored. However, it accidentally changed the
second 5xx to return failure instead of being ignored.

pop3: Change IO context earlier while shutting down

This didn't practically cause any issues currently, but the new behavior
is more correct and future-proof.

imap: Fix using mail_log_prefix is used when client disconnects during server shutdown

submission: Fix using mail_log_prefix when client is disconnected due to server shutdown

dict-sql: Add more comments

dict-sql: Rename [extra_]values to pattern_values

dict-sql: Rename dict_sql_map.max_field_count to max_pattern_fields_count

dict-sql: Rename dict_sql_map.sql_fields to pattern_fields

dict-sql: Change char key1 to bool add_username

dict-sql: Simplify sql_dict_maps_are_mergeable() and add comments

lib: test-array - Use i_strcmp_p() instead of reimplementing it

dict-sql: Simplify set/inc flushing

Especially the *_real() function names were confusing.

dict-sql: Support merging multiple atomic_inc fields

dict-sql: Support merging multiple set fields

dict-sql: Keep trying to merge INSERT/UPDATE always to the previous key

Previously if the first two couldn't be merged, it would flush both.
Now it flushes only the first and attempts to merge the 2nd and 3rd.

dict-sql: Move prev_set_* and prev_inc_* to struct sql_dict_prev

lib-sql: driver-test - Use test_assert_strcmp()

lib-dict-backend: test-dict-sql - Use test_assert_strcmp*()

lib-fs: Add type safety to fs_file/iter_set_async_callback() callback context

lib-dict, global: Add type safety to dict_transaction_commit_async() callback context

lib-dict, quota: Add and use dict_transaction_commit_async_nocallback()

lib-dict, global: Add type safety to dict_iterate_set_async_callback() callback context

lib-dict, global: Add type safety to dict_lookup_async() callback context

configure: Remove useless checks for luajit

At one point, we considered supporting LuaJIT.  While it turned out to be
not worth it, the prototype removal accidentally left checks in the
configure file.

global: dict_iterate_deinit(NULL) is a no-op

lib-dict: Make dict_iterate_deinit(NULL) a no-op

global: dict_transaction_rollback(NULL) is a no-op

lib-dict: Make dict_transaction_rollback(NULL) a no-op

fts: Replace generic "transaction context" error with more specific ones

fts: Fix mail_precache() and related error handling

The mail_precache() caller is now expected to stop on error, so there's
no need for fts to stop the search internally anymore. And similarly
the caller will log the mail_precache() error so the search or
transaction don't need to fail.

ft->failed is now used only for failures that are more specific to the
transaction.

fts: Use storage error logging when possible

Use mail_storage_set_internal_error() only when it's required, because it
loses the internal error string in storage.

lib-fts, fts: fts_language_detect() - Return error string instead of logging it

indexer: Include "attempted to index ... messages" also in all error messages

After the following changes search or transaction won't always fail anymore.

global: Handle mail_precache() errors

lib-storage: Change mail_precache() API to allow returning an error

Makefile: Always include dovecot.socket and dovecot.service

lib-master: Always import systemd related variables with systemd

Otherwise it is too easy to break systemd integration by forgetting
these from import_environment.

master: Improve systemd integration

master: Use libsystemd instead of local source

master: service-listen - Use dovecot coding standard for systemd code

lib-imap-client: Add asserts to make sure running commands always have a timeout

lib-imap-client: Don't remove global command timeouts when mailbox is unselected

lib-imap-client: Fix busy-loop if server disconnects too early when trying to logout

This can happen if:
 * imapc sends NOOP to break idle
 * remote server sends BYE, but doesn't immediately disconnect
 * session is stopped, which causes imapc to attempt to send LOGOUT
 * imapc waits for NOOP response first
 * remote server disconnects
 * imapc notices the disconnection, but does nothing with it, because it
   thinks it's already handled. This keeps busy-looping.
 * If there was a mailbox selected, this results in infinite busy-loop. If a
   mailbox wasn't selected, imapc_cmd_timeout aborts the NOOP command.

lib-mail: message-parser - Always properly finish parsed input

If the caller hadn't called message_parser_parse_next_block() after
seeing EOF in the istream, the deinit could have crashed with:

Panic: file message-parser.c: line 802 (message_parser_deinit_from_parts): assertion failed: (ctx->nested_parts_count == 0 || i_stream_have_bytes_left(ctx->input))

lib: io_loop_context_new() - Fix memory leak

Broken by fea09a415cf89223d8b17c5982257c9b3c357cbc

login-common: Fix implicit integer conversions when connect timeout is reached

lmtp: Fix log prefix when autoexpunge is running

The username was missing from the log prefix.

lib: io_loop_context_new() no longer implicitly activates the context

The new behavior requires explicitly activating the context. This change
was needed, because an implicit creation activated the context but didn't
call any of the callbacks. If ioloop wasn't run, the activation callbacks
were never called. This meant that when context was deactivated, the
deactivation callbacks weren't run either.

lib-storage: Replace i_error() and i_warning() with e_error() and e_warning()

This changes only the generic code. The driver-specific code still needs
changing.

lib-storage: test-mailbox-list - Initialize namespace, user and event

Required by the following change.

lib-storage: mail-duplicate - Replace i_error() with e_error()

lib-storage: Add functions to get log prefixes

This changes the log prefixes to be stored even when
MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT is used.

lib-storage: Initialize service_user's logging before creating ioloop context

Needed by the next change.

lib-storage: Add PID to the default log prefix

doc/example: 10-metrics.conf - Add metrics related settings

doc/eaxmple: 10-logging.conf - Update syntax example to point to online documentation

lib: event_get_last_duration() - Change it to return uintmax_t

It can't be negative, so unsigned return value makes more sense.
Also clarify the function comment and parameter name.

stats: openmetrics: Do microsecond to seconds conversion only for duration values

Other metrics should be exported with their values unchanged.

stats: openmentrics: Change histogram bucket unit to seconds

In ae678116a79fff609cdf4fb1eb7eb3db2975bf1c the unit of durations was changed
from microseconds to seconds, but the `le` field in histograms is still in
microseconds.

stats: refactor duration field name into a macro

lib-master: If config reading via doveconf exec fails, show details in the error

lib-master: Reset master_service.config_path_from_master if -c parameter is used

This doesn't fix anything currently, but clarifies the behavior and
is needed by the following commit.

plugins: fts-solr: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

plugins: fts: tika: Use a private HTTP client.

This is a workaround for problems with the http_client_request_send_payload()
API that occur when several shared HTTP clients use this API at the same time
and payload sending gets interleaved.

lib: test-cpu-limit - Increase ALLOW_MSECS_BELOW to 500ms

The test still randomly failed with 100ms. Maybe 500ms is enough?

lib: test-cpu-limit - Use test_assert_cmp()

lib-test: Add test_assert_ucmp[_idx]()

These are the unsigned versions of test_assert_cmp*()

lib-test: Add test_assert_cmp[_idx]()

Similar to test_assert_strcmp() but for numbers: If the comparison fails,
print the values and the used operator.

acl: acl_lookup_dict_rebuild_update()

Initialize dict_transaction_context *dt with NULL. Due to the changes
done in bfa7433bfcf538af7c4fdafe37a88bde6508c751 dt could be used
uninitialized.

Makefile.am: Don't delete dovecot.socket in make clean

Broken by 0650928f3e3728911d6bcea4daf743df02ec1b3d

imap: Fix PREVIEW behavior to support RFC 8970

mbox: Fix potentially logging read error when there was no error

Broken by 959385969388b2d4f6d3d0218fa175481cb46c8a

imap: NOTIFY - Fix crash if client disconnects while sending FETCH notification

Fixes:
Panic: Trying to close mailbox INBOX with open transactions

doveadm: Avoid duplicate error logging with doveadm_print_istream()

lib-compression, global: Remove support for implicit error logging

doveadm zlibconnect: Avoid duplicate error logging

The istream errors are already logged with i_fatal(). There's no need for a
duplicate error.

doveadm dump -t imapzlib: Explicitly log compress istream errors

zlib: Remove extra error logging for istream failures

The error will nowadays be logged as the istream error anyway.

mbox: istream-raw-mbox - Log parent istream read errors

mbox: Use mbox_ostream_set_syscall_error()

mbox: Use mbox_istream_set_syscall_error()

mbox: Add mbox_[io]stream_set_syscall_error()

This allows logging the iostream-specific error rather than the more generic
errno.