lib-storage: test-mail-storage: Separate test cases for "LAYOUT=INDEX"

With default escaping for "INDEX" layout, more mailbox name are accepted.

lib-storage: mailbox-list: Add default storage name escaping for index layout

Add a default value for "storage_name_escape_char" when "LAYOUT=index".
Needed for situations where mailbox name contains separator char (e.g.
after migration to new separator) and listescape plugin is not active.

lib-storage: Rename mailbox_list_index_node.name to raw_name

To make it clear that the string is unescaped raw value, rename from
generic "name" to "raw_name".

lib-storage: Add mailbox list index alt separator

To avoid collision with storage name escape character, use an
alternative char ('^') if hierarchy separator for list index is the same char.

login-common: Finish freeing the client when anvil lookup is pending at destroy

Broken by f32daf5ac9eaa886e28659965fc0156b52b60bda

login-common: Assert-crash at deinit if there are still referenced clients

login-common: Track referenced but destroyed clients in a linked list

This helps debugging.

lib: test-cpu-limit - Increase ALLOW_MSECS_ABOVE further

1500 was still not enough to prevent random failures.

lib: cpu-limit - Redesign the API

The new API no longer has a signal callback, just a cpu_limit_exceeded()
function that needs to be periodically called to check if the limit has
exceeded. The callback could be added back if really necessary, but it's
just too easy to use signal handlers unsafely.

The new API also supports separating limits for user and system CPU usage.
It also attempts to guard against any unexpected kernel behavior resulting
from unclear behavior on how exactly the getrlimit(), setrlimit() and XCPU
signals interact.

lib: cpu-limit - Split off cpu_limit_get_usage_msecs_with()

lib: cpu-limit - Move cpu_limit_get_usage_msecs()

lib: cpu-limit - Update comments related to nesting

lib: cpu_limit_get_usage_[m]secs() - Add type parameter

It can now return user CPU, system CPU or both usages.

lib: cpu-time - Use the original struct rusage as the initial_usage

This will allow separation of user and system CPU usage tracking.
They could have been tracked with two separate struct timevals, but
the extra memory usage is small and it might be nice to have all the
available data for debugging.

lib: test-cpu-limit - Fix nested limit asserts

lib-imap: Handle empty lists in IMAP BODYSTRUCTURE parsing as invalid

They should be NIL instead of () if they're empty.

lib-imap: Fix assert-crash if parsing invalid BODYSTRUCTURE with empty Content-Language list

If there's no Content-Language, it should be NIL in the bodystructure.
So if the value is (), it is invalid.

This could in theory have happened when parsing corrupted
dovecot.index.cache or receiving it from a broken remote IMAP server with
imapc. The bug was found by fuzzing though.

Fixes:
Panic: file imap-bodystructure.c: line 98 (part_write_bodystructure_common): assertion failed: (*lang != NULL)

lib-imap: test-imap-bodystructure - imap_bodystructure_parse() - Test returned error

lib-lua: Error out the build if using Lua 5.2

Global: Remove support for Lua 5.2

It took far too much effort to keep compatible with it.  Since every distro
out there provides either Lua 5.1 or 5.3, it makes sense to give up on 5.2.

m4: Allow explict override of lua version

It is possible that the system has several different versions of Lua
installed.  This change allows one to force a specific version of Lua during
./configure.  For example:

LUA_CFLAGS="`pkg-config lua51 --cflags`" \
LUA_LIBS="`pkg-config lua51 --libs`" \
./configure \
--with-lua

lib-storage: Preserve last-rename-stamp when rebuilding index

lib-storage: Don't trust last-rename-stamp that is too far into the future

If the timestamp is in the future, autoexpunging stops working until the
future time is passed. If this happened due to corruption, it could take
a long time before the timestamp is reached.

lib-storage: Preserve hdr-pop3-uidl when rebuilding index

This prevents potentially expensive metadata lookups afterwards when trying
to find out which mails have the POP3 UIDLs in their metadata.

lib-storage: Convert index_rebuild_box_name_header() into generic index_rebuild_box_preserve_header()

doveadm dump: Support hdr-pop3-uidl index header extension

doveadm dump: Include mail-storage-private.h to get easier access to some structs

Avoids having to duplicate the structs.

auth: userdb_parse_[ug]id() - Fix error logging to use events properly

If request is missing, use the global auth_event instead of hiding the
error.

auth: Use auth_request.event for logging whenever possible

auth: auth-client-connection: Log all errors via events

auth: auth-worker-server: Log errors via events

auth: auth-request-handler: Log errors via events

auth: authdb_event() - Use const pointer

auth: Replace auth_master_log_error() with e_error()

auth: auth-worker-client: Log errors via events

auth: auth-worker-client: Fix setting process title to [idling]

The existing code was completely wrong. It was set only when LIST command
started running. For other commands it wasn't set at all.

auth: auth-worker-client: Move common code to auth_worker_request_finished()

auth: auth-worker-client: Move auth_worker_request_finished*()

auth: auth-worker-client: Set "error" for all auth worker request failures

Previously the error was set only for protocol errors. Now it's set for
everything, including password mismatches. However, only the protocol
errors are logged with error level, others are debug level.

auth: auth-worker-client: Rename auth_worker_log_finished() to auth_worker_request_finished()

auth: userdb iteration - Use event based logging

auth: db-passwd-file - Use event based logging

auth: db-ldap - Use event based logging

login-common: Fix assert-crash if client is destroyed during anvil lookup

This could happen if the client gets disconnected due to
"Connection queue full".

Fixes:
Panic: file client-common.c: line 323 (client_destroy): assertion failed: (!client->authenticating)

lib: event_logv() - Make sure errno is preserved

It already should have been, but this change makes it clearer and more
future-safe.

imap: Use internal error for logging FETCH failed disconnection message

submission-login: Fix logging "no auth attempts" at disconnection

client.banner_sent wasn't set, which prevented this from being logged.

lib-smtp: smtp_server_connection_ssl_init() - Don't start SSL handshake

If SSL handshaking fails, it shouldn't be logged as an error similarly to
actual SSL initialization errors.

lib-smtp: Remove smtp_server_connection.disconnect_reason

This isn't used anywhere and its purpose is a bit unclear.

imap-urlauth: Change event_category_urlauth to be static

imap-urlauth: Replace i_info() and i_error() calls with e_info() and e_error()

imap-urlauth: Don't change log prefix just before disconnection line

It shouldn't be necessary. (And if it was, it should be done in init.)

imap-urlauth: client_destroy() - Allow NULL reason only if client is disconnected

imap-urlauth: Remove duplicate "Disconnected: " prefix

It's already logged by client_destroy()

imap-urlauth: Add Username to log prefix

imap-urlauth: Fix event leak if worker can't be connected to

lib-smtp: Standardize iostream error handling

Use [io]_stream_get_disconnect_reason() for logging all errors.
None of the iostream errors are logged as error level anymore. This way
for example TLS connection problems caused by broken clients aren't
logged as errors.

lib: Add o_stream_get_disconnect_reason()

lib: Clarify i[o]_stream_get_disconnect_reason() comment

lib-smtp: Remove EIO-specific error handling

No such error should be seen by lib-smtp.

submission: Standardize "Disconnected:" log line

Remote IP is no longer logged. If it's wanted, it can be added to
mail_log_prefix just like with other protocols.

lib-smtp: Standardize QUIT logging

Similar to POP3, use "Logged out" or "Aborted login by logging out".

pop3: Improve "inactivity" disconnection reason log messages

pop3: Add "Disconnected: " prefix to all disconnection log lines

login-common: Add and use client_destroy_iostream_error()

This standardizes the disconnection log message.

*-login: Replace "Aborted login" with "Disconnected: Aborted login by logging out"

*-login: Add "Disconnected: " prefix to most disconnection log lines

All except "Disconnected by proxy" disconnections.

imap-hibernate: Add "Disconnected: " prefix to all disconnection log lines

imap: Improve "inactivity" disconnection reason log messages

imap: Improve client disconnection log line in APPEND

imap: Add "Disconnected: " prefix to all disconnection log lines

It's currently not very clear that all these different log lines are about
the disconnection event.

lmtp: Simplify client_destroy() handling

This is similar to the earlier submission commit.

lmtp: Simplify/clarify disconnection code flow

This is similar to the earlier submission commit.

submission: Remove client.stats

client.conn is no longer ever NULL, so this isn't needed.

submission: Simplify client_destroy() handling

Now it simply calls smtp_server_connection_terminate() and the
conn_free() callback does the actual destroying.

submission: Simplify/clarify disconnection code flow

client_disconnect() is now removed. Instead, client_destroy() now calls
smtp_server_connection_terminate() directly to cause a disconnection and
smtp_server_callbacks.conn_disconnect() handles the disconnection directly.
This same behavior happened earlier also, but it wasn't as clear.

submission: Move client_connection_disconnect|free()

lib-smtp, lmtp, submission: Move adding "(state=%s)" in disconnection reason to lib-smtp

The following changes will break this in submission and lmtp. The state
will be reset before conn_disconnect() is called, so they would always log
state=READY.

lib-smtp: Add "unfinished %s command" if client disconnected during command processing

This also removes the need for special code path to differentiate between
logging "Remote closed connection" and "Remote closed connection
unexpectedly".

lib-smtp: Rename conn_destroy() callback to conn_free()

It's called when the final reference to connection is dropped, so this
describes it better.

indexer: Convert indexer-worker log info to event

Emit an event named "indexer_worker_indexing_finished", with following
extra fields:
- message_count: Number of messages indexed
- first_uid: First uid of the message indexed
- last_uid: Last uid of the message indexed
- user_cpu_usecs: Total user mode cpu time spent on indexing

On successful indexing and on MAIL_ERROR_NOTFOUND error event is emitted
with "e_debug()", in other error situations event is emitted with "e_error()".

lib: lib-event: Add event_enable_user_cpu_usecs

- Add an internal rusage struct to events to keep track of resource usage.
- "event_enable_user_cpu_usecs()" enables "user_cpu_usecs" field for the event

If "user_cpu_usecs" field is enabled, user CPU time will be calculated
at the time of sending the event and will be added to event fields.

m4: want_lua - Fix Lua function checks

One has to use $LIBS variable to ensure libraries
come after conftest.c in configure.

Broken in af819cd2f43b8896d949a33f8099234ac57df6e5

lib-lua: Add table get helpers

lib-lua: Check for function presence instead of Lua version in compat code

lib-lua: Reorder compat luaL_{setfuncs,setmetatable}

Switch their order to keep them alphabetical.  This will make the header
changes in the next commit a little more consistent.

Additionally, fix up the coding style.

lib-lua: Move compat macros and prototypes to dlua-compat.h

Additionally, fix -Wstrict-bool issue in luaL_newmetatable() compatibility
wrapper.

lib-lua: Remove unused compatibility macros

These are never used since all supported Lua versions define
LUA_VERSION_NUM.

lib-lua: Implement a Lua 5.1 & 5.2 compatibility wrapper for lua_isinteger

m4: want_lua - Check for lua_isinteger

lib-lua: Implement a Lua 5.1 compatibility wrapper for lua_tointegerx

m4: want_lua - Check for lua_tointegerx

lib-smtp: test-smtp-client-errors - Amend early data reply test to verify that connection is still viable.

Some problems only surface when the connection is reused for the next command.
Before, the connection was terminated immediately after the transaction, which
hides such issues.

lib-smtp: smtp-client-connection - Hold reference to command that is sending a stream.

This fixes a panic:

Panic: file smtp-client-command.c: line 715 (smtp_client_command_do_send_more): assertion failed: (cmd->stream != NULL)

lib-smtp: smtp-client-command - Make smtp_client_command_unref() return TRUE when the object persists.

lib-smtp: smtp-client-command - Make smtp_client_command_unref(NULL) a no-op.

imap: Fix logging garbage if imap-hibernate sends invalid VERSION

lib-mail: mail-html2text - Fix character signedness type mismatch

Fixes ubsan complaints:
mail-html2text.c:186:12: runtime error: implicit conversion from type 'unsigned char' of value 226 (8-bit, unsigned) to type 'char' changed the value to -30 (8-bit, signed)

fts-tika: Don't fail indexing if Tika returns 5xx error

Broken by 8e1eaf849ce4668c0941338e3e3671db159da575, which changed 5xx to be
retried once before it was ignored. However, it accidentally changed the
second 5xx to return failure instead of being ignored.

pop3: Change IO context earlier while shutting down

This didn't practically cause any issues currently, but the new behavior
is more correct and future-proof.