lib-storage: Convert index_rebuild_box_name_header() into generic index_rebuild_box_preserve_header()

doveadm dump: Support hdr-pop3-uidl index header extension

doveadm dump: Include mail-storage-private.h to get easier access to some structs

Avoids having to duplicate the structs.

auth: userdb_parse_[ug]id() - Fix error logging to use events properly

If request is missing, use the global auth_event instead of hiding the
error.

auth: Use auth_request.event for logging whenever possible

auth: auth-client-connection: Log all errors via events

auth: auth-worker-server: Log errors via events

auth: auth-request-handler: Log errors via events

auth: authdb_event() - Use const pointer

auth: Replace auth_master_log_error() with e_error()

auth: auth-worker-client: Log errors via events

auth: auth-worker-client: Fix setting process title to [idling]

The existing code was completely wrong. It was set only when LIST command
started running. For other commands it wasn't set at all.

auth: auth-worker-client: Move common code to auth_worker_request_finished()

auth: auth-worker-client: Move auth_worker_request_finished*()

auth: auth-worker-client: Set "error" for all auth worker request failures

Previously the error was set only for protocol errors. Now it's set for
everything, including password mismatches. However, only the protocol
errors are logged with error level, others are debug level.

auth: auth-worker-client: Rename auth_worker_log_finished() to auth_worker_request_finished()

auth: userdb iteration - Use event based logging

auth: db-passwd-file - Use event based logging

auth: db-ldap - Use event based logging

login-common: Fix assert-crash if client is destroyed during anvil lookup

This could happen if the client gets disconnected due to
"Connection queue full".

Fixes:
Panic: file client-common.c: line 323 (client_destroy): assertion failed: (!client->authenticating)

lib: event_logv() - Make sure errno is preserved

It already should have been, but this change makes it clearer and more
future-safe.

imap: Use internal error for logging FETCH failed disconnection message

submission-login: Fix logging "no auth attempts" at disconnection

client.banner_sent wasn't set, which prevented this from being logged.

lib-smtp: smtp_server_connection_ssl_init() - Don't start SSL handshake

If SSL handshaking fails, it shouldn't be logged as an error similarly to
actual SSL initialization errors.

lib-smtp: Remove smtp_server_connection.disconnect_reason

This isn't used anywhere and its purpose is a bit unclear.

imap-urlauth: Change event_category_urlauth to be static

imap-urlauth: Replace i_info() and i_error() calls with e_info() and e_error()

imap-urlauth: Don't change log prefix just before disconnection line

It shouldn't be necessary. (And if it was, it should be done in init.)

imap-urlauth: client_destroy() - Allow NULL reason only if client is disconnected

imap-urlauth: Remove duplicate "Disconnected: " prefix

It's already logged by client_destroy()

imap-urlauth: Add Username to log prefix

imap-urlauth: Fix event leak if worker can't be connected to

lib-smtp: Standardize iostream error handling

Use [io]_stream_get_disconnect_reason() for logging all errors.
None of the iostream errors are logged as error level anymore. This way
for example TLS connection problems caused by broken clients aren't
logged as errors.

lib: Add o_stream_get_disconnect_reason()

lib: Clarify i[o]_stream_get_disconnect_reason() comment

lib-smtp: Remove EIO-specific error handling

No such error should be seen by lib-smtp.

submission: Standardize "Disconnected:" log line

Remote IP is no longer logged. If it's wanted, it can be added to
mail_log_prefix just like with other protocols.

lib-smtp: Standardize QUIT logging

Similar to POP3, use "Logged out" or "Aborted login by logging out".

pop3: Improve "inactivity" disconnection reason log messages

pop3: Add "Disconnected: " prefix to all disconnection log lines

login-common: Add and use client_destroy_iostream_error()

This standardizes the disconnection log message.

*-login: Replace "Aborted login" with "Disconnected: Aborted login by logging out"

*-login: Add "Disconnected: " prefix to most disconnection log lines

All except "Disconnected by proxy" disconnections.

imap-hibernate: Add "Disconnected: " prefix to all disconnection log lines

imap: Improve "inactivity" disconnection reason log messages

imap: Improve client disconnection log line in APPEND

imap: Add "Disconnected: " prefix to all disconnection log lines

It's currently not very clear that all these different log lines are about
the disconnection event.

lmtp: Simplify client_destroy() handling

This is similar to the earlier submission commit.

lmtp: Simplify/clarify disconnection code flow

This is similar to the earlier submission commit.

submission: Remove client.stats

client.conn is no longer ever NULL, so this isn't needed.

submission: Simplify client_destroy() handling

Now it simply calls smtp_server_connection_terminate() and the
conn_free() callback does the actual destroying.

submission: Simplify/clarify disconnection code flow

client_disconnect() is now removed. Instead, client_destroy() now calls
smtp_server_connection_terminate() directly to cause a disconnection and
smtp_server_callbacks.conn_disconnect() handles the disconnection directly.
This same behavior happened earlier also, but it wasn't as clear.

submission: Move client_connection_disconnect|free()

lib-smtp, lmtp, submission: Move adding "(state=%s)" in disconnection reason to lib-smtp

The following changes will break this in submission and lmtp. The state
will be reset before conn_disconnect() is called, so they would always log
state=READY.

lib-smtp: Add "unfinished %s command" if client disconnected during command processing

This also removes the need for special code path to differentiate between
logging "Remote closed connection" and "Remote closed connection
unexpectedly".

lib-smtp: Rename conn_destroy() callback to conn_free()

It's called when the final reference to connection is dropped, so this
describes it better.

indexer: Convert indexer-worker log info to event

Emit an event named "indexer_worker_indexing_finished", with following
extra fields:
- message_count: Number of messages indexed
- first_uid: First uid of the message indexed
- last_uid: Last uid of the message indexed
- user_cpu_usecs: Total user mode cpu time spent on indexing

On successful indexing and on MAIL_ERROR_NOTFOUND error event is emitted
with "e_debug()", in other error situations event is emitted with "e_error()".

lib: lib-event: Add event_enable_user_cpu_usecs

- Add an internal rusage struct to events to keep track of resource usage.
- "event_enable_user_cpu_usecs()" enables "user_cpu_usecs" field for the event

If "user_cpu_usecs" field is enabled, user CPU time will be calculated
at the time of sending the event and will be added to event fields.

m4: want_lua - Fix Lua function checks

One has to use $LIBS variable to ensure libraries
come after conftest.c in configure.

Broken in af819cd2f43b8896d949a33f8099234ac57df6e5

lib-lua: Add table get helpers

lib-lua: Check for function presence instead of Lua version in compat code

lib-lua: Reorder compat luaL_{setfuncs,setmetatable}

Switch their order to keep them alphabetical.  This will make the header
changes in the next commit a little more consistent.

Additionally, fix up the coding style.

lib-lua: Move compat macros and prototypes to dlua-compat.h

Additionally, fix -Wstrict-bool issue in luaL_newmetatable() compatibility
wrapper.

lib-lua: Remove unused compatibility macros

These are never used since all supported Lua versions define
LUA_VERSION_NUM.

lib-lua: Implement a Lua 5.1 & 5.2 compatibility wrapper for lua_isinteger

m4: want_lua - Check for lua_isinteger

lib-lua: Implement a Lua 5.1 compatibility wrapper for lua_tointegerx

m4: want_lua - Check for lua_tointegerx

lib-smtp: test-smtp-client-errors - Amend early data reply test to verify that connection is still viable.

Some problems only surface when the connection is reused for the next command.
Before, the connection was terminated immediately after the transaction, which
hides such issues.

lib-smtp: smtp-client-connection - Hold reference to command that is sending a stream.

This fixes a panic:

Panic: file smtp-client-command.c: line 715 (smtp_client_command_do_send_more): assertion failed: (cmd->stream != NULL)

lib-smtp: smtp-client-command - Make smtp_client_command_unref() return TRUE when the object persists.

lib-smtp: smtp-client-command - Make smtp_client_command_unref(NULL) a no-op.

imap: Fix logging garbage if imap-hibernate sends invalid VERSION

lib-mail: mail-html2text - Fix character signedness type mismatch

Fixes ubsan complaints:
mail-html2text.c:186:12: runtime error: implicit conversion from type 'unsigned char' of value 226 (8-bit, unsigned) to type 'char' changed the value to -30 (8-bit, signed)

fts-tika: Don't fail indexing if Tika returns 5xx error

Broken by 8e1eaf849ce4668c0941338e3e3671db159da575, which changed 5xx to be
retried once before it was ignored. However, it accidentally changed the
second 5xx to return failure instead of being ignored.

pop3: Change IO context earlier while shutting down

This didn't practically cause any issues currently, but the new behavior
is more correct and future-proof.

imap: Fix using mail_log_prefix is used when client disconnects during server shutdown

submission: Fix using mail_log_prefix when client is disconnected due to server shutdown

dict-sql: Add more comments

dict-sql: Rename [extra_]values to pattern_values

dict-sql: Rename dict_sql_map.max_field_count to max_pattern_fields_count

dict-sql: Rename dict_sql_map.sql_fields to pattern_fields

dict-sql: Change char key1 to bool add_username

dict-sql: Simplify sql_dict_maps_are_mergeable() and add comments

lib: test-array - Use i_strcmp_p() instead of reimplementing it

dict-sql: Simplify set/inc flushing

Especially the *_real() function names were confusing.

dict-sql: Support merging multiple atomic_inc fields

dict-sql: Support merging multiple set fields

dict-sql: Keep trying to merge INSERT/UPDATE always to the previous key

Previously if the first two couldn't be merged, it would flush both.
Now it flushes only the first and attempts to merge the 2nd and 3rd.

dict-sql: Move prev_set_* and prev_inc_* to struct sql_dict_prev

lib-sql: driver-test - Use test_assert_strcmp()

lib-dict-backend: test-dict-sql - Use test_assert_strcmp*()

lib-fs: Add type safety to fs_file/iter_set_async_callback() callback context

lib-dict, global: Add type safety to dict_transaction_commit_async() callback context

lib-dict, quota: Add and use dict_transaction_commit_async_nocallback()

lib-dict, global: Add type safety to dict_iterate_set_async_callback() callback context

lib-dict, global: Add type safety to dict_lookup_async() callback context

configure: Remove useless checks for luajit

At one point, we considered supporting LuaJIT.  While it turned out to be
not worth it, the prototype removal accidentally left checks in the
configure file.

global: dict_iterate_deinit(NULL) is a no-op

lib-dict: Make dict_iterate_deinit(NULL) a no-op