auth: db-lua - Make auth_lua_export_table() take lua_State * directly

auth: db-lua - Make auth_lua_push_auth_request() take lua_State * directly

auth: db-lua - Make lua methods and functions use the passed in lua_State * directly

auth: db-lua - Make auth_lua_check_auth_request() take lua_State * directly

lib-lua: Use dlua_register()

lib-lua: Add dlua_register()

lib-storage: Make lua methods and functions use the passed in lua_State * directly

lib-storage: Make lua_storage_mail_user_set_metadata_unset() take lua_State * directly

lib-storage: Make lua_check_storage_mail_user() take lua_State * directly

lib-storage: Make lua_check_storage_mail() take lua_State * directly

lib-lua: Make dlua_dump_stack() take lua_State * directly

lib-lua: Move dlua_dump_stack() prototype to private header

lib-lua: Make dlua_check_event() take lua_State * directly

lib-lua: Make dlua_push_event() take lua_State * directly

lib-lua: Move dlua_{check,push}_event() prototypes to private header

lib-lua: Make dlua_getdovecot() take lua_State * directly

lib-lua: Make dlua_setmembers() take lua_State * directly

lib-lua: Make lua methods and functions use the passed in lua_State * directly

lib-lua: Make dlua_push_event_passthrough() take lua_State * directly

lib-lua: Make dlua_check_event_passthrough() take lua_State * directly

lib-lua: Make dlua_event_log() take lua_State * directly

lib-lua: Make dlua_get_file_line() take lua_State * directly

lib-lua: Make DLUA_REQUIRE_ARGS*() take the lua_State * directly

This is the first in a series of commits that convert a number of functions
to pass around the lua_State pointer directly and to use it instead of using
the lua_State pointed to by the struct dlua_script.

This change is needed to eventually support the 'yield' functionality and
"sequential looking, but async behind the scenes" lua scripts.  To support
this, the C code needs to instantiate multiple lua_States and then operate
on the correct one - whichever one is passed back by the lua runtime.  This
lays the ground work for that.

imap: test-imap-client-hibernate - Remove dead assignment

util: dovecot-sysreport: Use "uname -n" instead of "hostname" for portability

hostname is not defined by POSIX, so not guaranteed to work.

lib-mail: mail-html2text: HTML entity lookup must be case-sensitive

HTML entities are case-sensitive.

lib-storage: Add unit test for mailbox-list error handling

This is exactly the same test as what mail-storage has for its error
handling.

lib-storage: test-mail-storage - Split overlong lines

lib-storage: Change mailbox_list_set_error/critical() to work the same as storage's

The storage ones had various fixes to different situations. Just make the
mailbox list ones exactly the same to get the same fixes.

lib-storage: mailbox_list_get_last_error() - Handle unexpected situations better

Change the logic to be similar as in mail_storage_get_last_error() if the
mail_error or error_string unexpectedly isn't set.

lib-storage: Detect corrupted mail size when calculating body size

When body size is calculated from message size - header size, make sure that
the message size is at least as large as the header size. Otherwise treat
the message size as corrupted.

stats: openmetrics: Do not duplicate counter and duration metrics for histograms

Histograms generate "_count" and "_sum" metrics either for each quantile or
for the whole distribution. This patch prevents creating a duplicate metric
with type counter which results in metric name collision.

stats: Make exported metrics compliant with OpenMetrics standards

Commit based on github PR: https://github.com/dovecot/core/pull/136

Fix issues raised by promtool and prometheus client library parser.
Cleanup and code fixes by Siavash Tavakoli.

indexer, auth: Set indexer-worker and auth-worker services' type=worker

lib-master, master: Add "worker" service type

The worker services are expected to reach their process_limit regularly.
There shouldn't be a warning logged about temporarily reaching the limit,
since it can happen due to race conditions.

master: Split off service_log_drop_warning()

master: Update comment to service_process.total_count

It's not an exact value. Making it exact would require changing the IPC
protocol to master, which isn't worth it just for this.

lib-master: Notify master immediately when process can accept more clients

Instead of delaying it for 1 second. Otherwise the master might be
complaining about process/client limit being reached or creating more
processes unnecessarily.

lib-mail: message-snippet: Fix expected number of leading non-whitespace chars

If message body starts with a single char + space (e.g. "I am"), the
space is wrongly removed (i.e. snippet would be "Iam") because at least two
non-whitespace characters are expected. Fix the minimum to 1 to fix this.

auth: Log failure before freeing up request

The request got free'd before logging, causing use-after-free access.

Broken in cec5a9c92d094d639c49bb83eeb9383ebb231c6f

imap: cmd-setmetadata: Do not open mailbox

Set metadata without actually opening the mailbox.

As a side-effect this changes SETMETADATA command response when ACL
rules are present and user only has lookup right. For non-existing
mailboxes, command fails with "Mailbox doesn't exist" message instead of
"Permission denied" error.

imap: cmd-getmetadata: Retrieve metadata values without opening the mailbox

No need to actually opening the mailbox, only check for its existence.
This also makes GETMETADATA command behave more in line with RFC 5464 when
acls are preset. Changes to command results for different cases:

- User with only "l" right:
  - for non-existing mailbox command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
- User with "l" right and one of "s", "w", "i", and "p" rights:
  - for INBOX, command result changed from "Permission denied" failure to "OK"
  - for existing mailboxes, command result changed from "Permission denied"
    failure to "OK"
  - for non-existing mailboxes, command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
  - for autocreated mailboxes, command result changed from "Permission denied"
    failure to "OK"
- User with "l" right and one of "x", "c", "d", and "a" rights:
  - for non-existing mailboxes, command failure error changed from "Permission denied"
    to "Mailbox doesn't exist"
- User with only "r" right:
  - for INBOX, command result changed from "OK" to "Mailbox doesn't exist"
  - for existing mailboxes, command result changed from "OK" to "Mailbox doesn't exist"
  - for autocreated mailboxes, command result changed from "OK" to "Mailbox doesn't exist"

imap: cmd-getmetadata: Do not ignore NOTFOUND and PERM when handling errors

Don't ignore MAIL_ERROR_NOTFOUND MAIL_ERROR_PERM in cmd_getmetadata_handle_error
and fail GETMETADATA command properly. This code was added in the initial
GETMETADATA implementation commit.  It doesn't seem like it has ever done
anything useful.

doveadm mailbox metadata: Don't open mailbox for get and list commands

lib-storage: Move checking autocreated boxes to storage backends

This allows acl plugin to check ACLs for autocreated mailboxes as well.

lib-storage: index-attribute: Fix typo

doveadm: doveadm-mail-mailbox-metadata: Add flag for prefixes in metadata list

Add an optional "-p" flag for metadata list command. Keys should have been
listed with "/private" or "/shared" prefixes from the get-go but for the
sake of not breaking users' workflow put this behind a flag.

lib-mail: test-message-search - Avoid static analyzer warnings about NULL pointers

dsync: Add assert to help static analyzers

cassandra: Fix error handling on SSL initialization failure

lib: istream-file,ostream-file - Mark close failure as unlikely

File descriptor close failure is unlikely to happen.

lib: istream-file,ostream-file - Ignore ECONNRESET

This happens e.g. on FreeBSD when closing a socket that has not been
fully flushed to client. Since we can't do anything about that,
we might as well just ignore it.

lib: fd-util - Ignore ECONNRESET when closing fd

This happens e.g. on FreeBSD when closing a socket that has not been
fully flushed to client. Since we can't do anything about that,
we might as well just ignore it.

lib-lua: Log an error when lua deinit function failed

lib-lua: Move init/deinit function invocation into helper functions

This moves them out of the way and keeps them close to each other.

lib-lua: Warn if threading was detected

lib-lua: Store script pointer in LUA_REGISTRY

This will allow us to translate any lua thread to a script pointer.  This is
not meant to allow multi-threaded lua scripts, but it is necessary to allow
yields to work.

imap-hibernate: Add variable aliases

Accept new aliases "local_ip" (="lip") and "remote_ip" (="rip") when expanding
variables.

login-storage: Add variable aliases

Accept new aliases "local_ip" (="lip") and "remote_ip" (="rip") when expanding
variables.

login-common: Add variable aliases

Accept new aliases such as "local_ip" (="lip") and "original_user"
(="orig_user"), etc.

.gitignore: Ignore fuzzers

lib-imap: Add fuzz-imap-bodystructure

lib-mail: Add fuzz-message-parser

Fuzzer for message parser

AUTHORS: Add catena cyber

lib-smtp: Add fuzz target for smtp server

lib-imap: Add fuzz-imap-utf7

lib-test: Add fuzzing framework

configure: Add --with-fuzzer=clang to use clang fuzzer

lib-imap: Fix writing BODYSTRUCTURE for truncated multipart/digest part

Fixes error while parsing BODYSTRUCTURE:
message_part message/rfc822 flag doesn't match lines in BODYSTRUCTURE

lib-imap: Fix writing BODYSTRUCTURE for truncated multipart/ part

If the max nesting limit is reached, write the last part out as
application/octet-stream. The original content-type could be confusing
IMAP clients when they don't see any child parts.

lib-imap: Fix writing BODYSTRUCTURE for truncated message/rfc822 part

If the max nesting limit is reached, write the last part out as
application/octet-stream instead of dummy message/rfc822.

Fixes error while parsing BODYSTRUCTURE:
message_part message/rfc822 flag doesn't match BODYSTRUCTURE

NEWS: Add news for 2.3.13

lib-imap: Don't generate invalid BODYSTRUCTURE when reaching MIME part limit

If the last MIME part was message/rfc822 and its child was truncated away,
BODYSTRUCTURE was missing the ENVELOPE and BODY[STRUCTURE] parts. Fixed by
writing empty dummy ones.

lib-mail: message-parser - Fix assert-crash when enforcing MIME part limit

The limit could have been exceeded with message/rfc822 parts.

imap: Add unit test for imap-client-hibernate

imap: imap_client_hibernate() - Return reason string on failure

This helps writing a unit test for it.

imap: Delay initializing client IO until client_create_finish()

This helps writing unit tests.

imap: Fix crash if imap-hibernate socket can't be connected to

The error was supposed to be returned to caller, not logged directly.

imap: Escape tag when sending it to imap-hibernate process

lib-imap: Add imap_parser_client_read_tag()

imap-login: Use imap_parser_read_tag() and _read_command_name()

imap-login: Split off client_invalid_command()

imap: Use imap_parser_read_tag() and _read_command_name()

imap: Split off client_command_failed_early()

lib-imap: Add imap_parser_read_tag() and _read_command_name()

lib-master: Add 5 second timeout when waiting for stats-writer handshake

Previously the wait was infinite and nothing was logged, making it difficult
to know that the problem is with a hanging stats process.

lib-master, stats: Fix sending and parsing UPDATE commands

These commands were parsed completely wrong, resulting in errors like:

Client sent invalid input for UPDATE: Invalid tv_created: Invalid timeval microseconds parameter

lib-lua: Install libdovecot-lua binaries

This turns this into a full-fledged library.  This addresses the issue where
libdovecot-lua is completely included in anything that uses it, which caused
unnecessarily bloat and could have caused linker problems with multiple
definitions of the same symbol.

lib-storage: Split off the mail user lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the mailbox attribute lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mailbox lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mail lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Move storage related lua code into libdovecot-storage-lua.la

This keeps all the storage code in one place.

auth: db-lua - Fix invalid stack empty check

3e11b97 introduced assertions to ensure the lua stack is empty after
execution.  In auth_lua_call_password_verify() this check was inserted
*before* popping the error message from the stack, ultimately causing the
assertion to fail every time the lua script has a runtime error, leading to
process crashing.

lib-storage: Remove cydir storage format support

lib-storage: Fix potential assert-crash fetching BODY[STRUCTURE] when mail's size is cached wrong

This happened only after mail's size was detected to be different than the
mail's cached size.

Fixes:
Panic: file index-mail.c: line 1140 (index_mail_parse_body_finish): assertion failed: (mail->data.parts != NULL)

plugins: Remove expire plugin

The autoexpunge functionality should be used instead.

plugins: Remove mail-filter plugin

plugins: Remove snarf plugin

plugins: Remove autocreate plugin

Automatic mailbox creation should be done via the autocreate namespace
option.