m4: want_lua - Check for lua_{resume,yieldk}

lib-lua: Add thread local storage API

lib-lua: Add new thread/close thread dlua wrappers

Code rewritten to use lua registry, warn about unclosed threads, and moved
to a separate file by Josef 'Jeff' Sipek <jeff.sipek@open-xchange.com>

global: Avoid casting away const

lib: iostreams - Use container_of()

lib: stats_dist_get_median(), stats_dist_get_percentile() - Remove const parameter

They weren't really const, because they required modifying the stats to sort
them.

login-common: sasl-server - Remove data transfered to post-login service from input stream.

This prevents duplicating input when SSL is involved, causing commands pipelined
after authenticate commands from being duplicated. This issue emerged when login
proxy was changed to use the iostream pump/proxy. This means that the proxy uses
streams rather than raw FDs, which means that data buffered in input stream
before proxy is inherently forwarded to the post-login service... a second time.

lib: test-cpu-limit - Test upper CPU limit only for user CPU, not for system CPU

The system CPU check kept randomly failing with larger and larger limits, so
there doesn't seem to be any point trying to test it at all.

lib-index: Fix crash when cache record size is larger than file size

This shouldn't happen unless the dovecot.index.cache file was corrupted.

lib-index: mail_cache_map() - Fix handling huge size values correctly

offset+size could have wrapped in 32bit systems.

auth: test-auth-cache - Fix auth_request_var_expand_static_tab[]

Its size is explicitly set in .h file, so it should be in .c file as well.

auth: userdb-passwd: Close the password database in iteration deinit

Otherwise, next "getpwent()" will continue to return next entries in
passwd database which results in unwanted skipping of entries.

doveconf: Don't print an error if $rundir/dovecot.conf symlink doesn't exist

lib-storage: Set mail_index_* and mail_cache_* settings hidden

It's not recommended to change these settings outside testing.

doveconf: Add -s parameter to show also hidden settings

doveconf: Don't show hidden settings unless they've been explicitly set

lib-settings: Add SET_FLAG_HIDDEN setting flag

global: Initialize struct setting_define fields with explicit names

This allows changing the struct contents without breaking compiling.

global: Use SETTING_DEFINE_STRUCT_*() macros when defining settings

This adds type checking to them.

quota-status: Fix quota_status_settings.recipient_delimiter to be const

mail-crypt, master: Remove unused DEF & DEFLIST macros

lib-settings: Rewrite and add missing SETTING_DEFINE_STRUCT_* macros

These hadn't been used anywhere.

lib-smtp: fuzz-smtp-server - Fix compiling due to lib-smtp API change

Forgotten from 2cdab962670df394c28fb7858cb0d4f90f70f71c

submission: Remove dead assignment

login-common: Fix client_destroy_oldest() return value to be more exact

Only return TRUE if a client connection is immediately destroyed.

lib-master: Add a delay to calling avail_overflow_callback with client_limit=1

Without the delay all (or many/most) processes will call the callback,
because the OS notifies all of the processes of the incoming connection.
This results in all of the connections being killed instead of only a few
of them.

lib-master: Change master_service_set_avail_overflow_callback() API

Needed by the following changes.

login-common: Change struct client.created to timeval

lib-master: Code cleanup to refreshing login state

Unexpected seek offsets are now handled better.

lib-master: Fix calling avail_overflow_callback with service_count=1

This is used by login processes to kill the oldest connection when all of
the clients and processes for the service are taken. This wasn't working
when service_count=1 because the listeners were closed already.

It's not really useful anymore to even do this kind of a listener closing.
It was originally added in 9217d2426b4f8ece47441357f35d8bb34d97c4eb to
prevent restart problems with long-running login processes. However,
nowadays listeners can be closed via SIGQUIT so this isn't necessary.

lib-storage: Correct escaping for list index lookups

- Escape storage name when listing mailbox from index and unescape mailbox name
when looking for sibling nodes.
- Unescape when adding node to list index.
- List index iteration is performed with storage name where separators must be
escaped with storage_name_escape_char. Index lookup is done with storage_name
which is escaped with storage_name_escape_char but node names are unescaped.

lib-storage: Expose mailbox_list_name_{escape,unescape} functions in header

To be used in mailbox-list-index.

lib-storage: test-mail-storage: Separate test cases for "LAYOUT=INDEX"

With default escaping for "INDEX" layout, more mailbox name are accepted.

lib-storage: mailbox-list: Add default storage name escaping for index layout

Add a default value for "storage_name_escape_char" when "LAYOUT=index".
Needed for situations where mailbox name contains separator char (e.g.
after migration to new separator) and listescape plugin is not active.

lib-storage: Rename mailbox_list_index_node.name to raw_name

To make it clear that the string is unescaped raw value, rename from
generic "name" to "raw_name".

lib-storage: Add mailbox list index alt separator

To avoid collision with storage name escape character, use an
alternative char ('^') if hierarchy separator for list index is the same char.

login-common: Finish freeing the client when anvil lookup is pending at destroy

Broken by f32daf5ac9eaa886e28659965fc0156b52b60bda

login-common: Assert-crash at deinit if there are still referenced clients

login-common: Track referenced but destroyed clients in a linked list

This helps debugging.

lib: test-cpu-limit - Increase ALLOW_MSECS_ABOVE further

1500 was still not enough to prevent random failures.

lib: cpu-limit - Redesign the API

The new API no longer has a signal callback, just a cpu_limit_exceeded()
function that needs to be periodically called to check if the limit has
exceeded. The callback could be added back if really necessary, but it's
just too easy to use signal handlers unsafely.

The new API also supports separating limits for user and system CPU usage.
It also attempts to guard against any unexpected kernel behavior resulting
from unclear behavior on how exactly the getrlimit(), setrlimit() and XCPU
signals interact.

lib: cpu-limit - Split off cpu_limit_get_usage_msecs_with()

lib: cpu-limit - Move cpu_limit_get_usage_msecs()

lib: cpu-limit - Update comments related to nesting

lib: cpu_limit_get_usage_[m]secs() - Add type parameter

It can now return user CPU, system CPU or both usages.

lib: cpu-time - Use the original struct rusage as the initial_usage

This will allow separation of user and system CPU usage tracking.
They could have been tracked with two separate struct timevals, but
the extra memory usage is small and it might be nice to have all the
available data for debugging.

lib: test-cpu-limit - Fix nested limit asserts

lib-imap: Handle empty lists in IMAP BODYSTRUCTURE parsing as invalid

They should be NIL instead of () if they're empty.

lib-imap: Fix assert-crash if parsing invalid BODYSTRUCTURE with empty Content-Language list

If there's no Content-Language, it should be NIL in the bodystructure.
So if the value is (), it is invalid.

This could in theory have happened when parsing corrupted
dovecot.index.cache or receiving it from a broken remote IMAP server with
imapc. The bug was found by fuzzing though.

Fixes:
Panic: file imap-bodystructure.c: line 98 (part_write_bodystructure_common): assertion failed: (*lang != NULL)

lib-imap: test-imap-bodystructure - imap_bodystructure_parse() - Test returned error

lib-lua: Error out the build if using Lua 5.2

Global: Remove support for Lua 5.2

It took far too much effort to keep compatible with it.  Since every distro
out there provides either Lua 5.1 or 5.3, it makes sense to give up on 5.2.

m4: Allow explict override of lua version

It is possible that the system has several different versions of Lua
installed.  This change allows one to force a specific version of Lua during
./configure.  For example:

LUA_CFLAGS="`pkg-config lua51 --cflags`" \
LUA_LIBS="`pkg-config lua51 --libs`" \
./configure \
--with-lua

lib-storage: Preserve last-rename-stamp when rebuilding index

lib-storage: Don't trust last-rename-stamp that is too far into the future

If the timestamp is in the future, autoexpunging stops working until the
future time is passed. If this happened due to corruption, it could take
a long time before the timestamp is reached.

lib-storage: Preserve hdr-pop3-uidl when rebuilding index

This prevents potentially expensive metadata lookups afterwards when trying
to find out which mails have the POP3 UIDLs in their metadata.

lib-storage: Convert index_rebuild_box_name_header() into generic index_rebuild_box_preserve_header()

doveadm dump: Support hdr-pop3-uidl index header extension

doveadm dump: Include mail-storage-private.h to get easier access to some structs

Avoids having to duplicate the structs.

auth: userdb_parse_[ug]id() - Fix error logging to use events properly

If request is missing, use the global auth_event instead of hiding the
error.

auth: Use auth_request.event for logging whenever possible

auth: auth-client-connection: Log all errors via events

auth: auth-worker-server: Log errors via events

auth: auth-request-handler: Log errors via events

auth: authdb_event() - Use const pointer

auth: Replace auth_master_log_error() with e_error()

auth: auth-worker-client: Log errors via events

auth: auth-worker-client: Fix setting process title to [idling]

The existing code was completely wrong. It was set only when LIST command
started running. For other commands it wasn't set at all.

auth: auth-worker-client: Move common code to auth_worker_request_finished()

auth: auth-worker-client: Move auth_worker_request_finished*()

auth: auth-worker-client: Set "error" for all auth worker request failures

Previously the error was set only for protocol errors. Now it's set for
everything, including password mismatches. However, only the protocol
errors are logged with error level, others are debug level.

auth: auth-worker-client: Rename auth_worker_log_finished() to auth_worker_request_finished()

auth: userdb iteration - Use event based logging

auth: db-passwd-file - Use event based logging

auth: db-ldap - Use event based logging

login-common: Fix assert-crash if client is destroyed during anvil lookup

This could happen if the client gets disconnected due to
"Connection queue full".

Fixes:
Panic: file client-common.c: line 323 (client_destroy): assertion failed: (!client->authenticating)

lib: event_logv() - Make sure errno is preserved

It already should have been, but this change makes it clearer and more
future-safe.

imap: Use internal error for logging FETCH failed disconnection message

submission-login: Fix logging "no auth attempts" at disconnection

client.banner_sent wasn't set, which prevented this from being logged.

lib-smtp: smtp_server_connection_ssl_init() - Don't start SSL handshake

If SSL handshaking fails, it shouldn't be logged as an error similarly to
actual SSL initialization errors.

lib-smtp: Remove smtp_server_connection.disconnect_reason

This isn't used anywhere and its purpose is a bit unclear.

imap-urlauth: Change event_category_urlauth to be static

imap-urlauth: Replace i_info() and i_error() calls with e_info() and e_error()

imap-urlauth: Don't change log prefix just before disconnection line

It shouldn't be necessary. (And if it was, it should be done in init.)

imap-urlauth: client_destroy() - Allow NULL reason only if client is disconnected

imap-urlauth: Remove duplicate "Disconnected: " prefix

It's already logged by client_destroy()

imap-urlauth: Add Username to log prefix

imap-urlauth: Fix event leak if worker can't be connected to

lib-smtp: Standardize iostream error handling

Use [io]_stream_get_disconnect_reason() for logging all errors.
None of the iostream errors are logged as error level anymore. This way
for example TLS connection problems caused by broken clients aren't
logged as errors.

lib: Add o_stream_get_disconnect_reason()

lib: Clarify i[o]_stream_get_disconnect_reason() comment

lib-smtp: Remove EIO-specific error handling

No such error should be seen by lib-smtp.

submission: Standardize "Disconnected:" log line

Remote IP is no longer logged. If it's wanted, it can be added to
mail_log_prefix just like with other protocols.

lib-smtp: Standardize QUIT logging

Similar to POP3, use "Logged out" or "Aborted login by logging out".

pop3: Improve "inactivity" disconnection reason log messages

pop3: Add "Disconnected: " prefix to all disconnection log lines

login-common: Add and use client_destroy_iostream_error()

This standardizes the disconnection log message.

*-login: Replace "Aborted login" with "Disconnected: Aborted login by logging out"

*-login: Add "Disconnected: " prefix to most disconnection log lines

All except "Disconnected by proxy" disconnections.

imap-hibernate: Add "Disconnected: " prefix to all disconnection log lines