lib-imap: fuzz-imap-bodystructure - Handle CR/LF suppression operated on nstrings

lib-doveadm: Add return to luaL_error in lua_doveadm_client_cmd

Satisfies static analyzers.

lib-ssl-iostream: Use data stack allocation for log prefix

Broken in 799cafd42fd47cc3bcb57f9fa98647051ba770ba

lib-ssl-iostream: Use event based logging

To keep things less complicated, invalid cert info has been changed to a warning.

global: Pass event to SSL iostream

lib-ssl-iostream: Add event to struct ssl_iostream

lib-ssl-iostream: Indicate if we are creating client or server

Needed for next commit.

lib-ssl-iostream: Convert invalid certificate message to warning

login-common: Handle missing ssl_iostream in get_var_expand_table()

It can be missing during connection disconnection when connection
is lost uncleanly.

anvil: Use memmove() for moving penalty checksum buffer

The memory wasn't actually overlapping, because CHECKSUM_VALUE_COUNT=2 so
only 1 element was memcpy()d. However, it would have been wrong if
CHECKSUM_VALUE_COUNT had been higher, so fix it to make the code
future-safe.

Found by Martin Strunz

lib-lua: Add dovecot.gettimeofday(), .nanoseconds() and .microseconds()

Lua itself doesn't have these nicely available.

lib-lua, lib-doveadm: Add lib-doveadm client API to Lua

lib-lua: Add dlua_strtable_to_kvarray() and dlua_table_to_array()

lib-doveadm, doveadm: Add and require doveadm_client_unref()

The only way to destroy a doveadm_client before was to send a command.

lib-lua: Makefile.am - Rename LIBDICT_LUA to WITH_YIELDS_LUA

It's not just dict that is being added there.

login-proxy: Increase LOGIN_PROXY_TTL from 5 to 7

5 is a bit too much on the low side in case there are several redirects.
It shouldn't be too high either, since it'll increase how long it takes
to detect a proxying loop.

login-proxy: Allow proxying twice to the same destination before it's assumed to be a loop

lmtp: Fix forward_ fields handling with reauth requests

doveadm: Don't preserve first auth's forward_ fields for reauth lookup

lib-auth, global: Change forward_fields to be an array of strings

pop3/submission-login: Split off a common client_forward_decode_base64()

submission-login: Fix parsing multiple XCLIENT FORWARD parameters

Each such parameter was intended to replace the previous one, but
the code was only deleting the string without adding the new string.
This didn't really matter, since Dovecot would only ever send a
single FORWARD parameter.

lib-auth: Add debug logging for auth input

login-common: Fix forward_ fields handling with reauth requests

login-common: Reauth error handling fixes

lib-imap: fuzz-imap-bodystructure - Compare ignorecase

submission: Correctly handle var_expand() return codes

pop3: Correctly handle var_expand() return codes

plugins/notify-status: Correctly handle var_expand() return codes

lib-storage: Correctly handle var_expand() return codes

imap: Correctly handle var_expand() return codes

auth: Correctly handle var_expand() return codes

lib: Make var_expand() comparison consistent

var-expand-crypt: Make var_expand() comparisons consistent

var-expand-crypt: Correctly handle var_expand() return codes

var-expand: Delegate error-handling in var_expand_try_extension()

var-expand: Retain error-message in var_expand_try_extension()

var-expand: Assert that hash method is found

var-expand: Require extensions to set error_r if ret != 1

configure: Revert "configure: Remove unused sizeof directives"

This reverts commit 90ec0579eda9bec1a3e636c6716d4edebf795cff, which
incorrectly determined the macros to be unnecessary. The cached values
are used in various places. This commit reverts and comments on the
necessity of the macros.

virtual: When saving to virtual mailbox, convert it early on to backend mailbox

This fixes some confusion in plugins that don't understand that the mailbox
changes. For example when virtual mailbox is configured to save mails to a
backend mailbox, saving mails to the virtual mailbox will now trigger the
backend mailbox's imapsieve scripts. (Virtual mailbox names can't be used
in the imapsieve scripts or configuration, only the backend mailbox names.)

lib-storage: Add mailbox.mailbox_not_original flag

lib-storage: Add default implementation for mailbox_list_vfuncs.get_storage()

lib-storage: mailbox_list_get_storage() - Add flags, and allow changing vname

The previous API allowed changing the mailbox_list, but not the vname
string. Now it's possible to change both.

The flags allows the implementation more flexibility. It will be used by
following commits to determine whether opening a virtual mailbox should
actually be opening the backend mailbox (for saving mails).

lib-imap: fuzz-imap-bodystructure - Replace string comparison with part comparison

bodystructure strings comparison can break due to imap_append_string_for_humans()
can alter some fields (Subject, Addresses). Instead, we do a part vs part comparison
checking several string fields that are known not to use the aforementioned call.
This gives the fuzzer 'space' to explore the string parser anyway and to test if
the re-encoding is coherent.

lib-imap: fuzz-imap-bodystructure - Include header rather than source file

lib-mail: Add message_part_is_equal_ex() allowing additional checks on parts

lib-test: FUZZ_BEGIN_STR() - Replace NULs('\0') with backslashes '\\'

This is done so that the strings generated from fuzzer data always contain a
maximal length string. The presence of NULs creates aliases in the fuzz space
and makes less likely to generate very long NUL terminated strings.
The backslash is chosen instead of space as replacement because it is usually
a more troublesome character to handle.

auth: Add a comment about updating userdb_find()

auth: Fix handling passdbs with identical driver/args but different mechanisms/username_filter

The passdb was wrongly deduplicated in this situation, causing wrong
mechanisms or username_filter setting to be used. This would be a rather
unlikely configuration though.

Fixed by moving mechanisms and username_filter from struct passdb_module
to struct auth_passdb, which is where they should have been in the first
place.

lib-storage: Avoid calling mail_set_attachment_keywords() recursively

It doesn't break, but it's unnecessary work.

lib-imap: imap_bodystructure_parse*() - Reset parts.data on failure

Having the data filled only to some message_parts can confuse the callers,
thinking that all the parts were successfully filled.

Fixes:
Panic: file message-part-data.c: line 579 (message_part_is_attachment): assertion failed: (data != NULL)

want_ldap.m4: Define LDAP_DEPRECATED unconditionally when ldap is enabled

Regression was introduced in 838e65f96678a4a390c94f0a59e1ec489ee532d2.

lib-imap: imap_bodystructure_parse_args() - Prevent stack overflow on too nested bodyparts

lib-imap: is_valid_atom_char() - Fix implicit conversion from unsigned to signed char

lib-imap: str_sanitize_binary() - Fix implicit conversion from bool to int

m4: Configure lua to be auto-enabled by default

stat/event-exporter-fmt.c: Cast tv_usec value to unsigned int in rfc3339-time formatter

This commit prevents compilation warnings if tv_usec has a different
type than the assumed unsigned long (e.g. on macOS). This also makes the
rfc3339-time formatter consistent with the unix-time formatter for this
field.

configure: Remove unused sizeof directives

lib: Use size of size_t instead of data-model for bit-widths

This commit drops the generic and confusing data-model check (that
is a platform-specific value of bit-widths for various data types) in
favor of checking the actually used size (i.e. size_t).

lib-fs/fs-posix: Fix variable scopes for missing flock()

Move local variables into their used scope to fix unused-variable errors
in case flock() is not available.

lib/mmap-util: Drop manual redefinition of madvise()

Using posix_madvise() allows us to drop the manual re-implementation of
madvise() and the relevant function-check in the configuration step.

global: Replace madvise() with posix_madvise() function

To allow compilation on POSIX conformant systems this commit replaces
the non-standard madvise() call and it's advice-values with the posix
specific posix_madvise() and appropriate values.

lib/compat.h: Remove unnecessary GNUC-checks for typechecks

lib: Make pagesize-retrieval portable

The getpagesize() function has been deprecated in POSIX.1-2001. This
commit replaces the function call with the portable way to retrieve this
value at runtime. All callsites now use mmap_get_page_size() as the
canonical way to retrieve this value in this project.

doc/Makefile.am: Explicitly state requirements for venv target

FreeBSD does not correctly resolve the prerequisite macros for the
venv-target, so explicitly state the file to recursively install.

lib-index/test-mail-index-transaction-update.c: Fix timzone offset check

The extern timezone variable is not standardized. This commit introduces
a more portable way of determining the UTC-offset by using the local
time.

auth/db-ldap.h: Define LDAP_DEPRECATED in m4/want_ldap.m4 if enabled

This will supply this macro to all places where db-ldap.h is not
included. This is necessary to make the project compile on FreeBSD.

lib/compat.h: Remove manual definition of IOV_MAX

This is POSIX 2008 and the project now defines _XOPEN_SOURCE, so a
manual check/re-definition should not be necessary.

lib/compat.h: Remove workardound for dev_t comparisons

dev_t is defined by POSIX to be a number, and all supported systems
define major() and minor() at one place or the other, thus this commit
removes the workarounds.

lib/compat.h: Remove HAVE_PREAD workaround

pread() should be included in the systems that we officially support (as
is required by defining _POSIX_C_SOURCE), there is no further need to
check for this function's existence or manual
re-implementations/workarounds.

lib/compat.h: Remove PREAD_WRAPPERS workaround

As this project defines a baseline system with
_XOPEN_SOURCE/_POSIX_C_SOURCE that includes pread for glibc, this
workaround can be removed.

lib/compat.h: Remove PREAD_BROKEN workaround

As HP-UX is not officially supported anymore this workaround can be
safely removed.

lib/compat.h: Define a base compilation system

Add macros to setup the compiler environment for a specific baseline,
this allows us to drop manual re-implementations of system-provided
functionality.

lib/compat.h: Remove shim of LLONG_MAX definition

The base system is now required to supply a sensibly up-to-date compiler
suite/standard library that defines LLONG_MAX natively and thus this
manual re-definition can be dropped.

lib/compat.h: Remove shim of C99 integer datatypes

The base system is now required to be compatible with C99 and thus the
manual check/re-definition of the necessary integer types can be
dropped.

lib/compat.h: Remove shim for native C99 bool datatype/keyword

The base system is now required to be compatible with C99 and thus the
manual check/re-definition of bool can be dropped.

lib/compat.h: Remove shim of C99 vsnprintf

The base system is now required to be compatible with C99 and thus the
manual check/re-implementation can be dropped.

lib/compat.h: Remove libgen compatibility hack

Neither libgen.h nor its provided functions is used anywhere and thus
the manual re-implementation compatibility hack can be removed as well.

lib: Remove unnecessary include of libgen.h

Includes unnecessary as none of the provided functions are used.

lib/compat.h: Document compatibility hacks

m4: dovecot.m4 - Remove PANDOC requirement

m4: want_lua.m4 - Maintain code quality

This commit is mainly for making the lua-related macros consistent with
the rest of the configurations. No functional changes were made:
- Move lua argument registration into configure to be co-located with
  other options,
- move lua conditionals into want_lua macro for increased consistency,
- rename parameter to "want_lua", and
- fix indentation.

m4: want_lua.m4 - Fix pkg-config check

Make sure the configuration errors out when --with-lua is requested but
not viable library can be found. Previously this would lead to
compilation errors.

m4: Remove signed-check of size_t

According to the C standard it shall be unsigned and this project
requires a compliant C99 compiler.

m4: Remove unused VA_COPY_AS_ARRAY macro

m4: Remove check for clock_gettime()

This project requires a POSIX.1-2008 compatible system and
clock_gettime() is conforming to POSIX.1-2001.

m4: Remove check for C99 static array sizes

As we require C99 to be supported this check can be reverted into a
static declaration.

m4: Remove unused AC_CHECKTYPE2 macro

m4: want_gssapi.m4 - Replace tabs with spaces

m4: gmtime_max.m4 - Replace tabs with spaces

m4: ioloop.m4 - Replace tab with spaces

m4: quota.m4 - Replace tab with spaces

m4: vararg.m4 - Replace tab with spaces

m4: check_python_venv.m4 - Replace tabs with spaces

m4: ac_typeof.m4 - Replace tabs with spaces

m4: random.m4 - Fix indentation

m4: sql.m4 - Fix indentation

m4: want_pam.m4 - Fix indentation

m4: want_icu.m4 - Simplify pkg-config check

This commit simplifies the package check to be more consistent with the
other pkg-config module checks, which lowers the burden of maintenance.