trash: Properly handle situation in which quota roots have different sets of visible trash mailboxes

trash: trash-plugin - Create sub-event for cleanup attempt

trash: Do not modify *_ceil and *_over fields in struct quota_transaction_context

These are not supposed to be modified. Instead, increase the *_expunged fields.

quota: Add support for recording quota resource usage reduction from sub-transactions

Such transactions apply their own quota modifications, so modifying the usage
fields for the present transaction would cause such modifications to be
counted several times. However, their effect must be applied in the quota limit
calculations, so the amount of resources expunged in sub-transactions is
recorded in separate fields.

quota: quota-util - Add quota_used_apply_expunged()

quota: Create facilities for determining which quota root limit is exceeded

quota: quota - Use normal for-loop in quota_transaction_begin()

trash: Perform expunge in a separate function

Also, improve the integer calculations for updating the total amount of expunged
resource usage.

trash: Perform check for achievement of quota usage reduction target in a separate function

trash: Record resource expunge status and target in struct trash_clean

Also make the value types uint64_t consistently, which matches the quota plugin API.

trash: Substitute (uint64_t)-1 with UINT64_MAX

trash: Limit scope of local variables to where they are used in trash_clean_execute()

trash: Restructure trash_try_clean_mails()

- Avoid storing temporary state in the global trash mailboxes list. Instead,
  allocate local state on the data stack.
- Avoid using goto by wrapping the core of the function in another function that
  guarantees cleanup.

quota: quota-util - Simplify quota_is_over()

quota: quota-util - Assert that either ceil or over parameter equals 0 in quota_is_over()

quota: quota-util - Rework comments in quota_is_over()

quota: quota-util - Fix bug in quota_is_over()

The case were the storage is under quota even before deleting the messages and
the new allocation exceeds the quota limit was tested with reverse logic. The
original test first checks that the allocation is larger than the deletion
(which is ok) and subsequently checks that the excess is *smaller* than the
ceiling, yielding an over-quota result, which made no sense.

quota: Make quota_root_is_visible() available for plugins

quota: Move quota limit calculations from quota_transaction_is_over() to a separate function

This makes the implementation for count and bytes quota fully identical. Makes
the algorithm avaiable for other functions.

quota: Move quota_get_mail_size() to quota-util.c

Makes it available for broader internal use.

quota: Link tests to lib-storage

lib-auth: Move things needed by auth and doveadm to libauth-crypt.la

Avoids linking everything with libsodium and libcrypt

imap-acl: Add support for the IMAP LIST-MYRIGHTS capability

imap-acl: Move sending MYRIGHTS response to a separate function

imap: cmd-list - Add infrastructure for dynamically adding support for new RETURN flags

This is needed for the new IMAP LIST-MYRIGHTS capability (RFC 8440).

imap: cmd-list - Exit loop in cmd_list_continue() early upon connection failure

imap: cmd-list - Make the list iter flags a parameter for list_send_status()

Before, it was available only in the LIST command context. This is preparation
for adding infrastructure for dynamically adding support for new RETURN flags.

imap: cmd-list - Make the namespace a parameter for list_send_status()

Before, it was determined internally. This is preparation for adding
infrastructure for dynamically adding support for new RETURN flags.

imap: cmd-list - Collect parameters for list_send_status() in a struct

This is preparation for adding infrastructure for dynamically adding support for new RETURN flags.

imap: cmd-list - Add assert to list_send_status()

While listing subscriptions, but only child is subscribed, the appropriate
mailbox info flag must be also set.

imap-acl: Reformat imap-acl-plugin.c

m4: Update pkg.m4

lib-dcrypt: Fix ostream-encrypt error handling

Stream errno was not always set

config: Avoid duplicating version numbers when listing supported config versions

auth: Allow configuring passdb/userdb sql to use auth-workers

If passdb/userdb_use_worker=yes, this overrides the sql-driver specific
worker decision.

lib-storage: Clear storage errors if iteration failed due to no mailbox attribute dict

This doesn't normally matter, but if there are error handling bugs elsewhere
this error might wrongly show up in logs and cause confusion. It's better to
log "Unknown error" in that case.

lib-var-expand: Add backwards compability for older bison

Bison 3.5.1 does not add error symbol or handling, add them ourselves.

auth: lua - Remove dead code

fts-flatcurve: Switch from <stdio.h> to <cstdio>

fts-flatcurve: Fix potential crash when searching virtual mailboxes

Fixes:
Panic: file fts-search.c: line 87 (level_scores_add_vuids):
assertion failed: (array_count(&vuids_arr) == array_count(&br->scores))

fts-flatcurve: Support lock files in VOLATILEDIR

fts-flatcurve: Fix maybe queries

fts-flatcurve: Ignore non-selectable mailboxes when doing optimize/rescan

fts-flatcurve: Ignore alias mailboxes when doing optimize/rescan

fts: xml2text - Move lib_init()/deinit() to surround event_create() and unref()

Otherwise we crash at 23: .event = event_create(NULL)

config: Add explicit support for 3.1.0 version

Config version 3.0.x is no longer supported.

lib-var-expand: Use moduledir instead of pkglibdir for crypt

This is where the module is installed.

lib-dict: Add DISTCLEANFILES for dict-drivers-register.c

Makefile: Exclude conf files from dist uninstall check

auth: lua - Passdb/userdb lookups can no longer return a single string on success

The second return value must be either a table or nil. Returning a single
string was a bit unsafe since its values could accidentally become expanded
to spaces, causing unsafe behavior.

If the first return value indicates an error, the second can still be a
string.

auth: Remove unused passdb/userdb-template.[ch]

auth: lua - Remove auth_request#response_from_template()

This is a bit unsafe since it can't handle e.g. spaces in values.
It's also relying on otherwise obsolete template code.

auth: Move STATIC_PASS_SCHEME to passdb.h

auth: Expand debug message about auth failure delay handling

auth: Avoid auth failure delays entirely with auth_failure_delay=0

auth: Don't use auth failure delay for internal failures

Internal failures nowadays have their own delays.

auth: Split off auth_request_want_failure_delay()

lib-var-expand: Validate UTF-8 input

lib-var-expand: Fix lexer error passing

This way we can actually tell what the lexer did wrong.

lib-var-expand: fn_domain - Copy value before setting state

lib-var-expand: Reuse var_expand_state_set_transfer_data() in var_expand_state_set_transfer_binary()

It's same code

lib-var-expand: Ensure we don't try to set transfer from partial of it

imap: Fix crash with Maildir when trying to send INPROGRESS during mailbox syncing

Mailbox syncing could have been done outside command context, in which case
there is no global event.

global: Fix compiling without ldap

global: Replace PASSDB_LDAP/USERDB_LDAP with HAVE_LDAP macro

This macro is needed for other ldap-related code.

auth: Fix memory leak when building oauth2 failure JSON reply

Broken by 4bf8b11f5196752bb928baf59e48f9774bb0ce59

lib-smtp: Fix pipelining initial SASL response after AUTH

auth: Avoid delaying reply when shutting down

auth: Deinitialize connection already in auth_client_connection_destroy()

auth: Deinitialize passdb before freeing up settings

Some passdbs need the settings during deinitialization.

quota: Fix integer type in quota_warning_match()

Found by static analysis

lib-var-expand: Fix potential crash if referring to too large regexp capture group

Using sizeof() will not give number of elements here.

lib-var-expand: Ensure key is not NULL in fn_hash()

Satisfies static analysers

lib-var-expand: Fix memory leak if filter fails

Broken in a9d9eb4297a2cccec0cf698a45efb4f1987bdc63

lib-settings: Fix sorting named list filter overrides

It should check that both set1 and set2 have non-zero
filter_element_count.

Broken in e2a3a0a6915668a44750aa30b70fa39caf22be4a

fts: Use FTS_USER_CONTEXT_REQUIRE in fts_mail_user_init()

User is required to be present.

Broken in 6634e45500e81cfa36932203ee69c81745efd3e6

fts-solr: Require user context

Broken in 324adafd921edddc83606af9ea97d9c4587ea920

fts-flatcurve: Require user context

Broken in b4ca8f7e58a0a7561a314fe733c65914966d9046

auth: Remove useless variable in db_oauth2_var_expand_func_oauth2()

NEWS: Add news for v2.4.0

NEWS: Fix formatting to match editorconfig

editorconfig: Use tabs with NEWS file

login-common: Add proxy_session_reconnecting event and log it as warning

Even if the login succeeds on a retry, it can still indicate e.g. network
packet loss, which can be useful to see in log files as warning.

lib-settings: Allow spaces in "key +=value"

This is useful in configuring userdb_fields { key += value }

config: Use isspace() for checking whitespace

global: Update documentation links in source code

INSTALL: Update documentation links for 2.4

README: Master RFC list is now maintained in documentation

global: Set application protocol on new context only

lib-ssl-iostream: Change ssl_iostream_context_cache_get() to return 1 on new context

This allows differentiating when a new context was actually created.

lib-ssl-iostream: Set context application protocols only once

lib-ssl-iostream: Fix compiling with libressl

libressl has no SSL_OP_NO_RENEGOTIATION. Fix this by disallowing channel
binding with libressl when using TLSv1.2 or older.

auth: mech-oauth2 - Use json ostream instead of generator

configure.ac: Remove unused want_devel_checks

lib-settings: Rename DEVEL_CHECKS ifdefs to DEBUG

imap: Move ENABLE's mail_utf8_extensions check to UTF8=ACCEPT callback

imap: Allow feature callbacks to not enable the feature

imap: Fix ENABLE UTF8=ACCEPT to not return it to client if mail_utf8_extensions=no

lda: Remove check to fail if binary is setuid-root and world-executable

It's not safe to use as setuid-root even when not world-executable.
Remove the check so people might not get wrong ideas about its safety.

lib-lua: Add event.[un]set_forced_debug()