auth: mech-gssapi - Add local variables for struct auth_request

auth: mech-gssapi - Make request struct usage and naming consistent

Use struct gssapi_auth_request as function parameter as much as possible.
Make request variable and parameter naming consistent.

auth: mech-gssapi - Move mech_gssapi_initialize()

auth: mech-otp - Set lock flag in otp_try_lock()

auth: mech-otp - Make request struct usage and naming consistent

Use struct otp_auth_request as function parameter as much as possible.
Make request variable and parameter naming consistent.

auth: mech-otp - Merge mech-otp-common.c into mech-otp.c

Separate file is not useful and structure is confusing.

auth: mech-digest-md5 - Use container_of()

auth: mech-digest-md5 - Move types to source file

These were exposed for testing, but exposing the whole struct is excessive.
Putting the struct in the source file is consistent with the other mechanisms
and this test is going to be restructured so that this internal access is no
longer needed.

auth: mech-cram-md5 - Use container_of()

auth: mech-apop - Use container_of()

auth: mech-oauth2 - Rename super request struct field

auth: db-ldap - Move sasl code to separate module

auth: Reformat mech-otp.c

auth: Reformat mech-scram.c

auth: Reformat mech-plain.c

auth: Reformat mech-external.c

auth: Reformat mech-gssapi.c

auth: Reformat mech-cram-md5.c

auth: Reformat test-mech.c

m4: want_gssapi - Add HAVE_GSSAPI conditional

m4: want_gssapi - Properly initialize have_gssapi_plugin variable

.gitignore - Add auth-token-secret.dat

This is often left over from interrupted src/auth tests.

auth: mech-oauth2 - Properly handle PASSDB_RESULT_USER_UNKNOWN result from token verification

lib-auth: auth-scram - Rename scram_scheme_parse() to auth_scram_credentials_parse()

lib-auth: password-scheme-scram - Move scram_scheme_parse() to auth-scram

auth: main - Free global auth settings later

Only then we can be truly sure it is not used anymore during cleanup of other
sub-systems.

auth: main - Free the auths only once requests are truly gone

auth: mech-gssapi - Make sure service credentials are initialized before trying to free them

This may cause a segfault in later changes.

lib: strfuncs - Add t_strdup_until_noconst()

lib: strfuncs - Move t_memdup() declaration to logical place in header

Now it sits below a comment that doesn't apply to this function.

lib: strnum - Add str_parse_data_uintmax()

Allows parsing numbers from generic data, rather than nul-terminated C-strings.

lib-imap-client: Link tests against lib-dovecot

Prevents linking issues later. Also, since lib-imap-client is not in
lib-dovecot, it should not be linking to individual convenience libraries.

lib-test: fuzzer - Properly initialize fd_pump to prevent erroneous closing of fd=0

lib-test: Reformat fuzzer.c

lib-smtp: fuzz-smtp-server - Fix compile warning

.gitignore - Add any fuzzer binary

lib-dict-backend: dict-sql - Avoid data stack growth

virtual: Allow mailbox_count header to be empty

If no folders match, do not error out. Fixes
Error: Mailbox INBOX: virtual index INBOX: Broken mailbox_count header

fs-crypt: Support loading fs_crypt in mail_plugins

This allows using it inside chroot.

fs-compress: Support loading fs_compress in mail_plugins

This allows using it inside chroot.

lib-fs: Add fs_class_unregister()

Decrease fs_classes_deinit() atexit priority so it's called only after
all modules have been unloaded, which could call fs_class_unregister().

lib: module_dir_try_load_missing() - Add the wanted modules to be loaded to the error string

This helps to understand what modules need to be explicitly loaded inside a
chroot.

lib: module_dir_load_real() - Allocate error_r from data stack

We have T_END_PASS_STR_IF() nowadays - use it.

NEWS: Add lib-settings crash to NEWS

NEWS: Add NEWS for 2.4.1

lib-smtp: smtp-client-connection - Fix sending second AUTH response

Due to a copy-paste error it was again using the now freed sasl_ir field for
composing the response.

lib-smtp: smtp-client-command - Allow sending empty AUTH line

doveadm: test-doveadm-util - Remove duplicate symbol

5beff56913f57c42597687e871109e095738946c changed the tests to be linked to
libmaster, which added this duplication.

lib-auth-client: Link tests to all library dependencies

Now that test-auth-master links to libmaster, remove duplicate symbols from
it. And since it's now using the real master_service_is_killed(),
master_service must be non-NULL.

lib-auth: Link libauth to libotp dependency

lib-storage: Don't try to add attachment flags for readonly mailboxes

lib-storage: Fix mail_attachment_detection_options=no-flags-on-fetch

The attachment flag was still added if message body was parsed.

lib-storage: Don't ignore mailbox list index refresh error when updating STATUS info

lib-storage: mailbox_list_index_refresh() - Don't skip refresh if index opening failed

lib-master: Assert-crash if master_service_init_log*() is called before master_getopt()

This makes sure that -L parameter will work for all services.

auth, *-login: Fix using -L parameter to log directly

lib-settings: Don't add proxy_session_established to @metric_defaults/proxy until dovecot_config_version is changed

config: Support settings change tracking for named list filters

config: Assume dovecot_config_version=0.0.0 is the same as the latest version

It's used for git builds.

imap: LSUB - Hide MAILBOX_NOSELECT flag if returned by mailbox listing

lib-storage: Fix children flags when listing mailbox subscriptions with nonexistent mailboxes

lib-storage: Fix subscription listing showing parent namespace prefix

If e.g. shared/user/box was subscribed, LSUB "" % didn't list shared
namespace prefix.

lib-storage: Subscription notifications - Fix crash if initial subscription refresh failed

lib-storage: Remove unused mailbox_list_set_subscription_flags()

acl: Fix potential crash when listing shared mailbox subscriptions

This code is obsolete now that subscriptions handling was moved to
lib-storage.

Using IMAP LIST (SUBSCRIBED) resulted in a crash:

Panic: file acl-mailbox-list.c: line 384 (acl_mailbox_list_info_is_visible): assertion failed: ((info->flags & PRESERVE_MAILBOX_FLAGS) != 0)

lib-storage: Fix subscription listing hiding public/shared namespace prefixes

lib-storage: mailbox_list_ns_prefix_return() - Move subscription checks to be last

This will be needed by the following changes.

lib-storage, acl: Move hiding non-listable public/shared mailboxes to lib-storage

The subscriptions handling is now in lib-storage code, and ACL code doesn't
know about it. Change this so that if public/shared namespace has
subscriptions=yes (i.e. shared across all users), any nonexistent mailboxes'
subscriptions are hidden. This assumes that the user doesn't have enough
ACL rights to list the mailboxes, so they also don't want subscriptions for
them.

lib-storage: mailbox_list_iter_update() - Don't set mailbox list children-flags

Especially when it's used with subscriptions, the existence of subscription
tree nodes has nothing to do with whether the nodes contain existing
mailboxes.

imapc: Set children-flags manually using the mailbox list output

lib-storage: Fix subscription refresh when it autocreates a namespace

If there's a shared/user/foo subscription, it might create shared/user/
namespace. In that case the subscription should go to shared/user/
namespace, not shared/.

lib-storage: mailbox_list_subscriptions_fill() - Remove unused default_nonexistent parameter

lib-storage: Remove unused struct mailbox_list_iter_update_context.update_only

It was always FALSE.

lib-storage: Fix listing nonexistent subscriptions with children

If both A and A/B were subscribed, but nonexistent, the A/B listing marked A
as having been listed already, so it wasn't returned.

lib-storage: fs layout listing - Don't return both MAILBOX_SELECT and MAILBOX_NOSELECT flags

lib-storage: Send mail_opened event only once per mail

The first time mail is opened it is read into cache, while the following
reads are likely to be using the cache. Sending a mail_opened event for the
following reads just confuses statistics.

lib-settings: Change v3.1.1 default settings to v3.2.0

imap, pop3, submission: Remove non-working environment variable handling

Remove support for IP, LOCAL_IP and CLIENT_INPUT environments. These were
originally used by Dovecot v1.x for passing these fields from master
process. They are no longer useful, and they haven't been working anyway.

Also for imap remove support for IMAPLOGINTAG environment.

imap, pop3, submission, imap-urlauth: Fix using USER environment when running standalone

lmtp: lmtp-client - Support command pipelining

lmtp: lmtp-local - Correctly return -1 in lmtp_local_rcpt() upon quota error

This not extremely important, but original code was confusing.

lib-smtp: smtp-server-cmd-data - Properly block pipeline upon final DATA/BDAT command

Never process the next transaction from the input when the current one is not
finished.

lib-smtp: smtp-server - Drop smtp_server_reply_early()

Pipeline handling revised in previous commit makes this functionality
superfluous.

lib-smtp: smtp-server-connection - Fix handling of data commands blocking the pipeline

Data commands would cause the server to hang upon blocking the pipeline if a
reply was submitted while data was still pending from input.

lib-smtp: smtp-command-parser - Allow skipping data from previous command without reading the next

lib-smtp: smtp-server-command - Make smtp_server_command_pipeline_(un)block() debug logging consistent

config: @metric_defaults=proxy - Add proxy_session_established

This shows post-auth latency for actually logging into backend.

lib-var-expand: regex - Support older back references

virtual: If index file has UIDs out-of-order, mark the index corrupted

The next open will rebuild the index.

auth: passwd-file - Avoid assert-crash when using "=value" or "userdb_=value" extra field

auth: ldap - Avoid assert-crash when using %{ldap:} or %{ldap_multi:} with empty attribute name

auth: Avoid assert-crash if returning ":default" passdb or userdb extra field

auth: auth_request_import() - Avoid crash with "passdb_" or "userdb_" field

auth: auth_fields_import_*() - Handle empty key without crashing

auth: auth_request_set_userdb_field() - Add assert that name can't be empty

acl: Add acl_dict_index setting to rebuild ACL dict without iterating the whole dict

acl: struct acl_backend_vfile - Remove unused set

lib-auth, auth: Include auth_allow_weak_schemes setting in related log messages

Makes it easier to understand how to change the behavior.

plugins/acl: doveadm acl - Fix crash if ACLs not enabled

Ensure ACLs are actually enabled when opening mailbox.
Fixes Panic: Module context acl_storage_module missing

auth: mech-winbind - GSS-SPNEGO mechanism is erroneously marked as not accepting NUL