lib-storage: Remove unused mail_storage_service_get_global()

lib-storage, global: Rename mail_user._service_user to service_user

It's now always set, so the underscore isn't useful.

lib-storage: mail_user_alloc*() - Require service_user parameter

lib-storage: Create a service_user for shared mail_users

lib-storage: shared - Split off shared_mail_user_init()

lib-storage: shared - Minor code refactoring

Simplifies the following commit.

lib-storage: shared - Fix freeing partially created user if %variable expansion fails

lib-storage: raw-storage - Create a service_user

lib-storage: Rename "raw mail user" to "raw-mail-user"

It works better in logs without spaces.

lib-storage: Fix using NO_RESTRICT_ACCESS flag with TEMP_PRIV_DROP

The following changes will use MAIL_STORAGE_SERVICE_FLAG_NO_RESTRICT_ACCESS
with e.g. shared user lookups. The process UID must not be changed in this
case. However, if MAIL_STORAGE_SERVICE_FLAG_TEMP_PRIV_DROP was set, the
code was still reseting UID to root, which isn't wanted.

lib-storage: Don't set home directory immediately when userdb lookup is disabled

This is going to be needed by the following change that creates shared users
via service_user. Otherwise the shared users' home directory will be wrong.

Do set home immediately if it's provided by
mail_storage_service_input.userdb_fields. This will be used by the
raw-storage user to set the home directory.

Also update some comments explaining about how NULL works for home.

lib-storage: Don't use HOME environment when userdb lookup is disabled

We no longer support cli tools using settings from environment. This was
also causing problems in the following commits.

lib-storage: Add mail_storage_service_input.autocreated

lib-storage: Add mail_storage_service_input.no_free_init_failure

This allows using mail_storage_service_lookup_next() in a way that mail_user
won't be freed on init failures, which allows getting extra information
about why the initialization failed.

lib-storage: Add mail_storage_service_user_get_{event|username}() accessors

doveadm: doveadm-auth - Add support for SASL mechanism in test and login commands.

lib-sasl: Add support for SCRAM-SHA-1 and SCRAM-SHA-256.

lib-auth: Add tests for SCRAM protocol interaction.

lib-auth: password-scheme-scram - Split off auth_scram_generate_key_data() from scram_generate().

Moved to auth-scram.

lib-auth: Implement client-side processing for SCRAM-SHA-* authentication.

lib-auth: auth-scram-server - Diligently clean key data.

auth: Move password-scheme code to lib-auth-common.

auth: Move auth-scram-server to lib-auth-common.

auth: Move auth-scram to lib-auth.

Create lib-auth

This is where we'll put code common to auth server and client across
authentication frameworks.

Rename lib-auth to lib-auth-client.

auth: mech-scram - Split off core implementation for server-side SCRAM-SHA-* authentication.

auth: mech-scram - Add custom free() method.

auth: mech-scram - Use container_of().

auth: auth-scram-server - Augment comment in auth_scram_parse_client_first().

auth: auth-scram-server - Move key data to separate struct.

auth: auth-scram-server - Change return type of auth_scram_get_server_final() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_get_server_first() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_parse_client_final() to int.

auth: auth-scram-server - Change return type of auth_scram_parse_client_first() to int.

auth: auth-scram-server - Add auth_scram_ prefixes to functions.

auth: auth-scram-server - Rename "request" variables to "server".

auth: mech-scram - Move get_scram_server_final() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_final() to auth-scram-server.c.

auth: mech-scram - Move verify_credentials() to auth-scram-server.c.

auth: mech-scram - Move get_scram_server_first() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_first() to auth-scram-server.c.

auth: mech-scram - Move scram_unescape_username() to auth-scram-server.c.

auth: mech-scram: Remove useless include of limits.h.

auth: auth-scram - Rename Hi() to auth_scram_hi() and make it public.

auth: password-scheme-scram - Move Hi() to auth-scram.c.

lib: str - Add str_clear() and str_clear_safe().

lib: buffer - Add buffer_clear_safe().

lib: buffer - Add buffer_clear()

For completeness with respect to the next commit.

auth: Reformat mech-scram.c.

auth: Remove duplicate "nodelay" extra field sent as passdb reply

The auth clients just ignored the duplicate, so this didn't cause any
visible bugs.

The "nodelay" field was originally added as a hidden field, which wouldn't
be sent as a passdb reply. However, the "nodelay" field became visible
again in 4307e3a2320dabbac53ad712790ffd250d527108.

lib-dcrypt: Return after loading JWK key

Otherwise we try to load it as PEM key, which will fail.

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

lib-dcrypt: Use BN_secure_new in dcrypt_openssl_key_load_private_raw

lib-dcrypt: test-crypto - Add missing test_end call to abnormal return

Forgotten in 316cbe323513a0f20d1cf519fe9405e231d633e2

lib-dcrypt: test-crypto - Add pointer to hold error when calling dcrypt_ctx_sym_create

Forgotten in 6c65d2f659d8bb2785f5a18fe583b456e0b5cece

lib-dcrypt: Fix leaking BN points

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

maildir: maildir_mailbox_open() - Split off maildir_is_selectable()

maildir: maildir_mailbox_open() - If the namespace root or INBOX has any subdir create others as well

maildir: maildir_mailbox_open() - Disable maildir subdirectory creation for INBOX

This was added in 522925f6e9ff8fe9592511c2221b3d6526d4cbf4. In the
meantime autocreate code changed so this is no longer valid.

welcome-plugin: Remove welcome_open_box()

welcome-plugin: Move script_execute() to welcome_create_box()

The welcome script was executed while opening the INBOX only when
the same session had created it. This could have led to unexpectedly not
executing welcome when not opening the mailbox right after it was created.

The original code delayed the welcome script run because mailbox creation
wasn't finished until the mailbox was opened. This seems to have become
fixed at some point.

lib-sql: driver-sqlite - Handle SQLITE_READONLY error in exec

lib-sql: driver-sqlite - Handle permission errors when opening database

lib-sql: driver-sqlite - Handle memory allocation errors

global: Don't use ENUM_NEGATE() with non-enum variables

Fixes compiler warnings.

m4/dovecot.m4: Fix including all symbols from .a libs with new glibc

New glibc no longer has libdl, so the check for it no longer works.
Use -export-dynamic instead, which is used with both old and new glibc.

config: Add missing flags when linking

Remove accidentally committed list.txt

doveadm log errors: Show also errors from master process

master: Track the last 1000 errors in a buffer

This is the same as what the log process does. The master process errors
aren't sent to the log process though.

doveadm: Split off master_service_send_cmd()

doveadm log errors: Add microseconds to timestamp

log: Move log-error-buffer to lib-master

imap-acl: Check if ACL context is enabled for a namespace before accessing it

This will prevent a crash when accessing an ACL context from a user that
doesn't exist and return an appropriate NONEXISTENT message.

lib-smtp: unit tests - Use signals to ensure client doesn't start before server is ready

lib-smtp: smtp_server_connection_input() - Ensure output errors (and closure) are handled

This is especially critical while performing the DATA command.
The DATA (and AUTH) command use smtp_server_connection_reply_immediate()
from within the connection input handler. Without the new code, output
errors in that function are not caught and lead to the server to hang
if the connection is closed in the right moment.

lib-smtp: cmd_data_next() - Fix whitespaces

global: unit-tests - Extract TEST_SIGNALS_DEFAULT_TIMEOUT_MS constant

lib-http: test-http-client-errors - Add synchronization for test_run_dns() startup

lib-http: test_run_client_server() - Rearrange the reset/wait calls that sync test_run_server() startup

SECURITY.md: Update information

lib-http: server - Fix potential crash with previous change on client disconnect

Broken by 1418d1e9018fc34287722467c6ee506f3e378e1a

lib-storage: Cache all wanted fields whenever possible

doveadm fetch: Add mime.parts field

This is mainly useful for debugging/testing. It writes the internally
parsed message_parts which are usually in dovecot.index.cache.

lib-http: test-http-payload - Use ostream-final-trickle for server connections

lib-http: test-http-payload - Add filenames to data mismatch error messages

lib-test: Add ostream-final-trickle

lib: Add connection_vfuncs.init()

lib-http: server - Don't disconnect client before response is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: server - Don't disconnect client before payload is fully sent

lib-storage: Add mail_storage_service_input.unexpanded_set_parser

lib-storage: Write vsize record always for <4GB-1 mails

dict: Handle each dict iteration flush in separate data stack frame

cassandra: Handle each reply in a separate data stack frame

login-common: Use separate data stack frames when looping through clients

global: Avoid using data stack as memory pool for potentially large allocations

The previous usage wasn't really bad, since the memory was freed soon
enough. However, these make it more difficult to find when data stack
really is growing excessively.

virtual: Sync each backend mailbox in its own data stack frame

fts: Add data stack frames to reduce memory usage when parsing many MIME parts

fts: Call backend vfuncs in separate data stack frames

Add only to vfuncs that are run in loops.

fts: fts_user_language_init_tokenizers() - Add data stack frames