lib-auth: Add tests for SCRAM protocol interaction.

lib-auth: password-scheme-scram - Split off auth_scram_generate_key_data() from scram_generate().

Moved to auth-scram.

lib-auth: Implement client-side processing for SCRAM-SHA-* authentication.

lib-auth: auth-scram-server - Diligently clean key data.

auth: Move password-scheme code to lib-auth-common.

auth: Move auth-scram-server to lib-auth-common.

auth: Move auth-scram to lib-auth.

Create lib-auth

This is where we'll put code common to auth server and client across
authentication frameworks.

Rename lib-auth to lib-auth-client.

auth: mech-scram - Split off core implementation for server-side SCRAM-SHA-* authentication.

auth: mech-scram - Add custom free() method.

auth: mech-scram - Use container_of().

auth: auth-scram-server - Augment comment in auth_scram_parse_client_first().

auth: auth-scram-server - Move key data to separate struct.

auth: auth-scram-server - Change return type of auth_scram_get_server_final() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_get_server_first() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_parse_client_final() to int.

auth: auth-scram-server - Change return type of auth_scram_parse_client_first() to int.

auth: auth-scram-server - Add auth_scram_ prefixes to functions.

auth: auth-scram-server - Rename "request" variables to "server".

auth: mech-scram - Move get_scram_server_final() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_final() to auth-scram-server.c.

auth: mech-scram - Move verify_credentials() to auth-scram-server.c.

auth: mech-scram - Move get_scram_server_first() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_first() to auth-scram-server.c.

auth: mech-scram - Move scram_unescape_username() to auth-scram-server.c.

auth: mech-scram: Remove useless include of limits.h.

auth: auth-scram - Rename Hi() to auth_scram_hi() and make it public.

auth: password-scheme-scram - Move Hi() to auth-scram.c.

lib: str - Add str_clear() and str_clear_safe().

lib: buffer - Add buffer_clear_safe().

lib: buffer - Add buffer_clear()

For completeness with respect to the next commit.

auth: Reformat mech-scram.c.

auth: Remove duplicate "nodelay" extra field sent as passdb reply

The auth clients just ignored the duplicate, so this didn't cause any
visible bugs.

The "nodelay" field was originally added as a hidden field, which wouldn't
be sent as a passdb reply. However, the "nodelay" field became visible
again in 4307e3a2320dabbac53ad712790ffd250d527108.

lib-dcrypt: Return after loading JWK key

Otherwise we try to load it as PEM key, which will fail.

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

lib-dcrypt: Use BN_secure_new in dcrypt_openssl_key_load_private_raw

lib-dcrypt: test-crypto - Add missing test_end call to abnormal return

Forgotten in 316cbe323513a0f20d1cf519fe9405e231d633e2

lib-dcrypt: test-crypto - Add pointer to hold error when calling dcrypt_ctx_sym_create

Forgotten in 6c65d2f659d8bb2785f5a18fe583b456e0b5cece

lib-dcrypt: Fix leaking BN points

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

maildir: maildir_mailbox_open() - Split off maildir_is_selectable()

maildir: maildir_mailbox_open() - If the namespace root or INBOX has any subdir create others as well

maildir: maildir_mailbox_open() - Disable maildir subdirectory creation for INBOX

This was added in 522925f6e9ff8fe9592511c2221b3d6526d4cbf4. In the
meantime autocreate code changed so this is no longer valid.

welcome-plugin: Remove welcome_open_box()

welcome-plugin: Move script_execute() to welcome_create_box()

The welcome script was executed while opening the INBOX only when
the same session had created it. This could have led to unexpectedly not
executing welcome when not opening the mailbox right after it was created.

The original code delayed the welcome script run because mailbox creation
wasn't finished until the mailbox was opened. This seems to have become
fixed at some point.

lib-sql: driver-sqlite - Handle SQLITE_READONLY error in exec

lib-sql: driver-sqlite - Handle permission errors when opening database

lib-sql: driver-sqlite - Handle memory allocation errors

global: Don't use ENUM_NEGATE() with non-enum variables

Fixes compiler warnings.

m4/dovecot.m4: Fix including all symbols from .a libs with new glibc

New glibc no longer has libdl, so the check for it no longer works.
Use -export-dynamic instead, which is used with both old and new glibc.

config: Add missing flags when linking

Remove accidentally committed list.txt

doveadm log errors: Show also errors from master process

master: Track the last 1000 errors in a buffer

This is the same as what the log process does. The master process errors
aren't sent to the log process though.

doveadm: Split off master_service_send_cmd()

doveadm log errors: Add microseconds to timestamp

log: Move log-error-buffer to lib-master

imap-acl: Check if ACL context is enabled for a namespace before accessing it

This will prevent a crash when accessing an ACL context from a user that
doesn't exist and return an appropriate NONEXISTENT message.

lib-smtp: unit tests - Use signals to ensure client doesn't start before server is ready

lib-smtp: smtp_server_connection_input() - Ensure output errors (and closure) are handled

This is especially critical while performing the DATA command.
The DATA (and AUTH) command use smtp_server_connection_reply_immediate()
from within the connection input handler. Without the new code, output
errors in that function are not caught and lead to the server to hang
if the connection is closed in the right moment.

lib-smtp: cmd_data_next() - Fix whitespaces

global: unit-tests - Extract TEST_SIGNALS_DEFAULT_TIMEOUT_MS constant

lib-http: test-http-client-errors - Add synchronization for test_run_dns() startup

lib-http: test_run_client_server() - Rearrange the reset/wait calls that sync test_run_server() startup

SECURITY.md: Update information

lib-http: server - Fix potential crash with previous change on client disconnect

Broken by 1418d1e9018fc34287722467c6ee506f3e378e1a

lib-storage: Cache all wanted fields whenever possible

doveadm fetch: Add mime.parts field

This is mainly useful for debugging/testing. It writes the internally
parsed message_parts which are usually in dovecot.index.cache.

lib-http: test-http-payload - Use ostream-final-trickle for server connections

lib-http: test-http-payload - Add filenames to data mismatch error messages

lib-test: Add ostream-final-trickle

lib: Add connection_vfuncs.init()

lib-http: server - Don't disconnect client before response is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: server - Don't disconnect client before payload is fully sent

lib-storage: Add mail_storage_service_input.unexpanded_set_parser

lib-storage: Write vsize record always for <4GB-1 mails

dict: Handle each dict iteration flush in separate data stack frame

cassandra: Handle each reply in a separate data stack frame

login-common: Use separate data stack frames when looping through clients

global: Avoid using data stack as memory pool for potentially large allocations

The previous usage wasn't really bad, since the memory was freed soon
enough. However, these make it more difficult to find when data stack
really is growing excessively.

virtual: Sync each backend mailbox in its own data stack frame

fts: Add data stack frames to reduce memory usage when parsing many MIME parts

fts: Call backend vfuncs in separate data stack frames

Add only to vfuncs that are run in loops.

fts: fts_user_language_init_tokenizers() - Add data stack frames

acl: mailbox list iteration - Add data stack frames for autocreated mailbox handling

A large number of autocreated mailboxes could have unnecessarily grown data
stack.

lmtp: Deliver each local mail in its own data stack frame

auth: Flush failed auth requests in their own data stack frames

dsync: Add data stack frame when importing mails

doveadm: Run command vfuncs in their own data stack frames

This slightly reduces memory usage by doveadm commands.

doveadm: Don't use data stack for permanent memory allocations in init()

Until now this didn't really matter, since callers weren't freeing the data
stack memory anyway. The following commit changes this though.

imapc: Add data stack frame when parsing untagged fetches during sync

imapc: Add data stack frame when parsing message headers

This makes sure the data stack memory usage won't grow too much while
parsing a large number of headers.

sdbox: Add data stack frame when syncing each file

This could have caused extra memory usage when altmoving lots of mails.

sdbox: saving - Add data stack frame when assigning UIDs for mails

Since each saved mail was already using memory, this wasn't causing much
extra memory usage.

lib-storage: Mailbox index list rebuild - Add mailboxes in separate data stack frames

lib-storage: Autoexpunge each mailbox in its own data stack frame

lib-storage: mail_search_args_simplify() - Add data stack frame

lib-storage: index_mail_get_raw_headers() - Don't use data stack for allocations

For some reason this was changed to data stack allocation in
53712af0e7f357e7279d9ff03831428aae85aa45. It looks accidental, since the
change wasn't described in the commit message. This didn't actually cause
any problems, since the callers duplicated the allocations from data_pool.

lib-storage: mail_event_create() - Free data stack allocations before returning

lib-storage: mail_expunge() - Move sending event inside data stack frame

Each call was using a bit more data stack due to this.

lib-storage: Add data stack frames when searching messages

This makes sure memory usage doesn't increase too much while searching a
large number of messages. A few of these data stack frames are likely
unnecessary, but it's better to be safe.