config: Remove unused FILTERS command

lib-master: Remove unused master_service_settings_get_filters()

lib-master: Remove master-service-settings-cache API

login-common: Remove master-service-settings-cache usage

lib-storage: Remove master-service-settings-cache usage

config: Add support for dumping machine-readable "full config"

This includes the main config and all different filters. It can be
requested from config service with "full" parameter or with doveconf
-F [<command>] parameter. If <command> is not given, output is written
to stdout. Otherwise the <command> is executed and the config is
provided via file descriptor in DOVECOT_CONFIG_FD environment.

The format will change in the following commits.

config: Generate unique index numbers for unnamed sections

This will be required by the following changes to allow incrementally
parsing filtered settings.

master: Make sure config reload never causes execing doveconf

This could have happened if there was an error reading configuration
via config socket. This would have caused master process to restart,
which would have messed up everything.

lib-master, master: Make sure master process never tries to read config socket at startup

If the config socket exists, it's a leftover from an older dovecot and
shouldn't be trusted.

config: Remove unnecessary CONFIG_DUMP_FLAG_IN_SECTION

global: Use ip type for event fields with IP addresses

lib: Allow event filters to use '/' and '%' in values without quoting

This allows using "ip = 127.0.0.0/8%lo" without quotes.

lib: Add "ip" type for events and "ip/bits" matching for event filters

lib: net_is_in_network() - Fix checking scope ID in IPv6

Using "ip%iface1" shouldn't match "ip%iface2". However, do allow it to
match "ip" when %iface is missing.

lib: If key already exists, event_add_str(value=NULL) should clear the key

This seems like a more correct logic than not doing anything with NULL
values. It shouldn't affect any of the existing code though.

lib-settings: Remove unused settings_parse_file()

lib-settings: Remove unused settings_parse_exec()

lib-master: Remove code for retrying interrupted config read()s

This hasn't been working for a long time now. The fd is blocking, so
i_stream_read() returns -1 for it instead of 0 on EINTR. There's
really not supposed to be any signals happening during config reading
anyway (other than SIGALRM timeout, in which case we want to abort the
read instead of retry).

lib-master: -O parameter shouldn't read settings from environment

The -O parameter should start with the default configuration only. This
seems to have been an accidental bug, which was just never noticed.

lib: o_stream_unix_write_fd() - Don't close fd on write failure

On success the write_fd is set to -1 without closing it, so the caller is
responsible for closing it.

If o_stream_unix_close() is reached with write_fd != -1, it means the write
failed. The write_fd shouldn't be closed in that case either.

This function wasn't actually currently used anywhere.

lib-storage, global: mail_storage_service_lookup_next() - Remove service_user_r parameter

Also change the callers to not bother storing it separately. Instead, they
can just use mail_user_r->service_user.

lib-storage: Remove unused mail_storage_service_get_global()

lib-storage, global: Rename mail_user._service_user to service_user

It's now always set, so the underscore isn't useful.

lib-storage: mail_user_alloc*() - Require service_user parameter

lib-storage: Create a service_user for shared mail_users

lib-storage: shared - Split off shared_mail_user_init()

lib-storage: shared - Minor code refactoring

Simplifies the following commit.

lib-storage: shared - Fix freeing partially created user if %variable expansion fails

lib-storage: raw-storage - Create a service_user

lib-storage: Rename "raw mail user" to "raw-mail-user"

It works better in logs without spaces.

lib-storage: Fix using NO_RESTRICT_ACCESS flag with TEMP_PRIV_DROP

The following changes will use MAIL_STORAGE_SERVICE_FLAG_NO_RESTRICT_ACCESS
with e.g. shared user lookups. The process UID must not be changed in this
case. However, if MAIL_STORAGE_SERVICE_FLAG_TEMP_PRIV_DROP was set, the
code was still reseting UID to root, which isn't wanted.

lib-storage: Don't set home directory immediately when userdb lookup is disabled

This is going to be needed by the following change that creates shared users
via service_user. Otherwise the shared users' home directory will be wrong.

Do set home immediately if it's provided by
mail_storage_service_input.userdb_fields. This will be used by the
raw-storage user to set the home directory.

Also update some comments explaining about how NULL works for home.

lib-storage: Don't use HOME environment when userdb lookup is disabled

We no longer support cli tools using settings from environment. This was
also causing problems in the following commits.

lib-storage: Add mail_storage_service_input.autocreated

lib-storage: Add mail_storage_service_input.no_free_init_failure

This allows using mail_storage_service_lookup_next() in a way that mail_user
won't be freed on init failures, which allows getting extra information
about why the initialization failed.

lib-storage: Add mail_storage_service_user_get_{event|username}() accessors

doveadm: doveadm-auth - Add support for SASL mechanism in test and login commands.

lib-sasl: Add support for SCRAM-SHA-1 and SCRAM-SHA-256.

lib-auth: Add tests for SCRAM protocol interaction.

lib-auth: password-scheme-scram - Split off auth_scram_generate_key_data() from scram_generate().

Moved to auth-scram.

lib-auth: Implement client-side processing for SCRAM-SHA-* authentication.

lib-auth: auth-scram-server - Diligently clean key data.

auth: Move password-scheme code to lib-auth-common.

auth: Move auth-scram-server to lib-auth-common.

auth: Move auth-scram to lib-auth.

Create lib-auth

This is where we'll put code common to auth server and client across
authentication frameworks.

Rename lib-auth to lib-auth-client.

auth: mech-scram - Split off core implementation for server-side SCRAM-SHA-* authentication.

auth: mech-scram - Add custom free() method.

auth: mech-scram - Use container_of().

auth: auth-scram-server - Augment comment in auth_scram_parse_client_first().

auth: auth-scram-server - Move key data to separate struct.

auth: auth-scram-server - Change return type of auth_scram_get_server_final() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_get_server_first() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_parse_client_final() to int.

auth: auth-scram-server - Change return type of auth_scram_parse_client_first() to int.

auth: auth-scram-server - Add auth_scram_ prefixes to functions.

auth: auth-scram-server - Rename "request" variables to "server".

auth: mech-scram - Move get_scram_server_final() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_final() to auth-scram-server.c.

auth: mech-scram - Move verify_credentials() to auth-scram-server.c.

auth: mech-scram - Move get_scram_server_first() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_first() to auth-scram-server.c.

auth: mech-scram - Move scram_unescape_username() to auth-scram-server.c.

auth: mech-scram: Remove useless include of limits.h.

auth: auth-scram - Rename Hi() to auth_scram_hi() and make it public.

auth: password-scheme-scram - Move Hi() to auth-scram.c.

lib: str - Add str_clear() and str_clear_safe().

lib: buffer - Add buffer_clear_safe().

lib: buffer - Add buffer_clear()

For completeness with respect to the next commit.

auth: Reformat mech-scram.c.

auth: Remove duplicate "nodelay" extra field sent as passdb reply

The auth clients just ignored the duplicate, so this didn't cause any
visible bugs.

The "nodelay" field was originally added as a hidden field, which wouldn't
be sent as a passdb reply. However, the "nodelay" field became visible
again in 4307e3a2320dabbac53ad712790ffd250d527108.

lib-dcrypt: Return after loading JWK key

Otherwise we try to load it as PEM key, which will fail.

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

lib-dcrypt: Use BN_secure_new in dcrypt_openssl_key_load_private_raw

lib-dcrypt: test-crypto - Add missing test_end call to abnormal return

Forgotten in 316cbe323513a0f20d1cf519fe9405e231d633e2

lib-dcrypt: test-crypto - Add pointer to hold error when calling dcrypt_ctx_sym_create

Forgotten in 6c65d2f659d8bb2785f5a18fe583b456e0b5cece

lib-dcrypt: Fix leaking BN points

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

maildir: maildir_mailbox_open() - Split off maildir_is_selectable()

maildir: maildir_mailbox_open() - If the namespace root or INBOX has any subdir create others as well

maildir: maildir_mailbox_open() - Disable maildir subdirectory creation for INBOX

This was added in 522925f6e9ff8fe9592511c2221b3d6526d4cbf4. In the
meantime autocreate code changed so this is no longer valid.

welcome-plugin: Remove welcome_open_box()

welcome-plugin: Move script_execute() to welcome_create_box()

The welcome script was executed while opening the INBOX only when
the same session had created it. This could have led to unexpectedly not
executing welcome when not opening the mailbox right after it was created.

The original code delayed the welcome script run because mailbox creation
wasn't finished until the mailbox was opened. This seems to have become
fixed at some point.

lib-sql: driver-sqlite - Handle SQLITE_READONLY error in exec

lib-sql: driver-sqlite - Handle permission errors when opening database

lib-sql: driver-sqlite - Handle memory allocation errors

global: Don't use ENUM_NEGATE() with non-enum variables

Fixes compiler warnings.

m4/dovecot.m4: Fix including all symbols from .a libs with new glibc

New glibc no longer has libdl, so the check for it no longer works.
Use -export-dynamic instead, which is used with both old and new glibc.

config: Add missing flags when linking

Remove accidentally committed list.txt

doveadm log errors: Show also errors from master process

master: Track the last 1000 errors in a buffer

This is the same as what the log process does. The master process errors
aren't sent to the log process though.

doveadm: Split off master_service_send_cmd()

doveadm log errors: Add microseconds to timestamp

log: Move log-error-buffer to lib-master

imap-acl: Check if ACL context is enabled for a namespace before accessing it

This will prevent a crash when accessing an ACL context from a user that
doesn't exist and return an appropriate NONEXISTENT message.

lib-smtp: unit tests - Use signals to ensure client doesn't start before server is ready

lib-smtp: smtp_server_connection_input() - Ensure output errors (and closure) are handled

This is especially critical while performing the DATA command.
The DATA (and AUTH) command use smtp_server_connection_reply_immediate()
from within the connection input handler. Without the new code, output
errors in that function are not caught and lead to the server to hang
if the connection is closed in the right moment.

lib-smtp: cmd_data_next() - Fix whitespaces

global: unit-tests - Extract TEST_SIGNALS_DEFAULT_TIMEOUT_MS constant

lib-http: test-http-client-errors - Add synchronization for test_run_dns() startup