doveadm sync: Use the main process's configuration for dsync-server process

This preserves the old behavior.

doveadm exec: Avoid re-executing doveconf after executing binary

lib-master: Support returning master_service_settings_output.config_fd

config, lib-master: Send configuration as a seekable file descriptor

This allows lib-master to re-read the configuration using the same open fd.

The binary configuration is written to an unlinked file. The file's fd is
sent to config clients, so the binary config stays allocated until all
config clients have closed the fd.

config: Remove support for doveconf -e parameter

This was replaced by the -F parameter.

config: config_filter_parsers_get() - Remove unused modules parameter

config: config_export_init() - Remove unused modules parameter

doveconf: Ignore -m and -p parameters

Support for "modules" is going away, so these aren't useful.

lib-storage, global: Remove unused mail_storage_service_input.module

lib-master, global: Remove master_service_settings_input.{module|extra_modules}

Configuration reading now reads all the modules always.

lib-master, master: Remove master_service_settings_input.parse_full_config

This flag no longer does anything.

lib-storage: Remove MAIL_STORAGE_SERVICE_FLAG_NO_SSL_CA and master_service_settings_input.no_ssl_ca

These flags no longer do anything.

lib-master, config: Remove unused flags in master_service_settings_output

config: config_export_init() - Remove unused exclude_settings parameter

config: Require all config request commands to use the new "full" method

Removed the "full" parameter, since it's now always needed. The config
protocol version was increased to make sure clients are compatible.

lib-master: Execute doveconf with -F parameter as the config fallback

This changes settings to be read via a fd instead of environment.

As a side effect, this fixes a bug where if the settings output was larger
than 128 kB in Linux, exec() would fail with "Argument list too long".

lib-master preserves support for reading settings from environment for a
few more commits, because the log process uses it to read its settings.

lib-master: Read config using the new "full" flag

config: Remove unused FILTERS command

lib-master: Remove unused master_service_settings_get_filters()

lib-master: Remove master-service-settings-cache API

login-common: Remove master-service-settings-cache usage

lib-storage: Remove master-service-settings-cache usage

config: Add support for dumping machine-readable "full config"

This includes the main config and all different filters. It can be
requested from config service with "full" parameter or with doveconf
-F [<command>] parameter. If <command> is not given, output is written
to stdout. Otherwise the <command> is executed and the config is
provided via file descriptor in DOVECOT_CONFIG_FD environment.

The format will change in the following commits.

config: Generate unique index numbers for unnamed sections

This will be required by the following changes to allow incrementally
parsing filtered settings.

master: Make sure config reload never causes execing doveconf

This could have happened if there was an error reading configuration
via config socket. This would have caused master process to restart,
which would have messed up everything.

lib-master, master: Make sure master process never tries to read config socket at startup

If the config socket exists, it's a leftover from an older dovecot and
shouldn't be trusted.

config: Remove unnecessary CONFIG_DUMP_FLAG_IN_SECTION

global: Use ip type for event fields with IP addresses

lib: Allow event filters to use '/' and '%' in values without quoting

This allows using "ip = 127.0.0.0/8%lo" without quotes.

lib: Add "ip" type for events and "ip/bits" matching for event filters

lib: net_is_in_network() - Fix checking scope ID in IPv6

Using "ip%iface1" shouldn't match "ip%iface2". However, do allow it to
match "ip" when %iface is missing.

lib: If key already exists, event_add_str(value=NULL) should clear the key

This seems like a more correct logic than not doing anything with NULL
values. It shouldn't affect any of the existing code though.

lib-settings: Remove unused settings_parse_file()

lib-settings: Remove unused settings_parse_exec()

lib-master: Remove code for retrying interrupted config read()s

This hasn't been working for a long time now. The fd is blocking, so
i_stream_read() returns -1 for it instead of 0 on EINTR. There's
really not supposed to be any signals happening during config reading
anyway (other than SIGALRM timeout, in which case we want to abort the
read instead of retry).

lib-master: -O parameter shouldn't read settings from environment

The -O parameter should start with the default configuration only. This
seems to have been an accidental bug, which was just never noticed.

lib: o_stream_unix_write_fd() - Don't close fd on write failure

On success the write_fd is set to -1 without closing it, so the caller is
responsible for closing it.

If o_stream_unix_close() is reached with write_fd != -1, it means the write
failed. The write_fd shouldn't be closed in that case either.

This function wasn't actually currently used anywhere.

lib-storage, global: mail_storage_service_lookup_next() - Remove service_user_r parameter

Also change the callers to not bother storing it separately. Instead, they
can just use mail_user_r->service_user.

lib-storage: Remove unused mail_storage_service_get_global()

lib-storage, global: Rename mail_user._service_user to service_user

It's now always set, so the underscore isn't useful.

lib-storage: mail_user_alloc*() - Require service_user parameter

lib-storage: Create a service_user for shared mail_users

lib-storage: shared - Split off shared_mail_user_init()

lib-storage: shared - Minor code refactoring

Simplifies the following commit.

lib-storage: shared - Fix freeing partially created user if %variable expansion fails

lib-storage: raw-storage - Create a service_user

lib-storage: Rename "raw mail user" to "raw-mail-user"

It works better in logs without spaces.

lib-storage: Fix using NO_RESTRICT_ACCESS flag with TEMP_PRIV_DROP

The following changes will use MAIL_STORAGE_SERVICE_FLAG_NO_RESTRICT_ACCESS
with e.g. shared user lookups. The process UID must not be changed in this
case. However, if MAIL_STORAGE_SERVICE_FLAG_TEMP_PRIV_DROP was set, the
code was still reseting UID to root, which isn't wanted.

lib-storage: Don't set home directory immediately when userdb lookup is disabled

This is going to be needed by the following change that creates shared users
via service_user. Otherwise the shared users' home directory will be wrong.

Do set home immediately if it's provided by
mail_storage_service_input.userdb_fields. This will be used by the
raw-storage user to set the home directory.

Also update some comments explaining about how NULL works for home.

lib-storage: Don't use HOME environment when userdb lookup is disabled

We no longer support cli tools using settings from environment. This was
also causing problems in the following commits.

lib-storage: Add mail_storage_service_input.autocreated

lib-storage: Add mail_storage_service_input.no_free_init_failure

This allows using mail_storage_service_lookup_next() in a way that mail_user
won't be freed on init failures, which allows getting extra information
about why the initialization failed.

lib-storage: Add mail_storage_service_user_get_{event|username}() accessors

doveadm: doveadm-auth - Add support for SASL mechanism in test and login commands.

lib-sasl: Add support for SCRAM-SHA-1 and SCRAM-SHA-256.

lib-auth: Add tests for SCRAM protocol interaction.

lib-auth: password-scheme-scram - Split off auth_scram_generate_key_data() from scram_generate().

Moved to auth-scram.

lib-auth: Implement client-side processing for SCRAM-SHA-* authentication.

lib-auth: auth-scram-server - Diligently clean key data.

auth: Move password-scheme code to lib-auth-common.

auth: Move auth-scram-server to lib-auth-common.

auth: Move auth-scram to lib-auth.

Create lib-auth

This is where we'll put code common to auth server and client across
authentication frameworks.

Rename lib-auth to lib-auth-client.

auth: mech-scram - Split off core implementation for server-side SCRAM-SHA-* authentication.

auth: mech-scram - Add custom free() method.

auth: mech-scram - Use container_of().

auth: auth-scram-server - Augment comment in auth_scram_parse_client_first().

auth: auth-scram-server - Move key data to separate struct.

auth: auth-scram-server - Change return type of auth_scram_get_server_final() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_get_server_first() to string_t*.

auth: auth-scram-server - Change return type of auth_scram_parse_client_final() to int.

auth: auth-scram-server - Change return type of auth_scram_parse_client_first() to int.

auth: auth-scram-server - Add auth_scram_ prefixes to functions.

auth: auth-scram-server - Rename "request" variables to "server".

auth: mech-scram - Move get_scram_server_final() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_final() to auth-scram-server.c.

auth: mech-scram - Move verify_credentials() to auth-scram-server.c.

auth: mech-scram - Move get_scram_server_first() to auth-scram-server.c.

auth: mech-scram - Move parse_scram_client_first() to auth-scram-server.c.

auth: mech-scram - Move scram_unescape_username() to auth-scram-server.c.

auth: mech-scram: Remove useless include of limits.h.

auth: auth-scram - Rename Hi() to auth_scram_hi() and make it public.

auth: password-scheme-scram - Move Hi() to auth-scram.c.

lib: str - Add str_clear() and str_clear_safe().

lib: buffer - Add buffer_clear_safe().

lib: buffer - Add buffer_clear()

For completeness with respect to the next commit.

auth: Reformat mech-scram.c.

auth: Remove duplicate "nodelay" extra field sent as passdb reply

The auth clients just ignored the duplicate, so this didn't cause any
visible bugs.

The "nodelay" field was originally added as a hidden field, which wouldn't
be sent as a passdb reply. However, the "nodelay" field became visible
again in 4307e3a2320dabbac53ad712790ffd250d527108.

lib-dcrypt: Return after loading JWK key

Otherwise we try to load it as PEM key, which will fail.

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

lib-dcrypt: Use BN_secure_new in dcrypt_openssl_key_load_private_raw

lib-dcrypt: test-crypto - Add missing test_end call to abnormal return

Forgotten in 316cbe323513a0f20d1cf519fe9405e231d633e2

lib-dcrypt: test-crypto - Add pointer to hold error when calling dcrypt_ctx_sym_create

Forgotten in 6c65d2f659d8bb2785f5a18fe583b456e0b5cece

lib-dcrypt: Fix leaking BN points

Broken in d352e5545a9422f3b0d74fd40d94c9f9a0770fb7

maildir: maildir_mailbox_open() - Split off maildir_is_selectable()

maildir: maildir_mailbox_open() - If the namespace root or INBOX has any subdir create others as well

maildir: maildir_mailbox_open() - Disable maildir subdirectory creation for INBOX

This was added in 522925f6e9ff8fe9592511c2221b3d6526d4cbf4. In the
meantime autocreate code changed so this is no longer valid.

welcome-plugin: Remove welcome_open_box()

welcome-plugin: Move script_execute() to welcome_create_box()

The welcome script was executed while opening the INBOX only when
the same session had created it. This could have led to unexpectedly not
executing welcome when not opening the mailbox right after it was created.

The original code delayed the welcome script run because mailbox creation
wasn't finished until the mailbox was opened. This seems to have become
fixed at some point.

lib-sql: driver-sqlite - Handle SQLITE_READONLY error in exec