lib-http: Make http_client_request_error() public

doveadm compress: Use compression_handler.create_ostream_auto() API

fs-compress: Implement new fs.init() and compression_handler.create_ostream_auto() APIs

The compression method parameter is replaced by fs_compress_write_method
setting. An empty setting means writing with plaintext.

The old "maybe-" prefix is replaced by fs_compress_read_plain_fallback
setting.

Since there is no longer a single generic compression level parameter,
using level 0 to disable compression is replaced by using an empty
fs_compress_write_method value.

mail-compress: Use create_ostream_auto() API

mail_compress_save plugin setting is replaced by mail_compress_write_method.
mail_compress_save_level plugin setting is replaced by compression method
specific settings.

imap: COMPRESS - Use create_ostream_auto() API

The compression level can now be configured using the compression settings.

lib-compression: ostream-zstd - Add support for create_ostream_auto() API

lib-compression: ostream-lz4 - Add support for create_ostream_auto() API

lib-compression: ostream-bzlib - Add support for create_ostream_auto() API

lib-compression: ostream-zlib - Add support for create_ostream_auto() API

lib-compression: Prepare support for reading settings for ostreams via event

lib-storage: Replace mail_attachment_fs with mail_attachment filter

Replace e.g.:

mail_attachment_fs = posix:no-fsync

with:

mail_attachment {
  fs_driver = posix
  fs_posix_fsync = no
}

There is no longer a default mail_attachment { fs_driver }. It needs to be
set explicitly.

This also changes the mailbox_list_init_fs() API to use fs_init_filter().
Currently its only caller in core is this mail_attachment_fs.

If mail_attachment_dir is set, it now gives an error if
mail_attachment { ... } filter is not set. Previously an empty
mail_attachment_fs would have been ignored, although it likely wasn't used
much since its default was not empty.

Copying mails needed to remove full mail_attachment_fs comparison checks
between source and destination storage, because it's not practical anymore
to compare whether two FSes are the same. It's unlikely anyone would use
two incompatible FSes with the same mail_attachment_dir setting.

lib-storage: mailbox_list_init_fs() - Don't allow NULL parent event

There are no callers that use NULL.

fs-test: Implement new init() API

fs-metawrap: Implement new init() API

fs-randomfail: Implement new init() API

fs-sis-queue: Implement new init() API

fs-sis: Implement new init() API

fs-posix: Implement new init() API

fs-posix: Remove mode=auto setting

This setting has never actually done anything. Its behavior of taking
created files' permissions from parent directory is actually controlled by
the parent directory's SETGID bit.

fs-dict: Implement new init() API

lib-fs: Don't crash if fs_vfuncs.legacy_init() isn't implemented

lib-fs: Add fs_init_parent()

This simplifies initializing parent fs for wrapper filesystems.

lib-fs: Add fs_init_auto()

lib-fs, global: Rename fs_init() to fs_legacy_init()

lib-fs: Move calling fs_vfuncs.init() out of fs_alloc()

lib-fs: Move auto-loading of fs_class into fs_alloc()

lib-fs: Move fs_alloc() later

lib-fs: Fill all struct fs fields before calling init()

This simplifies the following changes.

lib-fs: Remove event_parent parameter from fs_vfuncs.init()

fs->event should be used instead.

lib-storage: Rename mail_user_init_fs_settings() to mail_user_init_fs_parameters()

lib-fs, global: Rename fs_settings to fs_parameters

These are internal parameters. A later commit will add back fs_settings
where the settings are coming from config file.

lib-fs: remove struct fs.set

Only set.enable_timing was used, and it can be in its own field.

lib-fs, global: Move fs_settings.event_parent to dict_init() parameter

lib-dict-extra: dict-fs - Forward dict's event_parent to fs

lib-fs, global: Remove fs_settings.debug

The debugging can be enabled via parent event.

global: Replace fs_settings.debug with parent event that has debugging enabled

lib-fs: Remove unused fs_init_from_string()

mail-crypt: test-fs-crypt - Replace fs_init_from_string() with fs_init()

There was no benefit in using it.

lib-fs: Remove obsolete comment

Use of T_END_PASS_STR_IF() removed the kludge.

global: Remove unnecessary settings-parser.h includes

It's already included by including settings.h.

lib-settings: settings.h - Include settings-parser.h automatically

These are nowadays usually both included, so it simplifies the code.

lib-settings: settings-legacy - Rename setting_type to setting_legacy_type

This allows including both settings-parser.h and settings-legacy.h

config: Allow named array filters under named filters

This is needed for at least obox { crypt_global_private_key { .. } }

lib-settings: Make settings_root_deinit(&NULL) no-op

config: Fix using filter_name/strlist/key in default settings

lib-settings, config: Add support for SET_FILTER_HIERARCHY

lib-http, global: Rename http_client_no_* settings

Remove double negatives:
 * http_client_proxy_no_ssl_tunnel -> http_client_proxy_ssl_tunnel
 * http_client_no_auto_redirect -> http_client_auto_redirect
 * http_client_no_auto_retry -> http_client_auto_retry

lib-http: Change http_client_settings.max_connect_attempts=1 behavior

Before 1 meant the same as 0, which means "try every IP once". But there
is no need for two values to mean the same, so now 1 means "try only 1
IP".

lib-http, global: Add and use http_client_settings_init()

lib-http: Add http_client_settings.read/write/delete_max_attempts

If they are non-zero, they override the max_attempts setting for the
specified HTTP methods.

lib-http: Add http_client_settings.read/write/delete_request_timeout

If they are non-zero, they override the request_timeout setting for the
specified HTTP methods.

lib-dns: dns_client_init() - Assert dns_client_socket_path isn't empty

It's easier to debug assert-crashes than seeing an empty error in logs.

auth: oauth2 - Use http_client_init_auto()

This adds oauth2 { .. } named filter, which can be used to override http
and ssl settings. The following settings were replaced:

 * tls_ca_cert_file -> ssl_client_ca_file
 * tls_ca_cert_dir -> ssl_client_ca_dir
 * tls_cert_file -> ssl_client_cert
 * tls_cipher_suite -> ssl_client_cipher_list
 * rawlog_dir -> http_client_rawlog_dir
 * timeout_msecs -> http_client_request_absolute_timeout
 * max_idle_time_msecs -> http_client_max_idle_time
 * max_parallel_connections -> http_client_max_parallel_connections
 * max_pipelined_requests -> http_client_max_pipelined_requests
 * tls_allow_invalid_cert -> http_client_allow_invalid_cert

lib-oauth2, auth: Set HTTP absolute request timeout via http_client_settings

auth: auth-policy - Use http_client_init_auto()

This adds auth_policy { .. } named filter, which can be used to override
http settings. auth_policy_server_timeout_msecs setting is replaced by
auth_policy { http_client_request_absolute_timeout }.

Note that http_client_max_connect_attempts is not explicitly set anymore,
since it was already the default value (0 and 1 are currently the same,
but this will change in a later commit).

lib-http, global: Drop _msecs and _secs suffixes from http_client_* settings

Keep the suffixes in the code, but drop them from the configuration file.

lib-http: Add http_client_init_[private_]auto()

lib-http: http_client_connection_get_settings() - Support being called with NULL peer

Use the connection's last assigned http_client's settings even after
the connection is detached from it, until a new http_client is assigned.

lib-http, global: Change http_client_settings into registered settings

lib-http: Change http_client_settings.socket_*_buffer_size types to uoff_t

This simplifies the following changes.

lib-http: Expand http_client_settings.response_hdr_limits to separate settings

This simplifies the following changes.

lib-http: Fix storing dns_client_socket_path to http_client_context

It wasn't safe to point it directly to http_client's settings, since the
client could become destroyed.

lib-http: Handle empty settings strings the same as NULLs

This will be needed by the following changes.

lib-http: Change http_client.set to be a pointer

Simplifies the following commits.

lib-http, global: Replace http_client_settings.event_parent with http_client_init*() parameter

lib-http, global: Replace http_client_settings.ssl with http_client_set_ssl_settings()

lib-http: Replace http_client_settings.dns_client with http_client_set_dns_client()

lib-http: Remove http_client_settings.debug

Debug logging is enabled via the parent event instead.

lib-http: test-http-payload - Log using events

lib-http: Remove unused http_client_connection.debug

It was set, but never read.

lib-http: Fix growing connect_backoff_[max_]time_msecs after peer is destroyed

If the other peers had larger backoff times than the destroyed peer, the
backoff times weren't updated.

lib-http: Fix using larger connect_backoff_[max_]time_msecs than defaults

lib-http: Fix using larger dns ttl/timeout settings than defaults

lib-http: Remove settings from http_client_context

These weren't actually used anywhere outside unit tests. The settings were
always empty and overridden for the actual http_client.

lib-http: http_client_connection_get_settings() - Assert that peer is non-NULL

This change is only temporary. A later commit reimplements it by using
the last assigned http_client's settings.

It shouldn't be possible with current code for peer to be NULL, so this
temporary change in behavior doesn't matter. If it had been possible for
peer to be NULL, the current code would have always returned empty
settings, since http_client_context.set is never set outside unit tests.
This is equivalent to the new way of explicitly returning default settings.

lib-http: http_client_init_shared() - If parent event isn't given, use cctx->event

The previous behavior was to use cctx->event's parent, because it had no
log prefix. Nowadays we can just drop the unwanted log prefix.

lib-http: http_client_init_shared() - cctx->event cannot be NULL

lib-http: http_client_init_shared() - Require set to be non-NULL

All the callers already provided it, except in unit tests.

lib-settings, config: Add setting_parser_info.default_filter_settings

This can be used to add filter_name/key default settings. Trying to do it
with setting_parser_info.default_settings causes crashes, because they're
attempted to be applied to all the settings structs. An alternative could
have been to just ignore unknown prefix/ settings, but that could have
caused accidentally ignoring real bugs.

config: Support filter_name/ prefixes in default settings

This allows giving defaults to specific filters in the code. For example
to specify defaults for auth_policy { ... } :

static const struct setting_keyvalue auth_default_filter_settings_keyvalue[] = {
       { "auth_policy/http_client_request_absolute_timeout", "2s" },
       { NULL, NULL }
};

The earlier code supported only named array filters, not named filters.

config: config_add_new_parser() - Add explicit root parameter

This is needed by the next commit.

lib-ssl-iostream: Reference ssl_*settings instead of duplicating its strings

lib-storage: Remove unused mail_storage_service_user_init_ssl_client_settings()

lib-storage: Remove mail_user.ssl_set

doveadm: Remove unused doveadm_get_ssl_settings()

lib-fs, global: Remove fs_settings.ssl_client_set

The fs-drivers are now expected to let lib-ssl-iostream pull the settings.

login-common: Use io_stream_autocreate_ssl_client()

lib-ssl-iostream: Add SSL_IOSTREAM_FLAG_DISABLE_CA_FILES

pop3c: Use io_stream_autocreate_ssl_client()

lib-imap-client: Use io_stream_autocreate_ssl_client()

This removes passdb imap's ssl-specific args.

lib-doveadm, doveadm: Use io_stream_autocreate_ssl_client()

This also removes doveadm_client_settings.{ssl_set|ssl_ctx}

global: Avoid specifying http_client_settings.ssl when possible

lib-http will now automatically pull the ssl settings.

lib-http: If http_client_settings.ssl is NULL, lookup settings automatically

Remove the "unconfigured ssl" unit tests, since these are no longer
relevant.

lib-master: Remove unused master_service.ssl_ctx_initialized

master_service_ssl_ctx_init() is called only once at startup, so there is no
need to support calling it multiple times.

lib-master: Use ssl_server_settings_to_iostream_set() to get server context settings

lib-master: Store initialized ssl context into iostream-ssl-context-cache

lib-master: Remove unused master_service_ssl_init()

doveadm: Use io_stream_autocreate_ssl_server()

lib-http: Use io_stream_autocreate_ssl_server()

lib-smtp: Remove smtp_submit_input.ssl

The ssl settings are no longer passed through to lib-smtp. Instead,
lib-ssl-iostream will pull the settings automatically.