lib-http: http_client_init_shared() - Require set to be non-NULL

All the callers already provided it, except in unit tests.

lib-settings, config: Add setting_parser_info.default_filter_settings

This can be used to add filter_name/key default settings. Trying to do it
with setting_parser_info.default_settings causes crashes, because they're
attempted to be applied to all the settings structs. An alternative could
have been to just ignore unknown prefix/ settings, but that could have
caused accidentally ignoring real bugs.

config: Support filter_name/ prefixes in default settings

This allows giving defaults to specific filters in the code. For example
to specify defaults for auth_policy { ... } :

static const struct setting_keyvalue auth_default_filter_settings_keyvalue[] = {
       { "auth_policy/http_client_request_absolute_timeout", "2s" },
       { NULL, NULL }
};

The earlier code supported only named array filters, not named filters.

config: config_add_new_parser() - Add explicit root parameter

This is needed by the next commit.

lib-ssl-iostream: Reference ssl_*settings instead of duplicating its strings

lib-storage: Remove unused mail_storage_service_user_init_ssl_client_settings()

lib-storage: Remove mail_user.ssl_set

doveadm: Remove unused doveadm_get_ssl_settings()

lib-fs, global: Remove fs_settings.ssl_client_set

The fs-drivers are now expected to let lib-ssl-iostream pull the settings.

login-common: Use io_stream_autocreate_ssl_client()

lib-ssl-iostream: Add SSL_IOSTREAM_FLAG_DISABLE_CA_FILES

pop3c: Use io_stream_autocreate_ssl_client()

lib-imap-client: Use io_stream_autocreate_ssl_client()

This removes passdb imap's ssl-specific args.

lib-doveadm, doveadm: Use io_stream_autocreate_ssl_client()

This also removes doveadm_client_settings.{ssl_set|ssl_ctx}

global: Avoid specifying http_client_settings.ssl when possible

lib-http will now automatically pull the ssl settings.

lib-http: If http_client_settings.ssl is NULL, lookup settings automatically

Remove the "unconfigured ssl" unit tests, since these are no longer
relevant.

lib-master: Remove unused master_service.ssl_ctx_initialized

master_service_ssl_ctx_init() is called only once at startup, so there is no
need to support calling it multiple times.

lib-master: Use ssl_server_settings_to_iostream_set() to get server context settings

lib-master: Store initialized ssl context into iostream-ssl-context-cache

lib-master: Remove unused master_service_ssl_init()

doveadm: Use io_stream_autocreate_ssl_server()

lib-http: Use io_stream_autocreate_ssl_server()

lib-smtp: Remove smtp_submit_input.ssl

The ssl settings are no longer passed through to lib-smtp. Instead,
lib-ssl-iostream will pull the settings automatically.

global: Avoid specifying smtp_client_settings.ssl when possible

lib-smtp will now automatically pull the ssl settings.

lib-smtp: If smtp_client_settings.ssl is NULL, lookup settings automatically

Remove the "unconfigured ssl" unit tests, since these are no longer
relevant.

lib-smtp: Add smtp_client_settings.ssl_allow_invalid_cert

lib-smtp: Use io_stream_autocreate_ssl_server()

login-common: Use io_stream_autocreate_ssl_server()

lib-ssl-iostream, global: io_stream_*create_ssl_client() - Add flags parameter

Add SSL_IOSTREAM_FLAG_ALLOW_INVALID_CERT initially, which allows enabling
ssl_iostream_settings.allow_invalid_cert after context is already created.

lib-ssl-iostream: Add io_stream_autocreate_ssl_client/server()

lib-ssl-iostream, global: ssl_iostream_*_context_cache_get() - Return error message prefix

Callers no longer have to prefix the returned error with e.g.
"Couldn't initialize SSL context:"

lib-master, global: Move master-service-ssl-settings to lib-ssl-iostream/ssl-settings

lib-master, global: Rename master_service_ssl_*settings to just ssl_*settings

lib-ssl-iostream: Add ssl_iostream_get_allow_invalid_cert()

lib-ssl-iostream: ssl_iostream_settings_equals() - Rewrite to be simpler

The ssl_iostream_settings_string_offsets[] table was unnecessarily confusing
especially now that this function was the only user of the table.

lib-ssl-iostream: Remove unused ssl_iostream_settings_dup() and ssl_iostream_settings_init_from()

lib-ssl-iostream: test-iostream-ssl - Avoid ssl_iostream_settings_dup()

This is the only place still using the function, and it's not really
necessary.

lib-ssl-iostream: ssl_iostream_*_context_cache_get() - Reference settings instead of copying

lib-ssl-iostream, global: Add ssl_iostream_settings.pool

Change all callers to set and use the pool properly.

global: unit tests - Add ssl_iostream_context_cache_free() calls

These will be necessary after the following commit, because unit tests are
using ssl_iostream_test_settings_*() calls to fill settings into a variable
in stack. However, the settings pointers may be added to
iostream-ssl-context-cache where they would become invalid.

lib-ssl-iostream: Don't make a copy of ssl_iostream_settings

Only two booleans are needed from the settings, so there's no need to keep a
copy of everything.

lib-ssl-iostream: Add comments to struct ssl_iostream_settings

login-common: Don't set allow_invalid_cert=TRUE anymore for SSL server

It's now done automatically.

lib-ssl-iostream: Always set allow_invalid_cert=TRUE for SSL servers

The callers are now always expected to check if the client certificates were
valid.

Currently the only servers that even supports client certificates are the
login processes, and they had already set this.

lib: Add null_pool memory pool

lib-ldap: Support ssl_cipher_list, ssl_min_protocol and ssl_curve_list settings

lib-ldap: Fix using ssl_client_cert/key

The cert/key is in the string itself, they're not paths to files.

lib: pool_add_external_ref() - Assert-crash if pool/ref_pool is datastack or system pool

These pools aren't unreferenced, so the reference would leak.

lib-ssl-iostream, global: io_stream_create_ssl_client/server() - Remove set parameter

All settings are now context-only.

lib-ssl-iostream: Remove unnecessary ssl_iostream_settings_drop_stream_only()

lib-ssl-iostream: Handle empty setting strings as "unset"

NULL and empty strings are now handled the same.

lib-ssl-iostream: Change ssl_iostream_settings.allow_invalid_cert to be context-only

All the callers already set it for context.

lib-ssl-iostream, global: Remove ssl_iostream_settings.verbose

This was unnecessary, because all the callers already set the parent event
to debug log level.

lib-master: Remove verbose_ssl setting

It can be replaced by: log_debug = category=ssl

lib-ssl-iostream, global: Remove ssl_iostream_settings.verbose_invalid_cert

The error about invalid certificate will be included in the SSL iostream's
error string, which the caller will eventually log. There's no need to
have a separate warning logged about it.

lib-ssl-iostream: Change "Received valid SSL certificate" log level to debug

There's no reason for it to be info-level. Originally it was intendend
only to be logged when client presented a certificate to server, but at
some point it became changed so that outgoing SSL connections always
logged it.

lib-ssl-iostream: Change ssl_iostream_settings.cert/alt_cert to be context-only

For SSL servers they already had to be context-only. For SSL clients the
alt_cert was never used. The cert setting for SSL clients could
alternatively have been changed to stream-only, but that likely isn't
actually useful/necessary.

lib-ssl-iostream: Change ssl_iostream_settings.verify_remote_cert to be context-only

lib-ssl-iostream: Change several settings to be context-only

Changed min_protocol, cipher_list, ciphersuites, curve_list,
cert_username_field and prefer_server_ciphers to be context-only.
All the callers were already providing the same ones anyway to both
the context and the stream.

lib-ssl-iostream: Fix enabling compression

ssl_options = compression didn't actually enable compression.
Although even with this option it may not work, since many OpenSSL packages
have been built without support for compression.

lib-ssl-iostream: Panic if SSL_CTX_set_tlsext_servername_callback() fails

It shouldn't fail in OpenSSL v1.0.2+.

lib-master: Remove obsolete comment

lib-master: Clarify master_service_ssl_server_settings groupings with empty lines

lib-master, global: Move all SSL server-specific settings to master_service_ssl_server_settings

lib-master: Rename ssl_verify_client_cert setting to ssl_request_client_cert

This clarifies how it works. It's only a request - not a requirement.

lib-master: Split ssl_client_ca out of ssl_ca

ssl_ca is now used only for server side.

ssl_verify_client_cert also had to be moved to server settings side so
ssl_ca could be verified to be non-empty when ssl_verify_client_cert is set.

lib-ssl-iostream, login-common: Rename ssl_iostream_get_peer_name() to _get_peer_username()

It's always using the ssl_cert_username_field to get it, so make it
explicit.

auth: Change passdb/userdb events' identifier fields

Rename "passdb" and "userdb" to "passdb_driver" and "userdb_driver".

Rename "passdb_name" and "userdb_name" to "passdb" and "userdb".
Additionally this no longer replaces empty name with the driver name.
Now that passdb/userdb { .. } require a name anyway, this wasn't really
relevant.

These changes are necessary to allow overriding any settings inside
passdb/userdb { .. } filters.

imap-login: Implement client vfunc reload_config()

imap-login: imap-login-client - Replace casts with container_of() calls

login-common: client_sni_callback() - Call new reload_config() vfunc

doveadm auth -x: Allow either service=name or protocol=name filters

It's a bit ambiguous which is correct, so allow both. The name is used for
mail_storage_service as "service", but it ends up going to auth as
"protocol".

imap-urlauth-worker: Change protocol to "imap"

The service is "imap-urlauth-worker", but the protocol is still "imap".

lib-storage: Add %{protocol} variable

doveadm auth: Set mail_storage_service_input.protocol instead of service

The service will now be "doveadm" for the lookup, while protocol is what is
given in -x protocol parameter.

lib-storage, global: Add mail_user.protocol and mail_storage_service_input.protocol

It defaults to same as service, but can be overridden.

lib-storage: shared storage - Preserve shared user's mail_user.service

lib-auth-client, auth: Rename "service" auth field to "protocol"

auth server still accepts "service" for backwards compatibility.

Increased minor auth protocol version to 3 because of this.

lib-auth-client, global: Rename auth_user_info.service to protocol

This makes it clearer that there is some confusion about services and
protocols. They'll be fixed up in following commits.

lib-auth-client, global: Rename auth_request_info.service to protocol

auth: Rename %s / %{service} variables to %{protocol}

login-common: Rename %s / %{service} variable to %{protocol}

login-common: Rename "service" event field to "protocol"

It already contained the protocol (e.g. "imap") rather than the service
(e.g. "imap-login").

lib-auth-client, auth: Rename "service" event field to "protocol"

auth: Rename auth_request.service to protocol

lib-oauth2: Rename X-Dovecot-Auth-Service header to X-Dovecot-Auth-Protocol

lib-oauth2, auth: Rename oauth2_request_input.service to protocol

auth: Rename service settings lookup functions/variables to protocol settings

They already were using protocol name { .. } settings, so it's more correct
to call them "protocol" internally as well.

global: Rename specific_services to specific_protocols

This describes the list of names better.

global: Use settings_boollist_get() where possible

lib-settings: Add settings_boollist_get()

lib-settings: Improve parsing strlist/key/child

This is invalid in any case, but it's better to parse it as "key/child"
rather than ignoring the "key" part entirely. This was causing some
confusion when "plugin/mail_plugins/quota=yes" was used, since it was
handled the same as "plugin/quota=yes".

auth: Change "passdb_mechanisms" setting to boolean-list

auth: Change "auth_mechanisms" setting to boolean-list

lib-storage: Change "mail_plugins" setting to boolean-list

lib, global: module_dir_*load*() - Change module_names to be an array of strings

master: Change "protocols" setting to boolean-list

doveconf: Make empty boolean-list settings visible as empty strings

lib-settings: Remove unused setting_parser_context.linenum

lib-settings, config: Add boolean-list (SET_BOOLLIST) type

The setting can also be configured as a comma/space separated list:

  list = key1 key2

It can further be modified with SET_STRLIST-like syntax:

list {
  key1 = no
  key3 = yes
  key4 = %{variable}
}

THe end result is an array of keys that were "yes". In this case key2, key3
and maybe key4 depending on the variable.

It's possible to have spaces also in keys, e.g.:

list = "key1 with space", key2
list {
  "key3 with space" = yes
}