lib: Add t_split_key_value_eq()

run-test-valgrind.supp: Suppress OpenSSL EVP_DecryptFinal_ex() use of uninitialized value

This issue seems to be https://github.com/openssl/openssl/issues/19719

aggregator: Fix assert-crash when output to replicator starts queuing

If the output was less than IO_BLOCK_SIZE (as it usually would be), the code
just skipped over the whole buffered output and was confused that it didn't
find LF. Fixed by skipping over all but the last byte in the buffer, which
should be the LF.

Fixes:
Panic: file replicator-connection.c: line 99 (replicator_send_buf): assertion failed: (len < buf->used)

master: Fix fd leak check at startup with DEBUG

Don't fail at startup because config fd is set.

Broken by 9280367fdb767d9248dd9a3713519ee3cdad6b3f

lib: Add memcpy() macro that assert-crashes if either parameter is NULL

global: Make sure memcpy() isn't called with NULL parameters

Add an explicit if-check to make sure neither destination nor source pointer
parameter is NULL, since it's undefined behavior and can lead to crashes
with current compilers.

Currently this code isn't known to have caused issues.

global: Add asserts to make sure memcpy() won't be called with NULL parameters

These asserts aren't expected to trigger with current code.

lib: ostream-file - Fix assert to be more restrictive

lib-dict: Parse proxy attributes as millisecond based interval

lib-dict: Rename proxy attributes

Make the naming of the attributes consistent with other storage
parameters, especially the http-storage.

lib-dict: Fix comment of default proxy timeout millisecond macro

global: Complete unsigned int declarations

To be more consistent with the rest of the code base and because of code
quality reasons this commit adds the "int" keyword that is theoretically
optional for unsigned integer types.

lib-http: Remove unnecessary NULL check

This is confusing static analyzers.

Broken by 987fab8f4e143ab851c3318c8614e81bb0f2b360

lib: Add unit test for random_fill()

lib-http: test-http-payload - Use ostream-final-trickle for client connections

lib-http: test-http-payload - Add more server last byte trickle tests.

lib-http: test-http-payload - Rename server last byte trickle test.

lib-http: test-http-payload - Add server_ prefix to tset.trickle_final_byte.

lib-http: test-http-payload - Clean up global http client context between tests.

lib-http: test-http-payload - Restructure client init/deinit.

lib-http: test-http-payload - Fix segfault occurring upon out-of-sequence request completion.

lib-http: http-client - Make http_client_global_context_free() public for testing.

lib-http: client - Don't unlock connection output before request is fully sent

This could happen at least when the payload is empty and the final LF was
buffered.

lib-http: client - Don't unlock connection output before request payload is fully sent

lib-http: http-client-request - Make sure connection output is unlocked if blocking request receives response.

Otherwise, a race condition between outgoing payload transmission and receiving
the response may cause connection to hang.

lib-http: http-client-connection - Remove useless early state transition.

Happens in http_client_request_callback() already.

lib: ostream-wrapper - Don't halt/resume output upon error.

lib: ostream-wrapper - Call output_finished() callback when wrapper stream is finished and empty.

Before, it would only be called when the parent output is also fully flushed,
which is too late.

lib-test: ostream-final-trickle - Call o_stream_set_flush_pending(..., TRUE) in timeout.

lib-test: ostream-final-trickle - Fix bug occurring when writing single byte.

lib-http: Reformat http-client.h.

lib-http: Reformat http-client.c.

lib-sql: Don't allow passing NULL duration_r to sql_query_finished_event()

Almost everyone provides it in any case.

lib-sql: driver-sqlite - Handle CANTOPEN like READONLY

Older SQLite will not use READONLY.

lib-sql: driver-sqlite - Include rc in database connection error message

fs-randomfail: Make sure 100% probability always fails

The randomness was previously divided 50% pre-operation and 50%
post-operation, so it wasn't guaranteed to always fail.

lib-storage: shared - Fix handling errors initializing shared mailbox owner user

Broken by 46289fd0efce678c07f13bfa5f3cb077d2ea8cb8

global: Fix libauth and libotp linking issues using --without-shared-libs

login-common: Rename login_auth_socket_path to login_socket_path

lib-master, config: Ignore SSL server settings when executing doveconf via doveadm

This is just a temporary kludge to allow running doveadm (as non-root) when
SSL cert/key files aren't readable. Changes later on fix this properly.

lib-master: Add DOVECONF_SERVICE environment to doveconf

This is needed to avoid calling managesieve dump-capability for doveadm and
other processes that don't need it.

lib-master, config: Support disabling settings checks

This is intended for managesieve's dump-capability.

config: Remove last traces of modules based filtering

config: config_parse_file() - Remove unused modules parameter

config: config_parse_file() - Change expand_values parameter to enum

lib-master: Keep the config always mmap()ed

The config fd is no longer necessary to keep open.

lib-master, lib-login: Remove master_service_close_config_fd()

Config fd is now always kept open and it shouldn't be closed.

lib-master, global: Remove MASTER_SERVICE_FLAG_KEEP_CONFIG_OPEN

The config is now always kept open.

lib-master, config: Change parsed config file syntax to binary

Also use mmap() to parse the config more efficiently. The late doveconf
exec fallback is also removed here, since mmap() isn't expected to fail and
afterwards the errors are about the config file syntax errors. (The
doveconf fallback is still there in the earlier code before config fd is
received.)

lib-settings: Remove unused settings_stream_unescape() and SETTING_STREAM_LF_CHAR

lib-settings: Remove unused settings_parse_stream*()

lib-settings: test-settings-parser - Parse settings one line at a time instead of as streams

stats: unit tests - Parse settings one line at a time instead of as streams

lib-settings: Remove unused settings_parse_environ()

lib-master: Remove support for reading settings from environment

This is no longer necessary with doveconf -F parameter. The settings were
previously also being read from environment if -k parameter was used, but
there was never any real benefit in doing that. This change was introduced
by a88696bd63b2ce0f7b02ee3352e4bf739497352a simply to keep the behavior
identical when reading settings via doveconf vs config socket.

lib-master, master: Remove MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This is no longer necessary now that settings are passed via fd.

master, log: Pass config fd from master to log process

The log process must not depend on the config process, because they would
have a circular dependency. Previously the configuration was sent to the
log process via environment filled by the master process. Now that we have
the full config available in a file descriptor, pass that config fd instead.

doveadm sync: Use the main process's configuration for dsync-server process

This preserves the old behavior.

doveadm exec: Avoid re-executing doveconf after executing binary

lib-master: Support returning master_service_settings_output.config_fd

config, lib-master: Send configuration as a seekable file descriptor

This allows lib-master to re-read the configuration using the same open fd.

The binary configuration is written to an unlinked file. The file's fd is
sent to config clients, so the binary config stays allocated until all
config clients have closed the fd.

config: Remove support for doveconf -e parameter

This was replaced by the -F parameter.

config: config_filter_parsers_get() - Remove unused modules parameter

config: config_export_init() - Remove unused modules parameter

doveconf: Ignore -m and -p parameters

Support for "modules" is going away, so these aren't useful.

lib-storage, global: Remove unused mail_storage_service_input.module

lib-master, global: Remove master_service_settings_input.{module|extra_modules}

Configuration reading now reads all the modules always.

lib-master, master: Remove master_service_settings_input.parse_full_config

This flag no longer does anything.

lib-storage: Remove MAIL_STORAGE_SERVICE_FLAG_NO_SSL_CA and master_service_settings_input.no_ssl_ca

These flags no longer do anything.

lib-master, config: Remove unused flags in master_service_settings_output

config: config_export_init() - Remove unused exclude_settings parameter

config: Require all config request commands to use the new "full" method

Removed the "full" parameter, since it's now always needed. The config
protocol version was increased to make sure clients are compatible.

lib-master: Execute doveconf with -F parameter as the config fallback

This changes settings to be read via a fd instead of environment.

As a side effect, this fixes a bug where if the settings output was larger
than 128 kB in Linux, exec() would fail with "Argument list too long".

lib-master preserves support for reading settings from environment for a
few more commits, because the log process uses it to read its settings.

lib-master: Read config using the new "full" flag

config: Remove unused FILTERS command

lib-master: Remove unused master_service_settings_get_filters()

lib-master: Remove master-service-settings-cache API

login-common: Remove master-service-settings-cache usage

lib-storage: Remove master-service-settings-cache usage

config: Add support for dumping machine-readable "full config"

This includes the main config and all different filters. It can be
requested from config service with "full" parameter or with doveconf
-F [<command>] parameter. If <command> is not given, output is written
to stdout. Otherwise the <command> is executed and the config is
provided via file descriptor in DOVECOT_CONFIG_FD environment.

The format will change in the following commits.

config: Generate unique index numbers for unnamed sections

This will be required by the following changes to allow incrementally
parsing filtered settings.

master: Make sure config reload never causes execing doveconf

This could have happened if there was an error reading configuration
via config socket. This would have caused master process to restart,
which would have messed up everything.

lib-master, master: Make sure master process never tries to read config socket at startup

If the config socket exists, it's a leftover from an older dovecot and
shouldn't be trusted.

config: Remove unnecessary CONFIG_DUMP_FLAG_IN_SECTION

global: Use ip type for event fields with IP addresses

lib: Allow event filters to use '/' and '%' in values without quoting

This allows using "ip = 127.0.0.0/8%lo" without quotes.

lib: Add "ip" type for events and "ip/bits" matching for event filters

lib: net_is_in_network() - Fix checking scope ID in IPv6

Using "ip%iface1" shouldn't match "ip%iface2". However, do allow it to
match "ip" when %iface is missing.

lib: If key already exists, event_add_str(value=NULL) should clear the key

This seems like a more correct logic than not doing anything with NULL
values. It shouldn't affect any of the existing code though.

lib-settings: Remove unused settings_parse_file()

lib-settings: Remove unused settings_parse_exec()

lib-master: Remove code for retrying interrupted config read()s

This hasn't been working for a long time now. The fd is blocking, so
i_stream_read() returns -1 for it instead of 0 on EINTR. There's
really not supposed to be any signals happening during config reading
anyway (other than SIGALRM timeout, in which case we want to abort the
read instead of retry).

lib-master: -O parameter shouldn't read settings from environment

The -O parameter should start with the default configuration only. This
seems to have been an accidental bug, which was just never noticed.

lib: o_stream_unix_write_fd() - Don't close fd on write failure

On success the write_fd is set to -1 without closing it, so the caller is
responsible for closing it.

If o_stream_unix_close() is reached with write_fd != -1, it means the write
failed. The write_fd shouldn't be closed in that case either.

This function wasn't actually currently used anywhere.

lib-storage, global: mail_storage_service_lookup_next() - Remove service_user_r parameter

Also change the callers to not bother storing it separately. Instead, they
can just use mail_user_r->service_user.

lib-storage: Remove unused mail_storage_service_get_global()

lib-storage, global: Rename mail_user._service_user to service_user

It's now always set, so the underscore isn't useful.

lib-storage: mail_user_alloc*() - Require service_user parameter

lib-storage: Create a service_user for shared mail_users

lib-storage: shared - Split off shared_mail_user_init()