lib-json: json-parser - Fix stream read size calculations in JSON string istream

lib-json: json-parser - Rename local variable in json_string_istream_read()

Also restructure its use a bit to make its function more clear.

auth: auth-request - Remove auth_request_log_*()

auth: auth-request - Log about passdb skipping on main request event

auth: auth-request - Add auth_request_db_log_unknown_user() and use it

auth: auth-request - Add auth_request_db_log_password_mismatch() and use it

auth: auth-request - Add auth_request_db_log_login_failure() and use it

auth: auth-request - Add auth_request_db_password_verify*() and use them

auth: auth-request - Use event directly with auth_request_password_verify*()

auth: auth-request - Use event directly with auth_request_log_unknown_user()

Drop subsystem parameter. Caller is now providing the event.

auth: auth-request - Use event directly with auth_request_log_password_mismatch()

Drop subsystem parameter. Caller is now providing the event.

auth: auth-request - Use event directly with auth_request_log_login_failure()

Drop subsystem parameter. Caller is now providing the event.

auth: auth-request - Use event directly with log_password_failure()

Drop subsystem parameter. Caller is now providing the event.

auth: db-password-file - Replace auth_request_log_info() with e_info()

This also fixes the log prefix.

auth: auth-master-connection - Replace auth_request_log_info() with e_info()

This also fixes the log prefix.

auth: auth-master-connection - Replace auth_request_log_error() with e_error()

This also fixes the log prefix.

auth: passdb-sql -  auth: mech-digest-md5 - Replace auth_request_log_error() with e_error()

auth: mech-digest-md5 - Replace auth_request_log_info() with e_info()

auth: mech-digest-md5 - Add local variables for struct auth_request

auth: auth-request - Add request ID to the event log prefix for worker requests

auth: auth-request - Add SASL state to the event log prefix

auth: auth-request - Move most of the log prefix to the main request event

This way, any request-related logging will have a prefix with all the necessary
information. Before, the main request event had no prefix and when no sub-event
was available no prefix was added to log lines, meaning that the request these
related to could not be determined. Sub-events will now have a smaller
additional prefix that relates to the subsystem alone.

auth: auth-request - Move get_log_identifier()

auth: test-mech - Run the test as a master service

auth: test-auth - Run the test as a master service

auth: Reformat mech-digest-md5.c

lib-master: master-service - Improve comment for  master_service_set_killed_callback()

indexer: Remove unused worker-pool.c

Forgotten in 093b312e13700ca18a1a8b8c16480ef86565fb84

fts-solr: Drop solr_old

lib-json: test-json-generator - Fix test to reach the last state

auth: auth-policy - Fix request JSON success field

It was always emitted as success = true.

Broken by a953dbf8cce1285a27b321eb28ad83f55c083d4f.

lib-json: json-istream - Clear and dereference stream tree fields early upon error

lib-json: json-types - Rename value-get functions for consistency

lib-json: json-types - Remove stray definition

lib-json: test-json-io - Add tests for json_text_format*()

lib-json: json-ostream - Make sure ostream_r is initialized by json_ostream_open_string_stream()

lib-json: json-ostream - Fix error handling of json_ostream_write_tree()

lib-json: json-parser - Fix dead assignment in json_parser_continue()

lib-json: json-parser - Remove dead assignment in json_string_istream_read()

lib-json: json-generator - Fix dead assignment in json_generate_string_write_data()

lib-json: test-json-istream - Make string input stream tests robust to failure

lib-json: test-json-istream - Fix read result assertion in test_json_istream_error()

lib-json: test-json-istream - Fix assertion of read results

lib-json: test-json-generator - Remove dead assignment in test_json_generate_stream()

lib-json: test-json-generator - Fix return value assertions

lib-json: json-istream - Correctly handle NULL pointer for node_r in *_stream()

lib-json: json-tree - Make use of result from tree addition functions optional

lib-json: test-json-tree - Change code line breaks

lib-json: test-json-ostream - Change code line breaks

lib-json: test-json-tree - Fix dead assignments

lib-json: test-json-ostream - Fix dead assignments

lib-json: test-json-istream - Fix string stream error assertions

lib-json: json-format - Fix error handling

lib-json: Fix comments in json-types.h

doveadm: doveadm-fs - Support setting metadata in put

lib-fs: metawrap - Indicate metadata support

Forgotten in c59b9c273b41f7bcf51f6803110b67813879ff05

fs-crypt: Limit minimum buffer size to 1k

Otherwise we might not get enough data to decrypt
the stream.

fs-compress: Limit minimum buffer size to 1k

Otherwise we might not get enough data to decompress
the stream.

lib-storage: Rebuild list-index using MAILBOX_LIST_ITER_FORCE_RESYNC

In case the list index file was just created use
MAILBOX_LIST_ITER_FORCE_RESYNC to rediscover mailboxes that might have
been hidden.

lib-storage: fs_list_entry() - Do not list MAILBOX_NOINFERIORS for index iterations

The index directory is only expected to contain child directories for
mailboxes. Any files in there shouldn't be listed.

lib-storage: fs_list_entry() - Do not delete \Noselect leaf mailboxes with force-resync

lib-storage: Allow rediscovering lost mailboxes when using ITERINDEX and LAYOUT=fs

This is meant to prevent losing mailboxes if the index directory of a
mailbox got lost. A force-resync allows to rediscover and recreate
missing directories.

doveadm: cmd_force_resync_run() - Add MAILBOX_LIST_ITER_RAW_LIST

This flag makes sure existing indexes are ignored when running a
force-resync.

lib-storage: Make mailbox_mkdir() public

lib-storage: Set iter_from_index_dir directly on mailbox_list_iterate_context

imap: Suppress permission errors when getmetadata mailbox has wildcards

When one of the mailboxes matching the wildcard has ACL permissions "l"
(only lookup, with no extra rights supporting it), it causes a PERM error
that is propagated as either untagged or last tagged response. This fix
allows to skip the offending folders rather report errors in the response.

imap: Send NONEXISTENT unconditionally

The response code will always be emitted rather than checkng
for COMMAND_FLAG_USE_NONEXISTENT. Despite what RFC 5530 states,
this behavior is useful for the other commands as well, and it
also is required for imapc GETMETADATA to work properly.

imapc: Implement remote getmetadata and setmetadata

imapc: Add no-metadata feature

lib-master: stats_client_deinit() - Unref output ostream

lib-master: stats_client_init_unittest() - Set no error handling for ostream

lib-master: Add asserts to make sure error string is set

Fixes scan-build complaint.

lib-master: Fix error handling if config fd wasn't received

config: Fix potential crash with unknown settings

config: Remove dead code

config: Add data stack frame when dumping filters

lib-settings: settings_*get*() - Add data stack frame

lib-master: stats_client_wait() - Distinguish between handshake and deinit

stats_client_wait() is used to wait for the handshake response as well
as waiting for the stats flushing on stats_client_deinit(). Previously
the stats_client_deinit() could easily have timed out.

This adds a specific error message for the deinit timeout as well as a
bigger timeout (30 seconds).

config: Optimize away config exporter creation when it has nothing to export

lib-settings: test-settings-parser - Test that invalid setting values aren't accepted

lib-settings, global: Skip processing unnecessary service { .. } filter blocks

Only the master process needs service blocks for other services.
We can save a lot of memory by not creating event filters for them.

lib: event_filter_merge*() - Fix merging filters with IP fields

lib: event_filter_merge*() - Fix merging filters without explicit event check

lib-master: Don't send unnamed events to stats

This wasn't actually happening currently, but the following
event_filter_merge() fix would have changed it.

However, test-event-stats unit test wasn't using event_filter_merge(), so it
was testing unnamed events. Changed the test to use named events intead.

lib-master: test-event-stats - Simplify communication with stats-client

Modify stats-client to support writing to an ostream. This way
test-event-stats doesn't need to fork and emulate a server process.
This should fix some random failures with this test.

Note that the END numbers change because server_connection_connected event
is no longer sent.

stats: Fix crash if exporting an unnamed event

This can't actually happen, because currently unnamed events aren't being
sent to stats.

lib: event_filter_find_field_exact() - Add op_not_r parameter

lib: event-filters - Change event_fields.value from struct to union

This reduces memory usage.

lib: event-filters - Keep source_filename:linenum only in a string

The source filters aren't normally used, and their performance doesn't
matter much. This change will allow the following commit to change
event_field.value into a union.

lib: event-filters - Use union for event_filter_node's type-specific fields

This reduces memory usage.

lib: event filters - Fix matching source location filename

The comparisons always used the created event's source filename rather than
e.g. event_want_debug() function's source filename.

lib: event-filters - Fix filter merging for IP and STRLIST types

lib: event-filters - Remove separate str and intmax fields from event_filter_node

Use event_field.value's equivalent fields. This reduces memory usage.

lib: test-event-flatten - Clarify how strlist matching works

Also remove related dead code.

config, lib-settings: Avoid reading settings blocks' filters into memory

They are accessed directly from the mmaped memory now. This reduces
per-process memory usage.

lib-settings: Use event_filter_create_with_pool() for created filters

This way there is no wasted memory with each filter creating their own pool
and using only part of it.

lib: Add event_filter_create_with_pool()

config, lib-settings: Add config filter strings only once to binary config

Add them first globally and later on inside settings blocks refer to them
with their index number. This way lib-settings also can easily allocate the
event filters just once.

config, lib-settings: Use index numbers for setting keys in binary config

This allows directly finding the setting with the index number without
having to find it via the key string.

lib-settings: Add and use settings_mmap.pool