lib-storage: Drop struct mail_user_vfuncs.stats_fill API

auth: Drop auth-stat

lib-dict: Remove memcached

lib-storage: Don't use cached message_parts while message is being parsed

Finish the parsing instead. Otherwise there can be some confusion about
parsed_bodystructure* fields, which indicate that data->parts have the
bodystructure info while in reality data->parts came from cached fields
and they have no bodystructure info.

lib-storage: Reset bodystructure parsing state when reseting message_parts

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

submission: Add submission_add_received_header setting

dict-sql: Fix assert-crash if trying to rollback an open set/inc transaction

Fixes:
Panic: file dict-sql.c: line 911 (sql_dict_transaction_free): assertion failed: (!array_is_created(&ctx->prev_set))

lib-master: sig_term_try_kick_user() - Remove ignored sockaddr and addrlen

Coverity complains about uninitialized addrlen, but no point in passing
these to accept() as the results are ignored.

.gitignore: Ignore doc/man/doveadm-indexer.1

pop3: Fix empty command handling

If empty command is given, error out instead of trying to create event.
This fixes a crash caused by d2ab26be6038bd53b13a3ff18c403d6c192c1d91.

man: Add doveadm-indexer

imap, pop3, indexer-worker, submission: Add per-process admin socket listener

This enables race-free kicking using socket+SIGTERM.

lib-master: Add support for for race-free kicking of users with SIGTERM

This works by anvil connecting to the per-process admin socket and sending
KICK-USER-SIGNAL command, followed by SIGTERM.

The receiving process usually gets the SIGTERM and attempts to accept() the
admin socket and read() the KICK-USER-SIGNAL command. If the command is for
a different user than is currently running, the signal is ignored.

If the SIGTERM is delayed, the generic admin connection needs to support
handling the KICK-USER-SIGNAL. This is done by blocking the SIGTERM early
while accessing the admin connection.

If the SIGTERM handler finds out that the admin socket was accepted but
a different command than KICK-USER-SIGNAL was found, this means a rather
race condition with another admin command. The process was most likely
going to be killed anyway, so just ignore the command and kill the process.

lib-master: Split off master_service_accept()

lib-storage: Call master_service_set_current_user()

lib-master: Add master_service_set_current_user()

anvil: Add support for KICK_TYPE_SIGNAL_WITH_SOCKET

This provides (mostly) race-free SIGTERM kick that doesn't kick the wrong
user.

lib: lib-signals - Add lib_signals_set_handler2() to set both immediate/delayed handlers

lib: lib-signals - Split off lib_signal_delayed()

lib: lib-signals - Check handler callbacks instead of LIBSIG_FLAG_DELAYED

This is in preparation for allowing both handlers to be called.

lib: lib-signals - Split immediate and delayed handlers to separate fields

This is in preparation for allowing both handlers to be called.

indexer-worker: Register indexing session to anvil

indexer-worker: master_connection_cmd_index() - Reduce indent

indexer-worker: Split off master_connection_cmd_index()

indexer: Use e_error() for error logging

indexer: Change worker-connection API to return struct worker_connection

indexer: Send request immediately in worker_connection_try_create()

This also guarantees that request_username is always set.

indexer: worker_connection_try_create() - Remove unnecessary conn_r parameter

indexer: worker-connection - Remove unnecessarily public functions

indexer: Remove worker-pool wrapper

It wasn't actually performing any pooling functionality anymore, so it was
just causing confusion.

indexer: Move functions from worker-pool to worker-connection

indexer: Refactor worker_connection_create() to _try_create()

Moved connection limit checking and connect() error handling inside it.

indexer: Send worker's PID in handshake

doveadm: Add indexer add/remove/list commands

doveadm: Use doveadm_blocking_connect() for connecting to indexer socket

This also adds extra error checking to make sure the command was accepted by
indexer.

doveadm: Use doveadm_blocking_connect() for connecting to master socket

doveadm: Add doveadm_blocking_connect()

This makes it easier for doveadm to connect to various connection API
compatible sockets.

lib: Add o_stream_create_fd_blocking()

lib: connection - Improve "wrong socket type" error message

Especially "Connected to wrong socket type" was confusing when it was logged
for incoming connections.

doveadm index: Use blocking fd for indexer

It was already assumed to be blocking, but the writes were so small that
usually it didn't matter.

indexer: Add test-indexer-queue unit test

indexer: Add REMOVE command to remove requests from queue

indexer: Split off a more generic indexer_queue_request_cancel()

This function can be used to cancel any request, not just the head of the
queue.

indexer: Add LIST command to list all requests

indexer: Add indexer-queue iterator API

indexer: Track user's indexing requests in a separate hash table

indexer: Use a proper enum for request type

This cleans up the code a bit.

indexer, global: Change protocol names in VERSION line

Dovecot IPC protocols generally use the -server and -client suffix.

indexer: Fix handling indexing requests while the request is being worked on

The request was always prepended to the head of the queue, even if it wasn't
asked for.

fts: fts_indexer_cmd() - Fix wrong handshake

This was used only by fts-lucene to send OPTIMIZE command.

Broken by b4827bc2f2c99029e8524e0c57228124dd22de52

lib-storage: If mailbox list index refresh fails due to I/O error, don't try to handle corruption

The list index may not have the latest state, so corruption handling could
be breaking it further.

lib-storage: Fix caching mailbox list index refresh failure

If refresh fails (e.g. lock timeout), the following refresh within the same
ioloop_timeval succeeded. This could have resulted wrongly thinking a
mailbox didn't exist when it actually did.

lib-storage: Fix error handling if metadata lookup fails from mailbox list index

The error was handled as success. Fixes at least:
Panic: file mail-storage.c: line 2207 (mailbox_get_metadata): assertion failed: ((items & MAILBOX_METADATA_GUID) == 0 || !guid_128_is_empty(metadata_r->guid))

imap: Remove X-CANCEL command

This was a Dovecot-specific extension that was never used by any
clients. Having it available might expose bugs, so it's better to just
remove it.

imap: Remove X-STATE command

This was a Dovecot-specific extension that never even worked. It simply
answered "NO Command is disabled for now."

indexer: indexer_client_status_callback() - Fix accessing freed memory

Broken by a9683d7b3

lib-storage: imapc_mailbox_close() - Remove unprocessed untagged_fetch_contexts

lib-storage: Remove trainling spaces

doveadm deduplicate: Simplify code by using doveadm_mail_iter_deinit_sync()

doveadm deduplicate: Optimize by deduplicating in a single transaction

imapc: imapc_sync_handle_untagged_fetches() - Commit after adding the untagged fetch messages

The absence of the commit could have caused issues when
imapc_sync_finish() was not called as it left mbox->delayed_sync_trans
initialized but mbox->delayed_sync_view was NULL.

Broken by 55a8c2d294bb2f764209c7ce455d258b2b7506f5

doveadm kick: Run anvil commands in a sub-ioloop

Running in main ioloop can cause unexpected IO to happen, which can lead to
crashes.

indexer: Fix memory leak on indexer timeout

doveadm: doveadm_who_iter_init() - Fix for handle leak on the fail path

man: Update kick/who/proxy man pages

config: Log a warning if service ipc is used in config

lib-master, global: anvil_client_query() - Add type safety to callback's context

global: Write pid_t as unsigned number where it might end up used with kill()

pid_t is signed, so usually it's been written to strings as signed long.
The actual pid values should never be negative, so practically it shouldn't
matter if it's written as signed or unsigned. However, due to bugs it's
theoretically possible that some garbage value gets written out.

kill() handles negative PIDs by killing entire process groups. By writing
pid_t as unsigned number we can prevent any (theoretical) issues where
kill() ends up killing entire process groups.

Change only some of the places to unsigned where the value might end up
used for kill(). Usually the signed writing is used only for log messages
where it might be more useful to see the negative numbers clearly
(especially -1 as unknown/unset might be used somewhere).

anvil: Add command, user-kick and user-list counts to ps title

This may be useful in debugging any potential performance issues with the
anvil process.

lib-master, global: anvil_client_query() - Add timeout parameter

The default kick command timeout should be larger than the lookup timeout.

lib-master: anvil-client - Change timeout to be query-specific

imap: Add client.unhibernated boolean

lib-master, ipc: Remove all code related to ipc process

login-common: Optimize kicking proxy connections by username

Track proxy connections by username in a hash table. Kicking only needs to
do a hash lookup from there to find the user's all sessions. Only detached
proxies are tracked this way. It's likely not worth the trouble to track
non-detached pending proxies in this way, since normally there shouldn't be
many of them.

login-common: Remove support for ipc process commands

These commands are now accessible via anvil / admin-client.

director: Kick users via anvil

director: Add user_director_hash field to passdb lookup replies

This can be used as alt-username to kick users by the hash.

doveadm: Change "proxy list/kick" to be aliases to "who/kick" commands

doveadm who: Rename "proto" field to "service"

That's what it now actually contains.

doveadm kick: Add -h <dest-host> parameter

doveadm who/kick: Handle number parameter as a username rather than IP address

doveadm kick: Print usage on bad parameters

doveadm kick: Change output format to only print number of connections kicked

Having the list of usernames kicked is a bit excessive and it also hides
how many connections were kicked.

The output also wasn't correct when kicking based on alt-username, because
it only printed the alt-username rather than the real usernames.

doveadm kick: Avoid listing all connections for simple kick filters

doveadm who/kick: Add support for -f <passdb-field> parameter

This is similar to what "doveadm proxy kick" has, i.e. list/kick users
based on their alternative usernames (user_* passdb fields).

doveadm kick: Rewrite to use anvil KICK-USER command

Removed the "force" parameter, because it's no longer necessary.

imap-hibernate: Change anvil service from imap to imap-hibernate

This is better now that anvil can internally separate the service from
protocol.

anvil: Track service and protocol separately

This way anvil can track e.g. "imap" and "imap-hibernate" services
separately, but still count them in the same "imap" protocol towards
mail_max_userip_connections.

anvil: Add optional conn-guid parameter to KICK-USER command

anvil: Implement KICK-USER and KICK-ALT-USER commands

anvil: Change to run the process as root and without chroot

The KICK-USER command needs to be able to connect to other processes' admin
sockets and to send signals to other processes.

anvil: Add admin_cmd_send()

This can use either incoming or outgoing connections for sending the
command.

anvil: Add admin-client API with connection pooling

anvil: Add support for sending commands to anvil client connections

anvil: Add anvil_connection_find()

login-common: Implement KICK-USER incoming anvil command

lib-master: anvil-client - Add support for handling incoming commands

lib-master, login-common: anvil_client_init() - Change callback to struct of callbacks

anvil: Change VERSION line to be bidirectional and add -client/server suffix

This makes it more similar to other internal protocols, and allows using
connection API more easily.

lib-master: anvil-client - Convert to connection API