anvil: admin-client - Add reference counting

This allows the command callback to free the admin-client.

anvil: connect-limit - Support multiple asynchronous iterators

lib-storage: mail_user_get_anvil_session() - Add alt_usernames

lib-storage: Add mail_user_get_alt_usernames()

lib: array - Add array_get_copy() which copies the array_get() result to the provided pool.

configure: Stop using cru with ar

Fixes ar: 'u' modifier ignored since 'D' is the default (see 'U')

configure: Use silent rules by default

Makefile: Add AM_V_GEN to generated files

m4: dovecot.m4 - Bump serial

run-test.sh: Move to build-aux

m4: dovecot.m4 - Fix moduledir self-reference

Fixes distcheck by not referencing itself eventually.

configure: Use external script to determine version

Makes packaging easier

configure: Use build-aux for external scripts

autogen.sh: Do not set ACLOCAL environment variable

m4 directory is set in configure.ac

configure.ac: Add tar-ustar option to AM_INIT_AUTOMAKE

Allows using longer filenames, without it, we are limited to 99 chars.

dict: Fix potential timeout leak at deinit

The deinit code could still trigger proctitle refresh.

dict: Make sure proctitle refresh timeout goes to the main ioloop

In some situations it could have gone to dict_wait() ioloop, causing
timeout leaks or crashes.

doveadm: Remove unused doveadm_killed_signo()

doveadm sync: Remove duplicate "Killed with signal" logging

It's already logged by lib-master.

lib-master: Always log a warning if process is killed by signal

If it's not logged by a delayed signal handler, log it at deinit.

lib-master: Split off log_killed_signal()

lib-master: Use sig_delayed_ prefix for delayed signal handler functions

This makes it clearer which signal handlers are immediate and which are
delayed.

lib-storage: Interrupt long mailbox searches on signal

When interrupt signal (SIGTERM) is received, run mailbox search for 2 more
seconds until failing it with MAIL_ERROR_INTERRUPTED.

indexer: Log MAIL_ERROR_INTERRUPTED with info-level instead of error

lib-storage: Add MAIL_ERROR_INTERRUPTED

This is going to be used to interrupt operations when e.g. SIGTERM is
received.

lib-storage: Avoid transaction rollback if mailbox delete fails in the middle

Commit the changes done so far and then return failure.

imap: Don't rollback transaction if expunge search fails

Just commit the expunges done before the failure. The next EXPUNGE will
continue from there.

imap: Add comment explaining EXPUNGE batching

doveadm: Remove duplicate SIGINT/SIGTERM handlers

lib-master already handles these.

doveadm: Remove duplicate "Killed with signal" logging in user iteration

It's already logged by lib-master.

lib-master: Add master_service_get_kill_time()

lib-master: Add master_service_get_kill_signal()

lib-master: Set killed-flag immediately in standalone programs

lib-master: Set killed-flag immediately in SIGTERM handler

This allows master_service_is_killed() to return TRUE without waiting for
the next ioloop to run.

lib: If log prefix update can't be sent to log, exit with FATAL_LOGERROR

lib: Fix losing log prefix or IP change when log process is busy

The fd for writing to log process is non-blocking. When sending options
to log process, it was done with write_full(), which stopped whenever
EAGAIN was returned. This error was simply ignored, and the logging code
thought that the prefix was successfully changed (or the IP was sent).

This mainly caused a problem when processes were reused and log process
was busy. The prefix update could have failed, and the following logging
would be using the previous session's log prefix, i.e. log lines could have
been logged for the wrong user/session.

Broken by 9372e48b702a3af5705785e08fbf47b0e37f2047

configure: Remove DOVECOT_WANT_SHADOW

Forgotten in 62cde650ebc83a8af6fe23f85dc92214afee672b

lib: connection - Fix changing istream in handshake_line() or input_line()

If the istream was changed (e.g. istream-multiplex added), the following
line was still read using the previous istream.

Fixes errors caused by recent anvil changes:
anvil: Error: Anvil client sent empty line

lib: Split off connection_input_parse_lines()

anvil: Log errors using connection event

indexer: Free user after anvil disconnect

Fixes invalid use after free. Broken by f9627ea62b5cb471d9adde0cc188ee8dea93c172

fts-squat: Remove the plugin

imap-hibernate: Support kicking connections

lib-master, global: Add and use MASTER_SERVICE_SHUTTING_DOWN_MSG

Use a macro to replace "Server shutting down" texts in different services.

imap-hibernate: Send BYE message to client when process shuts down.

Since the BYE message isn't explicitly flushed, this change also disables
error handling for the client ostream to prevent assert-crash at destroy.

imap-hibernate: Use the same "Server shutting down" log message as imap

Not just "Shutting down".

imap, imap-urlauth, pop3: Remove trailing period from "Server shutting down" log message

It's a bit weird having it in the log message. It's still sent to the
client though.

fts-lucene: Remove the plugin

auth: Remove shadow passdb driver

Drop support of shadow passdb driver by removing the implementation,
relevant references, build chain entries and the example config.

mail-crypt: Fix for mail being wrongly storing encrypted via LMTP

If 1st recipient has mail_crypt_save_version=2,
and 2nd recipient has mail_crypt_save_version=0,
the mail for 2nd recipient is wrongly stored encrypted.

Same happens if 2nd recipient has mail_crypt disabled

mail-crypt: Remove "plugin disabled" texts from errors

The plugin isn't just disabled, the user initialization fails entirely.

mail-crypt: Fix crash when plugin is already initialized, but not used for another user

Fixes:
Panic: Module context mail_crypt_user_module missing

old-stats: Remove the plugin, lib-old-stats old-stats plugins/imap-old-stats plugins/old-stats

lib-storage: Drop struct mail_user_vfuncs.stats_fill API

auth: Drop auth-stat

lib-dict: Remove memcached

lib-storage: Don't use cached message_parts while message is being parsed

Finish the parsing instead. Otherwise there can be some confusion about
parsed_bodystructure* fields, which indicate that data->parts have the
bodystructure info while in reality data->parts came from cached fields
and they have no bodystructure info.

lib-storage: Reset bodystructure parsing state when reseting message_parts

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

submission: Add submission_add_received_header setting

dict-sql: Fix assert-crash if trying to rollback an open set/inc transaction

Fixes:
Panic: file dict-sql.c: line 911 (sql_dict_transaction_free): assertion failed: (!array_is_created(&ctx->prev_set))

lib-master: sig_term_try_kick_user() - Remove ignored sockaddr and addrlen

Coverity complains about uninitialized addrlen, but no point in passing
these to accept() as the results are ignored.

.gitignore: Ignore doc/man/doveadm-indexer.1

pop3: Fix empty command handling

If empty command is given, error out instead of trying to create event.
This fixes a crash caused by d2ab26be6038bd53b13a3ff18c403d6c192c1d91.

man: Add doveadm-indexer

imap, pop3, indexer-worker, submission: Add per-process admin socket listener

This enables race-free kicking using socket+SIGTERM.

lib-master: Add support for for race-free kicking of users with SIGTERM

This works by anvil connecting to the per-process admin socket and sending
KICK-USER-SIGNAL command, followed by SIGTERM.

The receiving process usually gets the SIGTERM and attempts to accept() the
admin socket and read() the KICK-USER-SIGNAL command. If the command is for
a different user than is currently running, the signal is ignored.

If the SIGTERM is delayed, the generic admin connection needs to support
handling the KICK-USER-SIGNAL. This is done by blocking the SIGTERM early
while accessing the admin connection.

If the SIGTERM handler finds out that the admin socket was accepted but
a different command than KICK-USER-SIGNAL was found, this means a rather
race condition with another admin command. The process was most likely
going to be killed anyway, so just ignore the command and kill the process.

lib-master: Split off master_service_accept()

lib-storage: Call master_service_set_current_user()

lib-master: Add master_service_set_current_user()

anvil: Add support for KICK_TYPE_SIGNAL_WITH_SOCKET

This provides (mostly) race-free SIGTERM kick that doesn't kick the wrong
user.

lib: lib-signals - Add lib_signals_set_handler2() to set both immediate/delayed handlers

lib: lib-signals - Split off lib_signal_delayed()

lib: lib-signals - Check handler callbacks instead of LIBSIG_FLAG_DELAYED

This is in preparation for allowing both handlers to be called.

lib: lib-signals - Split immediate and delayed handlers to separate fields

This is in preparation for allowing both handlers to be called.

indexer-worker: Register indexing session to anvil

indexer-worker: master_connection_cmd_index() - Reduce indent

indexer-worker: Split off master_connection_cmd_index()

indexer: Use e_error() for error logging

indexer: Change worker-connection API to return struct worker_connection

indexer: Send request immediately in worker_connection_try_create()

This also guarantees that request_username is always set.

indexer: worker_connection_try_create() - Remove unnecessary conn_r parameter

indexer: worker-connection - Remove unnecessarily public functions

indexer: Remove worker-pool wrapper

It wasn't actually performing any pooling functionality anymore, so it was
just causing confusion.

indexer: Move functions from worker-pool to worker-connection

indexer: Refactor worker_connection_create() to _try_create()

Moved connection limit checking and connect() error handling inside it.

indexer: Send worker's PID in handshake

doveadm: Add indexer add/remove/list commands

doveadm: Use doveadm_blocking_connect() for connecting to indexer socket

This also adds extra error checking to make sure the command was accepted by
indexer.

doveadm: Use doveadm_blocking_connect() for connecting to master socket

doveadm: Add doveadm_blocking_connect()

This makes it easier for doveadm to connect to various connection API
compatible sockets.

lib: Add o_stream_create_fd_blocking()

lib: connection - Improve "wrong socket type" error message

Especially "Connected to wrong socket type" was confusing when it was logged
for incoming connections.

doveadm index: Use blocking fd for indexer

It was already assumed to be blocking, but the writes were so small that
usually it didn't matter.

indexer: Add test-indexer-queue unit test

indexer: Add REMOVE command to remove requests from queue

indexer: Split off a more generic indexer_queue_request_cancel()

This function can be used to cancel any request, not just the head of the
queue.

indexer: Add LIST command to list all requests

indexer: Add indexer-queue iterator API

indexer: Track user's indexing requests in a separate hash table

indexer: Use a proper enum for request type

This cleans up the code a bit.