director: Fix tracking user move count when user is freed early

users_moving_count wasn't updated if the user was freed before killing it
finished. This caused "doveadm director flush" to hang while waiting for
the move count to drop to 0, which it never did. Also following flushes
were doing less work in parallel, or possibly even nothing since director
thought there were too many users already being moved.

quota: quota_get_resource() - return enum to make the result more exact

This is mainly to differentiate between "resource name unknown" and
"unlimited quota".

This also fixes quota_clone plugin to update quota even when quota is
unlimited. It was supposed to have been skipped only when the resource
names weren't known.

The private quota.get_resource() API is unchanged. The backends were
already returning 0 only when the resource name was unknown.

imap-quota: Return NO reply if GETQUOTA fails only partially

If the first resource lookup succeeded and the second one failed, the
GETQUOTA command replied with OK instead of NO.

doveadm-mail: Handle parse_arg return value

Invalid parameters did not cause error.
Broken in fa6b2cbb3

lib-master: master_service_init_log() - Switch log handlers only on the first call

The secondary calls were only done by mail_storage_service_*() calls. They
want to initialize the logging once, but afterwards they only care about
changing the log prefix. Switch to this behavior now explicitly.

This fixes behavior if logging functions are changed between
mail_storage_service_*() calls, so they don't get reset.

lib-dcrypt: Use cpu32_to_be instead of htonl

prefer our own conversion functions over htonl
which is intended for networking related numbers.

global: use i_close_fd{,_path}() instead of open-coding them

lib: introduce i_close_fd_path()

It is like i_close_fd() but takes an argument with the name of the file
that's being closed.  The name is only used when printing the error
message due to a failed close() syscall.

lib: remove close_keep_errno()

lib: improve i_close_fd() error message

In addition to printing the file and line number, we can print the
actual arg passed in as well as the function calling i_close_fd().

lib: print correct error string on i_close_fd() failure

close_keep_errno() preserved the original errno, therefore the %m in
i_close_fd()'s error message printed an unrelated error string.

dovecot.service: Update systemd file

There is no point daemonizing dovecot in systemd, also added
comment about apparmor and NoNewPrivileges option.

lib-test: Suppress expected error messages

Unless pattern is also provided

lib-storage: Remove obsolete mailbox_save_set_dest_mail()

configure.ac: Wrapped long LIBDOVECOT_LA_LIBS definition line to make modifications easier.

auth: global rounds parameter replaced with argument to password_generate()

username and rounds parameter moved to a single
password_generate_params structure.

doveadm: Use doveadm command name as reason in doveadm_mail_iter_init()

dsync: Add hashed_headers setting

This makes it possible to configure them

dsync: Fix typo, it's ibc not icb

dsync: Add missing space to handshake optional keys

dsync: Improve reason when logging "modseq .. no longer in transaction log"

Show the current highest, as well as the last common UID and the current
next UID. These can help to try to figure out problems.

global: remove unnecessary ENOENT checks from unlink_directory() calls

lib: unlink_directory() return value is changed to 1 in case of no error.

lib: unlink_directory_r() is refactored.

unlinking doesn't stop at unlink() errors, first error is written to
error_r, consequent errors are logged via i_error errno set to first
happened error. unlink_directory_r() is expecting *error_r to be set
to NULL. errno is set to 0 before each call to readdir().

mail-crypt: Fix linking order

lib: Define i_unreached() to __builtin_unreachable() with STATIC_CHECKER

This helps clang's alpha.deadcode.UnreachableCode checker.

replication-plugin: Debug-log mailbox transaction reason

lib-storage: Add reason to mailbox.transaction_begin()

lib-storage: Add reason to mailbox_transaction_begin()

Remove mailbox_transaction_set_reason().

configure: Fix link order: libsmtp depends on libprogram-client

lib-storage: Don't crash when opening inbox fails in mailbox-list-index-notify

lib-sql: Fix compiler warning with OSX

master: Don't throttle services that are already being destroyed

If process couldn't be created, because the service_list is already being
destroyed (e.g. due to reload), also don't enable unnecessary throttling
for the service.

Hopefully fixes these random errors that are logged alone:
master: Error: service(...): command startup failed, throttling for 2 secs

lib: If log writing to log process is blocking, show it in process title

This change also makes the log pipe non-blocking.

lib: Add process_title_get()

Add <%{pid}> to default mail_log_prefix

It's especially useful nowadays when the same session ID can be reused by
multiple processes with IMAP hibernation enabled.

doveadm: "Extraneous arguments found": Show the args in the error

lib-http: client: Send empty payload (Content-Length: 0) for requests that normally expect a payload.

This includes the standard POST and PUT methods.
Others need to use the new http_client_request_set_payload_empty() function to force sending an empty payload.

notify-status plugin: Use priv/status/<mailbox> for keys

priv/<mailbox>/status can't be used with dict-sql when <mailbox> has '/'.

global: start relying on buffer_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  buffer_free(&E);
- }
+ buffer_free(&E);

lib: buffer_free(NULL) should be a no-op

global: start relying on pool_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  pool_unref(&E);
- }
+ pool_unref(&E);

lib: pool_unref(NULL) shoud be a no-op

global: start relying on [io]_stream_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_unref(&E);
- }
+ i_stream_unref(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_unref(&E);
- }
+ o_stream_unref(&E);

lib: [io]_stream_unref(NULL) should be a no-op

global: start relying on [io]_stream_destroy(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_destroy(&E);
- }
+ i_stream_destroy(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_destroy(&E);
- }
+ o_stream_destroy(&E);

lib: [io]_stream_destroy(NULL) should be a no-op

global: start relying on timeout_remove(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  timeout_remove(&E);
- }
+ timeout_remove(&E);

lib: timeout_remove(NULL) should be a no-op

global: start relying on io_remove{,_closed}(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  io_remove(&E);
- }
+ io_remove(&E);

@@
expression E;
@@

- if (E != NULL) {
-  io_remove_closed(&E);
- }
+ io_remove_closed(&E);

lib: io_remove(NULL) and io_remove_closed(NULL) should be no-ops

global: start relying on i_close_fd(-1) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != -1)
-  i_close_fd(&E);
+ i_close_fd(&E);

lib: i_close_fd(-1) should be a no-op

director: Fix flush to kick the user also when all backends are down

The user's host can't change, because there are no other hosts. So add a
new parameter to force the kick anyway.

cassandra: Timestamp should be in microseconds, not milliseconds

global: use i_rand_limit() and i_rand_minmax() when possible

lib: introduce i_rand_limit() and i_rand_minmax()

lib-index: fix off-by-one in index flag update test

When selecting the second seq, the max value we should generate is
hdr.messages_count - not one less than that.

lib-storage: Fail if two namespaces try to wrongly share the same LISTINDEX

If they have different mailboxes-path, they can't be sharing the same
mailbox list index. The previous behavior caused Dovecot to silently
overwrite the list index whenever each of the namespaces were accessed,
resulting in bad performance.

notify-status: Remove first_unseen_seq field

The sequence number keeps changing, so it's very unlikely to be useful.
It's also not always as efficiently available as the other fields, so
better to avoid having it.

lib-storage: convert struct pop3_mail casts to container_of

lib-storage: convert struct imapc_mail casts to container_of

lib-storage: convert index to use container_of

lib-storage: convert missed mbox casts to container_of

lib-storage: convert missed raw storage casts to container_of

lib-storage: convert missed maildir casts to container_of

lib-storage: convert missed imapc casts to container_of

lib-storage: convert missed cydir casts to container_of

auth: Expand %{ldap_dn} to ldap_get_dn().

director: Avoid "ring sync timeout" errors when all backends are down

doveadm commands were failing with it. Also pending request failures were
logged as failing due to ring sync timeout, instead of because no hosts.

director: Delay calling state_change_callback() after user kick is finished

Otherwise it can get into recursive loop and cause problems.

doveadm director: Improve logging unexpected disconnections from director socket

Previously it just logged "failed", which wasn't very understandable.

director: Fix crash when flush is run and all backends are down.

Instead of moving the users elsewhere, just kill them and flush the backend.

lib: uri_parser_init*() - initialize allow_pct_nul

Unless the caller explicitly cleared the parser's memory, allow_pct_nul was
somewhat random. All the code in Dovecot core did this, but some plugins
didn't.

director: Fix ring sync wait after DIRECTOR-REMOVE

It was sending OK twice, and the first OK was too early.

director: Ignore CONNECT requests to hosts that have been removed already

director: After CONNECT was received, make sure we disconnect

The remote side won't be reading anything after the CONNECT, so we have to
disconnect anyway. If we decide that the CONNECT request is wrong, reconnect
after a short delay and hope that the remote agrees with us the next time.

director: When director is removed, notify it before disconnecting

This way the removed director will know that it's been removed, and it
can also more quickly forward the removal to other directors.

director: Don't reset directors' last_network_failure while handshaking

The reset is done mainly to make it faster for a director that has been down
to connect back to the ring, without other directors still thinking that
it's down. But DIRECTOR that is sent during handshake says nothing about
whether the director is up at the moment or not.

director: Log info line for every incoming/outgoing connection

This can help with debugging problems.

director: Cleanup - move code to a new director_log_connect()

Also adds a missing ')' to the log line.

director: Log info line whenever a director is added/removed from ring

This can help with debugging problems.

director: Improve debugging: Log ring desync when there is no right connection

director: When logging "ring SYNC lost", include sync seq number in message

This can help with debugging.

lib: chdir to / after chroot

Makes static analyzers more happy

doveadm director ring remove: Wait ring sync before and after removal

This helps mainly with automated tests.

director: Return temporary auth failures using the new "code" field

The "temp" is no longer used.

lib-mail: message_header_encode() cleanup - simplify pointer arithmetic

This should make static analyzers happier.

global: Add asserts to help static analyzers

lib-index: Remove size from struct mail_keywords.idx[]

This was confusing static analyzers, which thought that using [1] meant that
its size really was 1.

man: Remove extra ^L from "doveadm fetch" example

It's no longer sent.

lib-storage: Fix updating mailbox GUID in mailbox list index when it's empty

Normally the GUID shouldn't be empty at this point. Updating mailbox GUID is
also very rare. So this was unlikely to cause any problems in practise.

master: Don't send uninitialized byte to anvil along the log fd.

The byte was ignored by anvil, so it didn't cause any real problems.

cassandra: NULL values' sizes weren't initialized

This was only a problem if sql_result_get_field_value_binary() was
attempted to be used for a NULL value.

lib-index: If mail_index_view is leaked, include in Panic the file:line where it was opened

cassandra: Fix paged queries to work again

When continuing the result, consistency was reset to 0 (=ANY), which caused
the queries to fail. There's no need to initialize the statement again when
continuing it. Also set result->consistency to be correct mainly for
debugging purposes.

lib-storage: Fix mailbox list notification assert-crash when mailbox is deleted

Reproduced with if IMAP NOTIFY is used for non-selected mailboxes without
MailboxName being specified. Another session then does changes to a
mailbox and immediately deletes it, which causes the crash.

Fixes:
Panic: file mailbox-list-index-notify.c: line 751: unreached

lib-smtp: lmtp-client: Fixed handling of unexpected reply while sending RCPT TO commands.

It caused a segfault.

doveadm director kick: Fix -f parameter to work

It already worked as --passdb-field, but now it matches the usage string.

lib-index: mail_index_use_existing_permissions() - Ignore with INDEX=MEMORY