dict-ldap: Link directly to dict binary, unless --with-ldap=plugin was used

This is similar to how authdb_ldap plugin is built.

dict-ldap: Move from plugins/dict-ldap to lib-dict-backend

lib-dict-backend: Build test-dict-sql even without "make check"

There's no longer a dependency problem.

lib-dict: Move libdict_backend to lib-dict-backend

mail-crypt: Improve doveadm output

mail-crypt: Fix key generation handling

Userkey generation would not set all required fields.

director: When ring is synced, purge any pending "removed" directors

This allows adding a director back to the ring without having to wait for 30
seconds.

director: Rename director_delayed_dir_remove_timeout() to director_hosts_purge_removed()

This allows using it for other purposes without having a confusing name.

director: Fix potential panic when director is alone

If director is alone and it can't connect to other directors, it might crash
with:

Panic: file director.c: line 318 (director_set_ring_synced): assertion failed: (!dir->ring_synced)

global: Remove dead code

Found with clang static analyzer.

dict-memcached: Response status may not be included in enum memcached_response

This helps at least static analyzers figure out that other statuses are
possible, although unexpected.

lib-test: Use i_unreached() for marking unreachable code in test fatal handler

This avoids a warning with static analyzer.

auth: LDAP request queue has no size limit anymore - remove dead code

mbox: Remove unnecessary check from assert - move_diff is always negative here

zlib: zlib_mailbox_open_input() can't fail - remove dead code

lib-storage: imapc_mailbox_get_selected_status() can't fail - remove dead code

doveadm-server: Use i_close_fd

doveadm: Deliver remote logs over doveadm socket

doveadm: Refactor server/client code to support versioning properly

This way we can distinguish between old and new server side

doveadm-server: Refactor connection handshake and authentication

Simplifies next change

lib: Add multiplex stream support

This allows having multiple channels of data in single stream.

director: Allow doveadm director ring remove for the same director

Fixes:
Panic: file doveadm-connection.c: line 859 (doveadm_connection_cmd_run): assertion failed: (conn->dir->right == NULL && conn->dir->left == NULL)

director: Don't crash on doveadm director ring remove for unknown director

Ring syncing isn't started, so it shouldn't try to wait for ring sync.

Fixes:
Panic: file doveadm-connection.c: line 859 (doveadm_connection_cmd_run): assertion failed: (conn->dir->right == NULL && conn->dir->left == NULL)

director: Don't crash if DIRECTOR-REMOVE is received for itself

This triggers the director removal from the ring, which causes the
connection to be destroyed. But since we're still in the middle of handling
the connection it needs refcounting.

lib: istream-file - set blocking=TRUE automatically for blocking sockets

This fixes it to be correct with various doveadm commands.

lib: istream-file/unix - don't ignore EINTR for blocking istream reads

Just fail the istream read entirely. Although there's a small possibility
that this interrupt was unwanted and should be retried, it's more likely
that a blocking istream is hanging and admin wants to stop the process.
If the EINTR is ignored all the time, it's not possible to abort a
blocking read with ^C or anything else than SIGKILL.

lib: test-istream-unix - Use i_stream_set_blocking()

lib: Add i_stream_set_blocking()

lib-smtp: smtp-submit: Made submission_timeout a setting rather than a function parameter.

This makes it configurable.

lib-lda: Dropped now useless settings from lib-lda/lda-settings.

These are now in lib-smtp/smtp-submit-settings.

imap: Drop dependencies on lib-lda settings.

Start using lib-smtp/smtp-submit-settings instead.
Put any other settings required by IMAPSIEVE in struct imap_settings.

lib-lda: Use hostname and postmaster_address settings from mail_storage_settings where possible.

lib-lda: Use SMTP submit settings directly.

lib-storage: Renamed duplicate to mail_duplicate.

This makes more sense given where this is now located.

lib-lda: Moved duplicate handling to lib-storage.

lib-lda: Removed old smtp-client API.

lib-storage: Added hostname, postmaster_address and recipient_delimiter settings to mail_storage_settings.

Copied from lda_settings.

lda/lmtp: Parse SMTP submit settings.

lda: main: main(): Put result from mail_user_var_expand_table() in a variable.

Keeps code more compact, as this function is going to be called several times.

lmtp: commands: client_deliver(): Put client->state.dest_user in a variable.

Keeps code more compact, as this value is used several times.

lmtp: commands: client_deliver(): Put result from mail_user_var_expand_table() in a variable.

Keeps code more compact, as this function is called several times.

lib-smtp: smtp-submit: Made settings parseable.

lib-lda: Moved most of mail_deliver_save_open() to lib-storage.

This prevents the need to link Pigeonhole lib-sieve to lib-lda, which makes no sense for IMAPSIEVE.
This also allows lib-sieve to have more control over how mailboxes are opened.

lib-storage: Created mailbox_alloc_delivery(), which initializes a mailbox for message delivery.

lib-storage: Implemented new mailbox flag MAILBOX_FLAG_AUTO_SUBSCRIBE.

When this flag is enabled, the mailbox is implicitly subscribed to when it is created automatically.

lib-storage: Implemented new mailbox flag MAILBOX_FLAG_AUTO_CREATE.

When this flag is enabled, the mailbox is automatically created when it is opened (if possible and appropriate).

lib-storage: Implemented mailbox_is_autosubscribed().

Indicates whether the mailbox is automatically subscribed to when it is automatically created.

director: Fix HOST-RESET-USERS when all hosts are down

If there were a lot of users being kicked, the host was flushed after the
initial round of user kills. This caused the rest of the user connections to
be just discarded instead of actually being killed.

director: Fix tracking user move count when user is freed early

users_moving_count wasn't updated if the user was freed before killing it
finished. This caused "doveadm director flush" to hang while waiting for
the move count to drop to 0, which it never did. Also following flushes
were doing less work in parallel, or possibly even nothing since director
thought there were too many users already being moved.

quota: quota_get_resource() - return enum to make the result more exact

This is mainly to differentiate between "resource name unknown" and
"unlimited quota".

This also fixes quota_clone plugin to update quota even when quota is
unlimited. It was supposed to have been skipped only when the resource
names weren't known.

The private quota.get_resource() API is unchanged. The backends were
already returning 0 only when the resource name was unknown.

imap-quota: Return NO reply if GETQUOTA fails only partially

If the first resource lookup succeeded and the second one failed, the
GETQUOTA command replied with OK instead of NO.

doveadm-mail: Handle parse_arg return value

Invalid parameters did not cause error.
Broken in fa6b2cbb3

lib-master: master_service_init_log() - Switch log handlers only on the first call

The secondary calls were only done by mail_storage_service_*() calls. They
want to initialize the logging once, but afterwards they only care about
changing the log prefix. Switch to this behavior now explicitly.

This fixes behavior if logging functions are changed between
mail_storage_service_*() calls, so they don't get reset.

lib-dcrypt: Use cpu32_to_be instead of htonl

prefer our own conversion functions over htonl
which is intended for networking related numbers.

global: use i_close_fd{,_path}() instead of open-coding them

lib: introduce i_close_fd_path()

It is like i_close_fd() but takes an argument with the name of the file
that's being closed.  The name is only used when printing the error
message due to a failed close() syscall.

lib: remove close_keep_errno()

lib: improve i_close_fd() error message

In addition to printing the file and line number, we can print the
actual arg passed in as well as the function calling i_close_fd().

lib: print correct error string on i_close_fd() failure

close_keep_errno() preserved the original errno, therefore the %m in
i_close_fd()'s error message printed an unrelated error string.

dovecot.service: Update systemd file

There is no point daemonizing dovecot in systemd, also added
comment about apparmor and NoNewPrivileges option.

lib-test: Suppress expected error messages

Unless pattern is also provided

lib-storage: Remove obsolete mailbox_save_set_dest_mail()

configure.ac: Wrapped long LIBDOVECOT_LA_LIBS definition line to make modifications easier.

auth: global rounds parameter replaced with argument to password_generate()

username and rounds parameter moved to a single
password_generate_params structure.

doveadm: Use doveadm command name as reason in doveadm_mail_iter_init()

dsync: Add hashed_headers setting

This makes it possible to configure them

dsync: Fix typo, it's ibc not icb

dsync: Add missing space to handshake optional keys

dsync: Improve reason when logging "modseq .. no longer in transaction log"

Show the current highest, as well as the last common UID and the current
next UID. These can help to try to figure out problems.

global: remove unnecessary ENOENT checks from unlink_directory() calls

lib: unlink_directory() return value is changed to 1 in case of no error.

lib: unlink_directory_r() is refactored.

unlinking doesn't stop at unlink() errors, first error is written to
error_r, consequent errors are logged via i_error errno set to first
happened error. unlink_directory_r() is expecting *error_r to be set
to NULL. errno is set to 0 before each call to readdir().

mail-crypt: Fix linking order

lib: Define i_unreached() to __builtin_unreachable() with STATIC_CHECKER

This helps clang's alpha.deadcode.UnreachableCode checker.

replication-plugin: Debug-log mailbox transaction reason

lib-storage: Add reason to mailbox.transaction_begin()

lib-storage: Add reason to mailbox_transaction_begin()

Remove mailbox_transaction_set_reason().

configure: Fix link order: libsmtp depends on libprogram-client

lib-storage: Don't crash when opening inbox fails in mailbox-list-index-notify

lib-sql: Fix compiler warning with OSX

master: Don't throttle services that are already being destroyed

If process couldn't be created, because the service_list is already being
destroyed (e.g. due to reload), also don't enable unnecessary throttling
for the service.

Hopefully fixes these random errors that are logged alone:
master: Error: service(...): command startup failed, throttling for 2 secs

lib: If log writing to log process is blocking, show it in process title

This change also makes the log pipe non-blocking.

lib: Add process_title_get()

Add <%{pid}> to default mail_log_prefix

It's especially useful nowadays when the same session ID can be reused by
multiple processes with IMAP hibernation enabled.

doveadm: "Extraneous arguments found": Show the args in the error

lib-http: client: Send empty payload (Content-Length: 0) for requests that normally expect a payload.

This includes the standard POST and PUT methods.
Others need to use the new http_client_request_set_payload_empty() function to force sending an empty payload.

notify-status plugin: Use priv/status/<mailbox> for keys

priv/<mailbox>/status can't be used with dict-sql when <mailbox> has '/'.

global: start relying on buffer_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  buffer_free(&E);
- }
+ buffer_free(&E);

lib: buffer_free(NULL) should be a no-op

global: start relying on pool_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  pool_unref(&E);
- }
+ pool_unref(&E);

lib: pool_unref(NULL) shoud be a no-op

global: start relying on [io]_stream_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_unref(&E);
- }
+ i_stream_unref(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_unref(&E);
- }
+ o_stream_unref(&E);

lib: [io]_stream_unref(NULL) should be a no-op

global: start relying on [io]_stream_destroy(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_destroy(&E);
- }
+ i_stream_destroy(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_destroy(&E);
- }
+ o_stream_destroy(&E);

lib: [io]_stream_destroy(NULL) should be a no-op

global: start relying on timeout_remove(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  timeout_remove(&E);
- }
+ timeout_remove(&E);

lib: timeout_remove(NULL) should be a no-op

global: start relying on io_remove{,_closed}(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  io_remove(&E);
- }
+ io_remove(&E);

@@
expression E;
@@

- if (E != NULL) {
-  io_remove_closed(&E);
- }
+ io_remove_closed(&E);

lib: io_remove(NULL) and io_remove_closed(NULL) should be no-ops

global: start relying on i_close_fd(-1) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != -1)
-  i_close_fd(&E);
+ i_close_fd(&E);