director: After CONNECT was received, make sure we disconnect

The remote side won't be reading anything after the CONNECT, so we have to
disconnect anyway. If we decide that the CONNECT request is wrong, reconnect
after a short delay and hope that the remote agrees with us the next time.

director: When director is removed, notify it before disconnecting

This way the removed director will know that it's been removed, and it
can also more quickly forward the removal to other directors.

director: Don't reset directors' last_network_failure while handshaking

The reset is done mainly to make it faster for a director that has been down
to connect back to the ring, without other directors still thinking that
it's down. But DIRECTOR that is sent during handshake says nothing about
whether the director is up at the moment or not.

director: Log info line for every incoming/outgoing connection

This can help with debugging problems.

director: Cleanup - move code to a new director_log_connect()

Also adds a missing ')' to the log line.

director: Log info line whenever a director is added/removed from ring

This can help with debugging problems.

director: Improve debugging: Log ring desync when there is no right connection

director: When logging "ring SYNC lost", include sync seq number in message

This can help with debugging.

lib: chdir to / after chroot

Makes static analyzers more happy

doveadm director ring remove: Wait ring sync before and after removal

This helps mainly with automated tests.

director: Return temporary auth failures using the new "code" field

The "temp" is no longer used.

lib-mail: message_header_encode() cleanup - simplify pointer arithmetic

This should make static analyzers happier.

global: Add asserts to help static analyzers

lib-index: Remove size from struct mail_keywords.idx[]

This was confusing static analyzers, which thought that using [1] meant that
its size really was 1.

man: Remove extra ^L from "doveadm fetch" example

It's no longer sent.

lib-storage: Fix updating mailbox GUID in mailbox list index when it's empty

Normally the GUID shouldn't be empty at this point. Updating mailbox GUID is
also very rare. So this was unlikely to cause any problems in practise.

master: Don't send uninitialized byte to anvil along the log fd.

The byte was ignored by anvil, so it didn't cause any real problems.

cassandra: NULL values' sizes weren't initialized

This was only a problem if sql_result_get_field_value_binary() was
attempted to be used for a NULL value.

lib-index: If mail_index_view is leaked, include in Panic the file:line where it was opened

cassandra: Fix paged queries to work again

When continuing the result, consistency was reset to 0 (=ANY), which caused
the queries to fail. There's no need to initialize the statement again when
continuing it. Also set result->consistency to be correct mainly for
debugging purposes.

lib-storage: Fix mailbox list notification assert-crash when mailbox is deleted

Reproduced with if IMAP NOTIFY is used for non-selected mailboxes without
MailboxName being specified. Another session then does changes to a
mailbox and immediately deletes it, which causes the crash.

Fixes:
Panic: file mailbox-list-index-notify.c: line 751: unreached

lib-smtp: lmtp-client: Fixed handling of unexpected reply while sending RCPT TO commands.

It caused a segfault.

doveadm director kick: Fix -f parameter to work

It already worked as --passdb-field, but now it matches the usage string.

lib-index: mail_index_use_existing_permissions() - Ignore with INDEX=MEMORY

lib-index: mail_index_use_existing_permissions() - Log error if stat() unexpectedly fails

lib-storage: Avoid unnecessary stat()s in mailbox list index notifications

If mailbox list gets a notification there's no need to stat() the INBOX, and
vice versa. Also if the notification was already seen and a callback timeout
set, there's no need to keep stat()ing.

lib-storage: Make sure mailbox list notification flush sees latest changes.

This is mainly useful with imaptest test scripts to make sure they're seeing
the changes done by the other session, without assuming that inotify will
always notify about the change before NOOP is run (it doesn't).

Do this only if mailbox_idle_check_interval>0, so it's not run when periodic
stat()s are wanted to be avoided.

lib: file_lock_set_unlink_on_free() - Avoid unlink() if another process is waiting on the lock

cassandra: Disable prepared statements with protocol v3 and older

lib-smtp: Link with libcharset.la to avoid errors

lib-http: client: queue: Improved construction of timeout log message.

Earlier change used a literal prefix size, rather than inferring the size from the actual prefix string.

lib-smtp: test-smtp-submit: Fixed memory leak in one test.

lib-smtp: test-smtp-submit: Improved checking of delivered message.

This addresses a couple of scan-build "dead assignment" warnings.

lib-smtp: smtp-submit: Added support for asynchronous message submission.

lib-lda: Moved smtp-submit to lib-smtp.

lib-lda: Made smtp-submit standalone.

Removed dependencies on LDA.

lib-lda: Renamed smtp-client to smtp-submit (2/2).

Renamed smtp_client identifiers to smtp_submit.
Also, created temporary backwards-compatibility in smtp-client.h.

lib-lda: Renamed smtp-client to smtp-submit (1/2).

Renamed the files.

lib-lda: Created tests for SMTP message submission using the smtp-client API.

lib-storage: Preserve messages' vsize record when rebuilding index

Since vsize is often used by quota, losing this can be very expensive.
If the vsize is wrong, it gets fixed automatically when fetching the
message body.

cassandra: Add support for prepared statements

cassandra: Cleanup - Create statement earlier

Simplifies the following changes

cassandra: sql_transaction_commit*() cleanup - handle multiple query failures earlier

This makes the handling same for the sync and async method. It also
simplifies code for the following commits.

cassandra: sql_transaction_commit_s() - Set query_type correctly

The queries were all sent with READ type instead of WRITE/DELETE. This
meant they were using potentially wrong consistency values. Although
synchronous commits aren't actually used anywhere, so this practically
this doesn't fix anything right now.

cassandra: sql_transaction_commit_s() - Don't allow multi-query transactions

They were already denied for asynchronous commits. Also the synchronous
commits aren't actually used anywhere, so this shouldn't break anything.

dict-sql: Use prepared statements

Create a hash table of query template -> prepared statement and fill it out
as needed. This could have been done some alternative ways that wouldn't
require building the string first, but this should still be fast enough and
much easier to implement.

dict-sql: Flush pending atomic_inc on set, and pending set on atomic_inc

dict-sql: Cleanup - change query generator functions to return statement

Instead of query+params. This is in preparation for the following changes.

dict-sql: Cleanup - Remove unnecessary code

The values are explicitly added to params. sql_dict_update_query() doesn't
add them again. Since the "diff" parameter is already a long long type,
this avoids unnecessary conversion to string and back.

dict-sql: Use sql_statement_bind_*()

dict-sql: Add signed "int" type

dict-sql: Use sql_statement_set_timestamp() instead of adding it to query

dict-sql: Initial change to use sql_statement API

sql_statement_bind_*() will be followed by later changes.

dict-sql: Remove dict_sql_build_query.inc

It's no longer useful with the current code.

dict-sql: Change "uint" type to mean 64bit instead of 32bit integer.

This is likely what is usually wanted (especially in e.g. quotas).
If someone actually wants it to be restricted to 32bit, we could add
uint32 later on.

lib-sql: Add support for prepared SQL statements.

This initial implementation doesn't use prepared statements in drivers, but
simply generates the query string internally.

lib-sql: Explicitly specify used *_vfuncs methods for drivers.

This allows adding more methods without modifying all the existing drivers.

doveadm proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

lmtp proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

auth: Avoid DNS lookup for "host" if passdb returns also "hostip"

lib: Only deprecate rand/rand_r on recent enough compilers

master: Write all the early warnings to log file after logging is initialized

Any warnings (or errors) logged before settings were read and logging was
initialized caused them to be only written to stderr. This caused them to
be lost too easily. Now they are also buffered in memory and then flushed
to log files once logging is initialized.

lib: Free io_switch_callbacks_free only after other atexit-callbacks

Fixes a crash at deinit where io_loop_remove_switch_callback() was called in
lib_atexit() callback.

global: Replace random_fill_weak with random_fill

They are now the same thing

global: Remove random_init/random_deinit calls

lib already initializes it.

lib: Simplify timing_add_usecs

i_rand is guaranteed to return 32 bit integer

lib: Warn if rand is used

global: Replace rand with i_rand

lib: Use best available random number generator

The best available method is used from short list of
getrandom, arc4random or reading /dev/urandom

lib: Replace rand.c with i_rand function

Replacement for rand

lib: Replace rand_set_seed with srand

Makes following commits easier, and also
makes sure that rand() will get seeded when
used by other libraries.

lib-test: Remove rand state dump

It's not possible after next commit

configure: Check for getrandom

lib: lib-signals: Removed explicit notification of ioloop change through lib_signals_reset_ioloop() in favor of implicit method.

Before, if the ioloop changed, the application had to explicitly notify lib-signals using lib_signals_reset_ioloop().
This is error-prone and requires doing this all over the Dovecot code base.
Now, lib-signals registers an ioloop switch callback that deals with this implicitly.
The application can detach lib-signals from the ioloop explicitly if delayed signal handling is not required/desired in the new ioloop.
Specific delayed signal handlers can be exempt from this automated behavior using a flag, meaning that such signal handlers need to be moved between ioloops explicitly.

lib-storage: convert dbox-multi to use container_of

lib-storage: convert dbox-single to use container_of

lib-storage: convert dbox-common to use container_of

lib-storage: convert cydir to use container_of

lib-storage: convert shared to use container_of

lib-storage: convert raw to use container_of

lib-storage: convert imapc to use container_of

lib-storage: convert pop3c to use container_of

lib-storage: convert mbox to use container_of

lib-storage: convert maildir to use container_of

lib: introduce container_of

This is a simple but type safe implementation.

lib-storage: rename IMAPC_CONTEXT to IMAPC_SEARCHCTX

auth: Rename overlooked "original_username" after c3e50b

In c3e50b854dec3f9a51dbaecf2ee56197125a003f "original_username" field got renamed to "original-username".

doveadm-server: http: Fixed crash occurring when disconnecting a client at server deinit.

*-login: Cache director_username_hash between KICK-DIRECTOR-HASH commands

This should make the kicking much faster, which is important when director
is moving thousands of users.

lib-mail: Make sure mail_user_hash() won't return 0 as the hash.

It doesn't seem to actually happen, but this makes sure of it.

doveadm-fs: Fix argument handling

If argument contains - and needs to be passed to doveadm-fs
then it needs -- to make sure getopt won't choke on it, and
due to this, we need to use getopt in doveadm-fs too, to make
sure -- gets removed.

doveadm-dict: Convert to new parameter handling

Fixes problems with negative numbers as parameters

doveadm: Make sure positional arguments end up in right place

Otherwise -- is placed into wrong place and breaks command line
reparsing in legacy functions.

init: Execute /etc/default/dovecot on init, if it exists

init: Execute /etc/sysconfig/dovecot on init, if it exists

Helps users set `ulimit`, `DAEMON` etc. without having to touch the init.d script.

auth: cache: don't log password mismatch twice

If auth cache is enabled and the last auth was successful dovecot assumes the
password has been changed and invalidates the cache which results in
double logging of the same password mismatch.
This also applies to expired negative cache entries.

dsync: Ignore missing remote mailbox when doing unidirectional sync

If there are some folders on remote system that
are being ignored by remote brain, do not error out.

lib-storage: Fix INBOX notifications to set correct events

This fixes IMAP NOTIFY so it doesn't send STATUS notifications to INBOX when
it doesn't have to.

lib-storage: List index notify cleanup - move code to separate functions

No functional changes. In preparation for the next commit.

lib-storage: Remove INBOX notification checks if mailbox events aren't requested

Nothing would be done with the results of those checks.

Note that MAILBOX_LIST_NOTIFY_UIDVALIDITY can be handled using mailbox list
index, even for INBOX with mailbox_list_index_include_inbox=no.