lib: Define i_unreached() to __builtin_unreachable() with STATIC_CHECKER

This helps clang's alpha.deadcode.UnreachableCode checker.

replication-plugin: Debug-log mailbox transaction reason

lib-storage: Add reason to mailbox.transaction_begin()

lib-storage: Add reason to mailbox_transaction_begin()

Remove mailbox_transaction_set_reason().

configure: Fix link order: libsmtp depends on libprogram-client

lib-storage: Don't crash when opening inbox fails in mailbox-list-index-notify

lib-sql: Fix compiler warning with OSX

master: Don't throttle services that are already being destroyed

If process couldn't be created, because the service_list is already being
destroyed (e.g. due to reload), also don't enable unnecessary throttling
for the service.

Hopefully fixes these random errors that are logged alone:
master: Error: service(...): command startup failed, throttling for 2 secs

lib: If log writing to log process is blocking, show it in process title

This change also makes the log pipe non-blocking.

lib: Add process_title_get()

Add <%{pid}> to default mail_log_prefix

It's especially useful nowadays when the same session ID can be reused by
multiple processes with IMAP hibernation enabled.

doveadm: "Extraneous arguments found": Show the args in the error

lib-http: client: Send empty payload (Content-Length: 0) for requests that normally expect a payload.

This includes the standard POST and PUT methods.
Others need to use the new http_client_request_set_payload_empty() function to force sending an empty payload.

notify-status plugin: Use priv/status/<mailbox> for keys

priv/<mailbox>/status can't be used with dict-sql when <mailbox> has '/'.

global: start relying on buffer_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  buffer_free(&E);
- }
+ buffer_free(&E);

lib: buffer_free(NULL) should be a no-op

global: start relying on pool_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  pool_unref(&E);
- }
+ pool_unref(&E);

lib: pool_unref(NULL) shoud be a no-op

global: start relying on [io]_stream_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_unref(&E);
- }
+ i_stream_unref(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_unref(&E);
- }
+ o_stream_unref(&E);

lib: [io]_stream_unref(NULL) should be a no-op

global: start relying on [io]_stream_destroy(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_destroy(&E);
- }
+ i_stream_destroy(&E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_destroy(&E);
- }
+ o_stream_destroy(&E);

lib: [io]_stream_destroy(NULL) should be a no-op

global: start relying on timeout_remove(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  timeout_remove(&E);
- }
+ timeout_remove(&E);

lib: timeout_remove(NULL) should be a no-op

global: start relying on io_remove{,_closed}(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  io_remove(&E);
- }
+ io_remove(&E);

@@
expression E;
@@

- if (E != NULL) {
-  io_remove_closed(&E);
- }
+ io_remove_closed(&E);

lib: io_remove(NULL) and io_remove_closed(NULL) should be no-ops

global: start relying on i_close_fd(-1) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != -1)
-  i_close_fd(&E);
+ i_close_fd(&E);

lib: i_close_fd(-1) should be a no-op

director: Fix flush to kick the user also when all backends are down

The user's host can't change, because there are no other hosts. So add a
new parameter to force the kick anyway.

cassandra: Timestamp should be in microseconds, not milliseconds

global: use i_rand_limit() and i_rand_minmax() when possible

lib: introduce i_rand_limit() and i_rand_minmax()

lib-index: fix off-by-one in index flag update test

When selecting the second seq, the max value we should generate is
hdr.messages_count - not one less than that.

lib-storage: Fail if two namespaces try to wrongly share the same LISTINDEX

If they have different mailboxes-path, they can't be sharing the same
mailbox list index. The previous behavior caused Dovecot to silently
overwrite the list index whenever each of the namespaces were accessed,
resulting in bad performance.

notify-status: Remove first_unseen_seq field

The sequence number keeps changing, so it's very unlikely to be useful.
It's also not always as efficiently available as the other fields, so
better to avoid having it.

lib-storage: convert struct pop3_mail casts to container_of

lib-storage: convert struct imapc_mail casts to container_of

lib-storage: convert index to use container_of

lib-storage: convert missed mbox casts to container_of

lib-storage: convert missed raw storage casts to container_of

lib-storage: convert missed maildir casts to container_of

lib-storage: convert missed imapc casts to container_of

lib-storage: convert missed cydir casts to container_of

auth: Expand %{ldap_dn} to ldap_get_dn().

director: Avoid "ring sync timeout" errors when all backends are down

doveadm commands were failing with it. Also pending request failures were
logged as failing due to ring sync timeout, instead of because no hosts.

director: Delay calling state_change_callback() after user kick is finished

Otherwise it can get into recursive loop and cause problems.

doveadm director: Improve logging unexpected disconnections from director socket

Previously it just logged "failed", which wasn't very understandable.

director: Fix crash when flush is run and all backends are down.

Instead of moving the users elsewhere, just kill them and flush the backend.

lib: uri_parser_init*() - initialize allow_pct_nul

Unless the caller explicitly cleared the parser's memory, allow_pct_nul was
somewhat random. All the code in Dovecot core did this, but some plugins
didn't.

director: Fix ring sync wait after DIRECTOR-REMOVE

It was sending OK twice, and the first OK was too early.

director: Ignore CONNECT requests to hosts that have been removed already

director: After CONNECT was received, make sure we disconnect

The remote side won't be reading anything after the CONNECT, so we have to
disconnect anyway. If we decide that the CONNECT request is wrong, reconnect
after a short delay and hope that the remote agrees with us the next time.

director: When director is removed, notify it before disconnecting

This way the removed director will know that it's been removed, and it
can also more quickly forward the removal to other directors.

director: Don't reset directors' last_network_failure while handshaking

The reset is done mainly to make it faster for a director that has been down
to connect back to the ring, without other directors still thinking that
it's down. But DIRECTOR that is sent during handshake says nothing about
whether the director is up at the moment or not.

director: Log info line for every incoming/outgoing connection

This can help with debugging problems.

director: Cleanup - move code to a new director_log_connect()

Also adds a missing ')' to the log line.

director: Log info line whenever a director is added/removed from ring

This can help with debugging problems.

director: Improve debugging: Log ring desync when there is no right connection

director: When logging "ring SYNC lost", include sync seq number in message

This can help with debugging.

lib: chdir to / after chroot

Makes static analyzers more happy

doveadm director ring remove: Wait ring sync before and after removal

This helps mainly with automated tests.

director: Return temporary auth failures using the new "code" field

The "temp" is no longer used.

lib-mail: message_header_encode() cleanup - simplify pointer arithmetic

This should make static analyzers happier.

global: Add asserts to help static analyzers

lib-index: Remove size from struct mail_keywords.idx[]

This was confusing static analyzers, which thought that using [1] meant that
its size really was 1.

man: Remove extra ^L from "doveadm fetch" example

It's no longer sent.

lib-storage: Fix updating mailbox GUID in mailbox list index when it's empty

Normally the GUID shouldn't be empty at this point. Updating mailbox GUID is
also very rare. So this was unlikely to cause any problems in practise.

master: Don't send uninitialized byte to anvil along the log fd.

The byte was ignored by anvil, so it didn't cause any real problems.

cassandra: NULL values' sizes weren't initialized

This was only a problem if sql_result_get_field_value_binary() was
attempted to be used for a NULL value.

lib-index: If mail_index_view is leaked, include in Panic the file:line where it was opened

cassandra: Fix paged queries to work again

When continuing the result, consistency was reset to 0 (=ANY), which caused
the queries to fail. There's no need to initialize the statement again when
continuing it. Also set result->consistency to be correct mainly for
debugging purposes.

lib-storage: Fix mailbox list notification assert-crash when mailbox is deleted

Reproduced with if IMAP NOTIFY is used for non-selected mailboxes without
MailboxName being specified. Another session then does changes to a
mailbox and immediately deletes it, which causes the crash.

Fixes:
Panic: file mailbox-list-index-notify.c: line 751: unreached

lib-smtp: lmtp-client: Fixed handling of unexpected reply while sending RCPT TO commands.

It caused a segfault.

doveadm director kick: Fix -f parameter to work

It already worked as --passdb-field, but now it matches the usage string.

lib-index: mail_index_use_existing_permissions() - Ignore with INDEX=MEMORY

lib-index: mail_index_use_existing_permissions() - Log error if stat() unexpectedly fails

lib-storage: Avoid unnecessary stat()s in mailbox list index notifications

If mailbox list gets a notification there's no need to stat() the INBOX, and
vice versa. Also if the notification was already seen and a callback timeout
set, there's no need to keep stat()ing.

lib-storage: Make sure mailbox list notification flush sees latest changes.

This is mainly useful with imaptest test scripts to make sure they're seeing
the changes done by the other session, without assuming that inotify will
always notify about the change before NOOP is run (it doesn't).

Do this only if mailbox_idle_check_interval>0, so it's not run when periodic
stat()s are wanted to be avoided.

lib: file_lock_set_unlink_on_free() - Avoid unlink() if another process is waiting on the lock

cassandra: Disable prepared statements with protocol v3 and older

lib-smtp: Link with libcharset.la to avoid errors

lib-http: client: queue: Improved construction of timeout log message.

Earlier change used a literal prefix size, rather than inferring the size from the actual prefix string.

lib-smtp: test-smtp-submit: Fixed memory leak in one test.

lib-smtp: test-smtp-submit: Improved checking of delivered message.

This addresses a couple of scan-build "dead assignment" warnings.

lib-smtp: smtp-submit: Added support for asynchronous message submission.

lib-lda: Moved smtp-submit to lib-smtp.

lib-lda: Made smtp-submit standalone.

Removed dependencies on LDA.

lib-lda: Renamed smtp-client to smtp-submit (2/2).

Renamed smtp_client identifiers to smtp_submit.
Also, created temporary backwards-compatibility in smtp-client.h.

lib-lda: Renamed smtp-client to smtp-submit (1/2).

Renamed the files.

lib-lda: Created tests for SMTP message submission using the smtp-client API.

lib-storage: Preserve messages' vsize record when rebuilding index

Since vsize is often used by quota, losing this can be very expensive.
If the vsize is wrong, it gets fixed automatically when fetching the
message body.

cassandra: Add support for prepared statements

cassandra: Cleanup - Create statement earlier

Simplifies the following changes

cassandra: sql_transaction_commit*() cleanup - handle multiple query failures earlier

This makes the handling same for the sync and async method. It also
simplifies code for the following commits.

cassandra: sql_transaction_commit_s() - Set query_type correctly

The queries were all sent with READ type instead of WRITE/DELETE. This
meant they were using potentially wrong consistency values. Although
synchronous commits aren't actually used anywhere, so this practically
this doesn't fix anything right now.

cassandra: sql_transaction_commit_s() - Don't allow multi-query transactions

They were already denied for asynchronous commits. Also the synchronous
commits aren't actually used anywhere, so this shouldn't break anything.

dict-sql: Use prepared statements

Create a hash table of query template -> prepared statement and fill it out
as needed. This could have been done some alternative ways that wouldn't
require building the string first, but this should still be fast enough and
much easier to implement.

dict-sql: Flush pending atomic_inc on set, and pending set on atomic_inc

dict-sql: Cleanup - change query generator functions to return statement

Instead of query+params. This is in preparation for the following changes.

dict-sql: Cleanup - Remove unnecessary code

The values are explicitly added to params. sql_dict_update_query() doesn't
add them again. Since the "diff" parameter is already a long long type,
this avoids unnecessary conversion to string and back.