lib-ssl-iostream: Split host to connected_host and sni_host

Using the same variable for both was causing confusion.

cassandra: Fix crash when using prepared statements

Broken by cae3c6903c10682429f9849ab1a25093e3f538e4

driver-cassandra: Free statement pool on update

Otherwise the pool memory will leak. This was happening with non-prepared
statements when version was older than 4.

doveconf: add hostname to output

lib-http: Only depend on iostream openssl lib if building with openssl

Fixes build without openssl

lib-storage: mail_storage_set_index_error() - handle NULL index error

This avoids assert-crashing later on in mail*_get_last_internal_error().

This could potentially be an assert instead of setting it as "BUG", but
it looks like there are various code paths in lib-index that return -1
without setting an error. (That's to avoid duplicate error logging,
although it could now be fixed with mail_index_set_error_nolog().)

lib-storage: Set index error on transaction commit() callback

The commit callback is setting errors to storage. However, it's being
called from mail_index_transaction_commit() whose callers are expecting
the error to be in index. If that index error was attempted to be used,
it could have been wrong or NULL. Fix this by setting the same storage
error also to the index.

lib-index: Add mail_index_set_error_nolog()

lib-http: test-http-client - conditionally depend on openssl

Fixes compiling without openssl, broken by c45da70c

lib: rename bswap_*() to i_bswap()

doveadm-auth-server: Further fix json problems

Remove excess comma from start, forgotten in 3e06a782584ea2c4ae2a8cb0451e9952f05f9dc8

doveadm-auth-server: Send comma only if we are sending field too

Fixes json output

man: doveadm proxy -a parameter doesn't support TCP sockets

lib-master: Fix SSL_TXT_SSLV2 check in settings

Include <openssl/ssl.h> in src/lib-master/master-service-ssl-settings.c
so SSL_TXT_SSLV2 is defined there when defined in the header.

doveadm-server: Switch to TCP connection's ioloop while sending logs to remote

Fixes:
Warning: I/O leak: 0x558d7c074ed0 (ostream-file.c:349, fd 16)
Panic: file ioloop.c: line 127 (io_remove_full): assertion failed: (io->callback != NULL)

imapc: Add imapc_features=fetch-empty-is-expunged

When FETCH returns an empty mail, the mail is assumed to be expunged.

lib: include inttypes.h to get PRIu64 & friends

Including it in lib.h allows all of the Dovecot code (as well as any
external plugins) to just use these macros without worrying about what
system headers to include.

cassandra: Include the used timestamp in logged queries

cassandra: Rename cassandra_sql_statement.pending_timestamp to just timestamp

lib: printf_format_fix*() - Support '*' in precision

We're commonly using "%.*s"

lib: printf_format_fix*() - Move minimum field width check to its own function

lib: printf_format_fix*() - Use the same 4 digits as maximum precision length

I forgot the precision can also be used to truncate strings, not just
specify the precision for floating point numbers. So it makes more sense
that the limit is the same as for minimum field width.

lib: printf_format_fix*() - Be over-strict in what format strings are allowed

The checks could have been bypassed by some invalid format strings that were
handled differently by the printf_format_fix*() code and libc. For example
"%**%n" was passed through as ok, but glibc handled the %n in it.

Found by cPanel Security Team.

lib: fix illumos build issue

The recent performance improvements to the net_addr2ip() code broke
build on illumos which has a 's_addr' #define in netinit/in.h.

doveadm dump: Add "multiplex" dump type

This allows dumping all channels from istream-multiplex stream.

doveadm dump: Allow doveadm_cmd_dump.test() to be NULL

This means that there's no auto-detection for the dump type.

lib: istream-multiplex - Return error if the last packet wasn't fully read

doveadm: Fix potential crash or reading garbage from doveadm-server

The connection's input buffer may have been reallocated or otherwise moved
while checking for log input.

dsync: Add missing transaction flags when performing UID renumbering

The transaction didn't have MAILBOX_TRANSACTION_FLAG_SYNC or
MAILBOX_TRANSACTION_FLAG_NO_NOTIFY (with DSYNC_BRAIN_FLAG_NO_NOTIFY).

This caused replication-dsync to unnecessarily trigger another dsync
replication notification.

dsync: Add debug logging for .dovecot-sync.lock locking/unlocking

dsync: Add per-mailbox sync lock that is always used.

Both importing and exporting gets the lock before they even sync the
mailbox. The lock is kept until the import/export finishes. This guarantees
that no matter how dsync is run, two dsyncs can't be working on the same
mailbox at the same time.

This lock is in addition to the optional per-user lock enabled by the -l
parameter. If the -l parameter is used, the same lock timeout is used for
the per-mailbox lock. Otherwise 30s timeout is used.

This should help to avoid email duplication when replication is enabled for
public namespaces, and maybe in some other rare situations as well.

lib: Make file_lock_free(NULL) no-op

Updated copyright notices to include the year 2018.

lib-storage: mailbox_list_index - Don't overwrite INBOX's flags with prefix/INBOX's

This made the real INBOX appear as if it was \NoSelect

lib-storage: mailbox_list_index - indentation cleanup

lib-storage: mailbox_list_index - List prefix/INBOX if it necessary

LAYOUT=fs: Fix listing prefix/INBOX

Removed some confusing special case code that didn't seem to work very well.
Implemented this now properly so that prefix/INBOX is listed as \NoSelect
mailbox whenever it has children.

It's not actually possible to differentiate between INBOX and prefix/INBOX
in the storage for a inbox=yes namespace, because they both are converted
into the same storage_name=INBOX.

LAYOUT=fs: List INBOX as \NoInferiors when necessary

LAYOUT=index: List INBOX as \NoInferiors when necessary

LAYOUT=Maildir++: List INBOX as \NoInferiors when necessary

lib-storage: Add mail_namespace_is_inbox_noinferiors()

imapc: Don't skip listing "INBOX" when INBOX/ namespace prefix is used.

The INBOX was still listed as part of the autocreated mailboxes, unless
MAILBOX_LIST_ITER_NO_AUTO_BOXES was used.

pop3: Include mail user variables in logout format

pop3: Simplify logout format variable handling

imap: Include mail user variables in logout format

imap: Simplify logout format variable handling

lib-storage: Log an error when mailbox list index is rebuilt due to header fsck flag

lib-storage: Rebuild list index when doing doveadm force-resync

LAYOUT=index: Rebuild list index if INBOX is missing on inbox=yes namespace

This avoids having to manually rebuild the list index afterwards if it
becomes lost.

lib-storage: Add rebuild reason for mail_storage.list_index_corrupted()

This is done in a bit kludgy way to keep API backwards compatible.
v2.3 cleans this up.

lib-storage: Remove obsolete comment

director: Fix logging disconnection error reasons

The previous commit set errno=0, which weren't logged. If error string is
provided, it doesn't matter what the errno is set (as long as it's not 0),
so we'll just use EINVAL.

director: Log connection stats for all types of disconnections

director: Log whether connection is synced when it's being disconnected.

director: Fix crash when handling expired USER timestamps.

The fix in 154f91726624265fce15097eb4bbbf6e55f8c477 wasn't complete.

lib-storage: Fix sorting mails with the same primary sort key

The sorting order may have been wrong when there was a combination of:
 * Messages were sorted by a string (e.g. Subject)
 * Some messages had the same sort key (e.g. same base subject)
 * Within the messages with the same sort key, some of the messages already
   had the "sort-*" index number in Dovecot indexes, but some of them
   didn't.

The result was that Dovecot found that the two messages had exactly the same
sort key. It should have continued with the secondary sort key (e.g.
message sequence number), but it didn't.

director: Fix logging of uninitialized PONG buffer size

PONG always has 0 or 2 parameters. The easiest fix here is to just not even
try to support 1 parameter.

director: Fix delayed request count in ps title after request timeouts

The timeouts weren't shrinking the delayed request count. This didn't cause
any other problems.

director: DIRECTOR-LIST - Return results sorted by host

director: DIRECTOR-LIST - Move connection/host output to their own functions

director: Make director_host_cmp_p() public

director: Improve PING/PONG timeout errors and add new warnings

Log a warning if PING-PONG takes over 5 secs in total, or also if the
recipient notices that the PING took >= 5 seconds to receive.

director: Add director_ping_idle/max_timeout setting.

director_ping_idle_timeout is used when there's otherwise no input coming
from the connection. Changed its default from 10 secs to 30 secs.

director_ping_max_timeout is used when the other director keeps sending
input, but among it is no PONG reply.

director: Log exactly how long PING was waited on before it timed out.

director: DIRECTOR-LIST - Add "ring " prefix to self's status

This is to make it a bit easier to understand the difference between a
connection's "handshaking" state vs. "ring handshaking" state.

director: DIRECTOR-LIST - Show number of USERs sent/received in "handshaking" state

director: Include number of users sent in handshake in disconnection log lines

director: Show number of incoming USERs/sec in ps title

director: Include number of USERs received in disconnection log lines

Separate handshake and refresh USERs.

director: Don't send USERs in handshake that were already sent between handshake

If the user was refreshed since the handshake was started, it means that
the same user was already sent to the other side (added to the stream
immediately after it was received/handled). There's no need to send it
again.

This fixes a potentally infinite handshake when users are rapidly changing
and the handshake iterator never sees the end of the list. (Each refreshed
user is moved to the end of the list, so handshaking can keep sending the
same user over and over again.)

director: Delay sorting users until there are no more user iterators

This shouldn't have normally happened. Only when an outgoing handshake was
going on at the same time as a) another outgoing handshake was going on, or
b) doveadm was doing HOST-RESET-USERS

director: Avoid USER loops with >1s ring latency also with old directors

Do this by ignoring USER refreshes that were already updated recently.
The "recently" is calculated by director_user_expire/4 seconds ago, but
with an upper limit of 15 secs. This means that the USER loops can now
only exist if the director ring latency is above 15 seconds. (Once all
directors in the ring are running the new version, there's no looping
at any latency.)

director: Avoid USER loops when ring latency is over 1 second

Do this by adding a timestamp parameter to USER events. This way if it
takes over 1 second for the USER event to traverse the ring, it won't get
into an infinite loop getting the user updated over and over again.

director: Replace USER command during handshake with "U"

This clearly differentiates the two commands and allows extending the USER
command with new parameters without mixing it up with the handshake-USER.

director: Ignore refresh requests for already expired user timestamps

director: Keep users unsorted during handshake and sort them at the end

This is simpler and sometimes more efficient than the current way of
immediately inserting the users to the correct place in the linked list.
This is especially useful if handshaking is mixed with regular USER updates,
because each switch between them required walking the linked list backwards
to find the proper insert position.

It's not a big problem if the users list is temporarily unordered. It mainly
means that some of the users won't be expired as early as they should have.

director: Make sure users are sorted after unfinished handshake

The users were sorted after the handshake was finished, but if the
connection was closed before that hapepned, the users were left
unsorted. This could have caused the users to not expire early
enough.

director: Make sure user's timestamp isn't set to future

The sending director could have the system clock slightly in the future.

director: Make sure a missing right-side connection is always reconnected

This code shouldn't be needed, but add it just to be sure.

director: Reconnect after detecting a write failure to director

If disconnection is detected during write failure, or "Output buffer full"
occurs, the connection is disconnected. However, if this was the right side
connection, it wasn't automatically reconnected to. This left the ring
nonworking.

lib-http: client: Send empty payload (Content-Length: 0) for requests that normally expect a payload.

This includes the standard POST and PUT methods.
Others need to use the new http_client_request_set_payload_empty() function to force sending an empty payload.

director: Fix director_max_parallel_moves/kicks type

Should be uint, not time.

lib-storage: When copying mails, copy also empty cache fields

This mainly means that it copies cache fields for nonexistent message
headers. Those are still important, because otherwise Dovecot doesn't know
whether they exist or not.

director: Add director_max_parallel_moves/kicks settings

The director_max_parallel_moves setting controls the default limit, which
can still be increased by explicitly using the doveadm director flush
--max-parallel" parameter.

director: Limit max kicking count

director: Add kick_callback to director

This callback gets called whenever director has performed
a kick.

*-login: Add login_proxy_notify_path setting to configure proxy-notify path

A single FIFO can be a bottleneck, so this could be set to e.g.:

login_proxy_notify_path = proxy-notify%1R{pid}

or:

login_proxy_notify_path = proxy-notify%10N{pid}

director: Allow proxy-notify to optionally be a socket

Dovecot isn't using this currently, but it can be useful if external
services want to send notifications.

director: Support multiple proxy-notify connections

director: Make sure HOST-RESET-USERS isn't used with max_moving_users=0

The reset command would just hang in that case. doveadm would never have
sent this, so this is just an extra sanity check.

director: Show in process title how many users are being kicked.

director: Show in process title how many requests are being delayed.

director: Log an error if login process sends unexpected reply to KICK* commands

director: Log whenever HOST-RESET-USERS is used

director: Include used CPU secs in director connection log messages

It's counting the process's full CPU seconds used since the handshake
started, so it's not specific to the connection itself. Still, this is
likely to be very useful in debugging whether a slow handshake was due
to CPU usage or something else.

director: Deduplicate code into director_connection_set_connected()

director: Include peak output buffer size in director connection log messages

director: Don't block too long when sending users during director handshake

All the other work is blocked while the users are being sent.

lib: str_parse/to_*int*() - minor optimization

director: Avoid str_printfa() in director_connection_send_users()

Optimizes the CPU usage.