director: Use *_host.ip_str to avoid net_ip2addr() calls

director: Add director_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Add mail_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Use t_strsplit_tabescaped_inplace() for director connection input

lib: net_addr2ip() - Optimize for parsing IPv4 addresses

lib: net_ip2addr() - Optimize by allocating destination memory immediately

It doesn't really matter if we allocate a few extra bytes.

lib: *_strsplit() - implement more efficient version for a single separator char

lib: Implement t_strsplit_tabescaped_inplace()

This is a more efficient version of t_strsplit_tabescaped(), which modifies
the input string instead of duplicating it.

lib: t_strsplit_tabescaped() - don't create unnecessary data stack mempool

unsafe_data_stack_pool is more efficient to use

lib: str_tabunescape() - optimize initial escape char lookup

strchr() is faster than looping ourself.

director: Don't recreate timeout on every user lookup

Recreate it only when the timeout should change.

director: Fix off-by-one when checking if user weakness is stuck

When the weakness was exactly at the second, the weakness wasn't detected
and the next expiration timeout was removed entirely. This shouldn't have
caused any bigger problems, because another user lookup on the following
second would have then detected the weakness, removed the user and restored
the next expiration timeout.

director: Show each director connection in doveadm DIRECTOR-LIST

Previously the host was shown only once, regardless of how many connections
it had. This especially helps when there are just two directors, but also
can be useful when showing incoming/outgoing connections that are still
in handshaking phase.

doveadm director ring status: Add more fields related to connection status

director: Track show long the last ring sync took.

director: Track connections' last ping time

director: Add director_connection_get_status()

Can be used to access connection-specific status information.

director: Fix updating director connection's last_output timestamp

It was previously updated only in ostream's flush callback, which was called
only when there were a lot of output. This only caused the "last output"
timestamp in disconnection log lines to be wrong.

doveadm director: Parse timestamp parameters with str_to_time()

director: Close director connection immediately when output buffer is full

Only the ostream was closed, which didn't actually cause the disconnection
until the other side closed the connection.

director: Add director_output_buffer_size setting

This allows configuring the max buffer size for outgoing connections.
Previously it was hardcoded to 10 MB, which wasn't necessarily enough for
very busy directors.

lib-fs: Fix fs_wrapper_write_stream_finish() to work with async parent fs

This only became a problem with the previous fs-compress change.

lib-storage: Fix assert-crash when searching header and MIMEPART

For now this is just a bit kludgy workaround. The proper fix requires
larger changes, which aren't worth the effort right now.

For example:
doveadm fetch -u testuser uid MAILBOX inbox FROM foo MIMEPART FILENAME CONTAINS bar BODY baz

Crashes with:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

auth: Fix %{ldap_dn} not to leak memory

acl plugin: avoid "'struct stat' declared inside parameter list" warning

Added "ULL" to the hex literals that needed it.

On 32-bit platforms with older compilers (e.g. gcc 4.2 on MacOS 10.6
running on a 1st-gen Core Duo) a 'long' is 4 bytes and the compiler does
not automatically use a 'long long' when needed, but instead generates
an error. e.g.:

libtool: compile:  /usr/bin/g++-4.2 -DHAVE_CONFIG_H -I. -I../../.. -I../../../src/lib -I../../../src/lib-mail -I../../../src/lib-index -I../../../src/lib-storage -I../../../src/plugins/fts -I../../../src/doveadm -I/opt/local/include/openssl -I/opt/local/include -I/opt/local/include/CLucene/ext -pipe -Os -arch i386 -D__STDC_LIMIT_MACROS -MT lucene-wrapper.lo -MD -MP -MF .deps/lucene-wrapper.Tpo -c lucene-wrapper.cc  -fno-common -DPIC -o .libs/lucene-wrapper.o
In file included from ../../../src/lib/lib.h:33,
                 from lucene-wrapper.cc:4:
../../../src/lib/byteorder.h:94: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:95: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:96: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:97: error: integer constant is too large for ‘long’ type
make[4]: *** [lucene-wrapper.lo] Error 1

Adding the 'ULL' to the end of the 16-digit hex literals that are used
to test the structure of 64-bit integers fixes this and avoids any
problem which could arise from the compiler using a 32-bit type for
those literals that could fit in 32 bites.

cassandra: Support "timestamp" type fields properly

Fixes setting them with prepared statements. Reading them never worked
earlier.

cassandra: Include "prepared" when logging about prepared statement queries

Mainly useful for debugging/testing.

cassandra: Fix using bigint types with unprepared statements

This reverts the code to not using the statements with binding at all.
Alternative fix would be to start using explicit int32 or int64 parameter
types, but that breaks backwards compatibility a bit.

doveadm proxy: Don't crash if remote doesn't support log proxying

fs-compress: Allow compress level 0 to skip compression

This can be useful when combined with the "maybe-" prefix, so Dovecot will
support reading compressed files without creating new ones.

lib-storage: Add settings to configure lib-index optimization parameters

The defaults are expected to be pretty good, but these settings make it
easier to test whether other values might be more optimal.

lib-index: Add mail_index_cache_optimization_settings

lib-index: Add mail_index_base_optimization_settings

lib-index: Replace mail_index_set_log_rotation() with mail_index_set_optimization_settings()

This allows more easily adding optimization-related settings.

fs-compress: Support reading uncompressed input by prefixing compression format with "maybe-"

lib: Add istream-try

This can be used to automatically detect the underlying istream format from
a given list of choices.

lib: io_stream_set_error() - Allow one of the parameters to be the old error

lib-master: Allow a second log initialization after settings have been read.

This fixes logging with services that bypass the log service (lda or -L
parameter).

lib-storage: Make sure mailbox list notification flush sees latest changes.

This is mainly useful with imaptest test scripts to make sure they're seeing
the changes done by the other session, without assuming that inotify will
always notify about the change before NOOP is run (it doesn't).

Do this only if mailbox_idle_check_interval>0, so it's not run when periodic
stat()s are wanted to be avoided.

lib: ostream-multiplex - ignore flush return value

There's nothing that can be done about it at close() time. Silences static
analyzer warnings.

lib: ostream-multiplex - remove unnecessary flushes

lib: istream-multiplex - Minor optimization

There's no need to find channel when we already know it. This also helps
static analyzers to understand that req_channel can't be NULL.

doveadm-mail-crypt: Do not return prematurely in key generate

Broken by 446d7d9ddfe122e152b832c13fc28d164ae2c5e9

ostream-multiplex: Check flush return value

test-ostream-escaped: Check flush return value

Found by coverity

doveadm-server: Remove flush before multiplex

It's not really necessary, found by coverity

iostream-multiplex: Check return values in tests

doveadm: Return after destroying connection

Prevents NULL deferences, found by coverity.

doveadm mcp keypair generate: Fix -f parameter

pop3: Expand settings to fix rawlog_dir

Even if %variables weren't used in rawlog_dir, the path was always prefixed
with "0".

doveadm-mail-crypt: Print existing folder key hash when aborting generate

doveadm-mail-crypt: Print existing userkey hash when aborting generate

mail-crypt: Improve doveadm output

mail-crypt: Fix key generation handling

Userkey generation would not set all required fields.

ostream-multiplex: Unreference stream parent

Otherwise it won't get free'd.

doveadm: Add remote(host) prefix to all proxied logs

doveadm log test: Fix it to work again

Broken by 719abeb2088987f213a33a7dd1fe78958beaef03

lib: ostream-multiplex - set ostream_private.parent

Unlike with istream-multiplex, there are no issues with I/Os. Only the
parent stream will have the I/O. Using the default parent adds the
missing methods that otherwise would have needed to be implemented:
 - cork
 - flush_pending
 - switch_ioloop

lib: istream-multiplex - Forward i_stream_switch_ioloop() to parent

Most istreams do this because istream_private.parent is set to the parent
stream, but this can't be done with istream-multiplex. The main problem
with attempting to do the same with istream-multiplex is that the different
channels don't share the same I/O. Just because one channel received data
doesn't mean that other channels received any data. (It would be possible
to solve this by implementing a new method that allows overriding
i_stream_set_io(), but I'm not sure if that's a good idea either.)

acl: Fix compiler warning with -Wstrict-bool

acl: Fix checking create (k) permission in global acl-file

Just because the global ACL file hasn't changed since it was last refreshed
for another ACL object, it doesn't mean that those ACLs don't need to be
applied to this ACL object.

This didn't usually cause problems, because the initial ACL object refresh
was always done due to local-path refresh returning "needs a refresh".
The only exception was when acl_object_init_from_parent() was called,
because it added an empty non-NULL validity for the local-path, so the
"needs a refresh" wasn't returned. This happened only when trying to
CREATE or RENAME mailbox under a parent where user didn't have create
permissions.

This affected only when using a single global acl-file, not when using
global acl directory containing per-mailbox files.

acl: Cleanup - move code to a new acl_vfile_validity_has_changed()

acl: Fix checking whether global acl-file has changed

We always assumed that it was changed and re-read it.

auth: Fix %{ldap_dn} change to compile with v2.2 API

auth: Expand %{ldap_dn} to ldap_get_dn().

lib: iostream-multiplex tests - Fix hangs by setting the pipe fds non-blocking

lib: istream-multiplex - Minor code cleanup

Avoid propagating the error twice, and avoid any confusion about what "got"
actually contains.

director: When ring is synced, purge any pending "removed" directors

This allows adding a director back to the ring without having to wait for 30
seconds.

director: Rename director_delayed_dir_remove_timeout() to director_hosts_purge_removed()

This allows using it for other purposes without having a confusing name.

director: Fix potential panic when director is alone

If director is alone and it can't connect to other directors, it might crash
with:

Panic: file director.c: line 318 (director_set_ring_synced): assertion failed: (!dir->ring_synced)

director: Allow doveadm director ring remove for the same director

Fixes:
Panic: file doveadm-connection.c: line 859 (doveadm_connection_cmd_run): assertion failed: (conn->dir->right == NULL && conn->dir->left == NULL)

director: Don't crash on doveadm director ring remove for unknown director

Ring syncing isn't started, so it shouldn't try to wait for ring sync.

Fixes:
Panic: file doveadm-connection.c: line 859 (doveadm_connection_cmd_run): assertion failed: (conn->dir->right == NULL && conn->dir->left == NULL)

director: Don't crash if DIRECTOR-REMOVE is received for itself

This triggers the director removal from the ring, which causes the
connection to be destroyed. But since we're still in the middle of handling
the connection it needs refcounting.

director: Fix ring sync wait after DIRECTOR-REMOVE

It was sending OK twice, and the first OK was too early.

director: Ignore CONNECT requests to hosts that have been removed already

director: After CONNECT was received, make sure we disconnect

The remote side won't be reading anything after the CONNECT, so we have to
disconnect anyway. If we decide that the CONNECT request is wrong, reconnect
after a short delay and hope that the remote agrees with us the next time.

director: When director is removed, notify it before disconnecting

This way the removed director will know that it's been removed, and it
can also more quickly forward the removal to other directors.

director: Don't reset directors' last_network_failure while handshaking

The reset is done mainly to make it faster for a director that has been down
to connect back to the ring, without other directors still thinking that
it's down. But DIRECTOR that is sent during handshake says nothing about
whether the director is up at the moment or not.

director: Log info line for every incoming/outgoing connection

This can help with debugging problems.

director: Cleanup - move code to a new director_log_connect()

Also adds a missing ')' to the log line.

director: Log info line whenever a director is added/removed from ring

This can help with debugging problems.

director: Improve debugging: Log ring desync when there is no right connection

director: When logging "ring SYNC lost", include sync seq number in message

This can help with debugging.

doveadm director ring remove: Wait ring sync before and after removal

This helps mainly with automated tests.

lib-master: master_service_init_log() - Switch log handlers only on the first call

The secondary calls were only done by mail_storage_service_*() calls. They
want to initialize the logging once, but afterwards they only care about
changing the log prefix. Switch to this behavior now explicitly.

This fixes behavior if logging functions are changed between
mail_storage_service_*() calls, so they don't get reset.

lib: Fix warning with gcc7's -Wint-in-bool-context

doveadm: Deliver remote logs over doveadm socket

doveadm: Refactor server/client code to support versioning properly

This way we can distinguish between old and new server side

doveadm-server: Refactor connection handshake and authentication

Simplifies next change

lib: Add multiplex stream support

This allows having multiple channels of data in single stream.

director: Fix HOST-RESET-USERS when all hosts are down

If there were a lot of users being kicked, the host was flushed after the
initial round of user kills. This caused the rest of the user connections to
be just discarded instead of actually being killed.

director: Fix tracking user move count when user is freed early

users_moving_count wasn't updated if the user was freed before killing it
finished. This caused "doveadm director flush" to hang while waiting for
the move count to drop to 0, which it never did. Also following flushes
were doing less work in parallel, or possibly even nothing since director
thought there were too many users already being moved.

quota-clone: Always update dict

ret_count and ret_bytes become zero if no quota rules
are specified, so we need to update the dict anyways.

Broken in 81d10aff29baede9ae4944d6c89790871123d11d

dsync: Add hashed_headers setting

This makes it possible to configure them

dsync: Fix typo, it's ibc not icb

dsync: Add missing space to handshake optional keys

doveadm proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

lmtp proxy: Avoid DNS lookup for "host" if passdb also returns "hostip"

auth: Avoid DNS lookup for "host" if passdb returns also "hostip"