Released v2.2.26.0.

dsync: Fix potential assert on mailbox deinit.

Should have happened only in somewhat rare error conditions that require
resyncing.

Fixes:
Panic: file dsync-brain-mailbox.c: line 358 (dsync_brain_sync_mailbox_deinit): assertion failed: (brain->failed || brain->sync_type == DSYNC_BRAIN_SYNC_TYPE_CHANGED)

configure: Improve check for OpenSSL without EC support

The original test was for EC_KEY_new but some systems had that and not
EVP_PKEY_CTX_new_id, so the test was switched to that function.
However, Fedora releases 12 through 17 have EVP_PKEY_CTX_new_id but
not EC_KEY_new. So we need to test for both functions before enabling
the dcrypt build.

lib-program-client: Fix building with compilers that have no typeof()

auth: Fix crash when exporting passdb fields to auth-worker that have NULL values

auth: Remove i_assert for credentials scheme

Released v2.2.26.

director: Fix shutdown_clients=no to not break

The director process must shut down even with with shutdown_clients=no.
Otherwise the two director processes will try to keep competing with each
others and log errors like:

director: Warning: Director 10.0.0.123:9090/right disconnected us with reason: Replacing with new incoming connection
director: Warning: Director 10.0.0.123:9090/right disconnected us with reason: Replacing with 10.0.0.124:9090

imap-hibernate: Fix "DONE" handling.

1. If only "DONE\r\n" was sent, it randomly failed with BAD because of
out-of-bounds buffer read.

2. If "DONE\r\n" was followed by a command tag but no space afterwards, we
kept waiting for the input to continue. But since the DONE was already sent,
we should break the IDLE already at that point without any further waiting.

doveadm fs get: Use pager formatter by default to avoid extra LF at the end.

doveadm: Code cleanup - add and use DOVEADM_PRINT_TYPE_PAGER macro

doveadm: "pager" formatter supports now DOVEADM_PRINT_HEADER_FLAG_HIDE_TITLE

doveadm: \f\n only between pages in pager

No more \f\n in the end.

director: Avoid assert-crash at deinit if user moves are still being added.

Fixes:
Panic: file user-directory.c: line 312 (user_directory_deinit): assertion failed: (array_count(&dir->iters) == 0)

director: Send user's old and new backend IPs to flush script.

If user was created due to the user-move, don't execute the flush script
since it wouldn't really have any work to do anyway.

director: User move - Don't try to kick user's connections if user wasn't even known.

director: Code cleanup - moved user kill startup to its own function.

No functional changes.

director: Code cleanup - global director is no longer needed.

director: Moved all user killing state to struct director_kill_context

This should make it a bit easier to understand the life time of user
killing. It also simplifies code by removing struct
director_user_kill_finish_ctx.

Finally, this already reduces memory usage with 32bit systems, and would
make it possible to reduce also on 64bit systems if timestamp is shrank to
31 bits and weak bit moved after it. I'm not sure if that would be better
for performance though. In any case it would provide free space for 4 extra
bytes if that were needed in future.

director: Code cleanup - rename director_kill_context.self to kill_is_self_initiated

director: Code cleanup - added USER_IS_BEING_KILLED() macro

director: Code cleanup - move enum user_kill_state to director.h

This will be needed by following commits

director: Fix HOST-RESET-USERS with host parameter.

The logic was reversed: It should flush the specified host, not some other
host. Broken by 11ee3b40320a31669bd717fecbe1e332dad4fd84

doveadm director dump: Fixed output to include LFs

Otherwise all the output will be mixed up in the same line.

director: Execute director_flush_socket only from one director.

Having each director do it would be redundant since they're all supposed to
be performing the same flush task to the same backend.

director: Improve debug logging output.

director: Fix user move hangs when another move is triggered early.

Running "doveadm director flush" before the previous flush hadn't fully
finished could have caused users to hang until their move timeout:

director: Error: Finishing user 3249070169 move timed out, its state may now be inconsistent (state=waiting-for-everyone)

director: Prevent race conditions by adding USER_KILL_STATE_FLUSHING

In theory it's possible that a user is freed during a flush and added back
before flush is finished, possibly even being moved again. This check makes
sure that we don't finish such move unless we're actually at the correct
flushing state. (If there's another flush also running for the user it'll
be ignored.)

This is also useful for logging purposes.

director: If user host conflict is detected, make sure new host is sent back.

USER-KICK-HASH was sent, but the sender didn't get back a USER reply with
the new host. This could have increased how long user's host differred in
directors.

Avoids repeating this error:
Error: User hash 2957018085 is being redirected to two hosts: 10.0.0.30 and 10.0.0.201 (old_ts=1477338836)

doveadm director flush: Added --max-parallel parameter.

director: HOST-RESET-USERS moves users more slowly now.

By default only 100 users can be moved in parallel. This can be overridden
with HOST-RESET-USERS parameter.

This delaying is especially useful when director_flush_socket is used to
avoid huge floods to the script service. Even without the socket it's still
good for avoiding unnecessary load spikes when all users are kicked at once
and they reconnect back at the same time.

director: If user move times out, log the state it was in at the time.

director: Log user's kill_state with a human-readable string.

doveadm director: Invalid parameters cause doveadm to fail silently.

doveadm_cmd_context.cmd doesn't point directly to doveadm_cmd_director.

director: Fix sending up/down state in handshakes.

They were never sent, because HOSTs were sent before director had waited for
the remote to send its version number. So sender thought that the remote's
minor_version was too old and it didn't send the up/down state at all.

This caused errors like:

Warning: director(10.0.0.30:9090/left): Host 10.0.0.30 is being updated before previous update had finished (up -> down) - setting to state=down vhosts=100
Error: director(10.0.0.30:9090/left): Director 10.0.0.30 SYNC request hosts don't match us - resending hosts (seq=6, remote hosts_hash=262126213, my hosts_hash=2458934259)

director: If SYNCs are received during handshake, send them later.

This fixes delays during handshake:
Error: Ring SYNC appears to have got lost, resending

director: Code cleanup - Give tab-unescaped args to all doveadm command handlers.

director: USER-MOVE didn't handle non-hash username correctly.

The entire command line was being hashed instead of just the username.

director: Make sure IP address parsing works in DIRECTOR-ADD/REMOVE

We were passing the entire string through to net_addr2ip(). It seems that
inet_aton() stops at whitespace though, so this wasn't actually causing
errors at least on Linux.

director: Code cleanup - moved command handling to its own function.

director: Show in process title how many users are being moved.

director: Code cleanup - Finish user move always in the same function.

director: Call state_change_callback on user move timeout.

director: Code cleanup - allow commands handlers to stop processing input

Now returning 0 exits the input reading without disconnecting client.

lib-mail: Add tests for dec/hexdec encoded entities

lib-mail: Support decimal/hexadecimal encoded entities

Add support for &#nnn; and &#xnnn; entities.

imap-login: Skip NIL value in ID handler

NIL value can cause hard crash, depending what
the key is. For x-proxy-ttl, NIL will crash
on any system, x-originating-ip will crash on
some nss versions (e.g. centos 6.7).

Migitating factor here is that the NIL value is only
accepted from trusted network.

lib-compression: Added unit tests for reading .gz files

lib-compression: Added file uncompression support for test-compression

This can be useful for debugging.

lib-compress: Don't assume too early that gz file continues after a trailer.

Some istreams don't have EOF immediately set after the gz trailer. This
fixes errors like "missing gz trailer at 1675"

doveadm: Rewind input early enough

Command input needs to be rewinded earlier
in doveadm_mail_next_user.

istream-zlib: "missing gz trailer" error message was wrong.

lib: With FILE_LOCK_SLOW_WARNING_MSECS log a warning also when keeping lock for long.

This can help catching which process kept the lock for too long.

configure: Fixed checking if OpenSSL is too old for lib-dcrypt

EVP_PKEY_CTX_set_ec_paramgen_curve_nid() is a macro, so it can't be checked
with AC_CHECK_LIB().

lib: Fix compiler warnings in test-ioloop

Fixes:
test-ioloop.c:72: error: ignoring return value of ‘write’, declared with attribute warn_unused_result

lib-http: Add ioloop and lock wait information to timeout messages.

It'll now log for example:
9007 Request timed out (Request sent 7.087 secs ago, 0.076 in other ioloops, 7.012 in locks, connected 7.087 secs ago)

Which points out that the problem wasn't really with the HTTP, but with
locking. This likely should be fixed in some way also in lib-http so that
it gives a bit of extra time for reading the request, but that's a separate
fix.

dict-client: Fix logging how much time was spent in other ioloops in slow lookup warnings.

The warning's idea is to show why the lookup could have been slow. We
differentiate between time spent in dict_wait() waiting only for the
dict result and time spent in other ioloops waiting for potentially other
things as well (and time spent waiting for locks during this time).

The previous code didn't work right when multiple ioloops were used, which
happened sometimes.

Also changed %u to %d just in case some calculation is wrong. It's nicer to
get a slightly negative value rather than a huge positive one.

lib: Added ioloop_global_wait_usecs

This is helpful when multiple ioloops aren't used and
io_loop_get_wait_usecs() can't be easily used for all of them.

lib: Add FILE_LOCK_SLOW_WARNING_MSECS environment.

Log a warning if any locking takes longer than the specified number of
milliseconds. This can be enabled globally with:

import_environment = $import_environment FILE_LOCK_SLOW_WARNING_MSECS=1000

lib-index: Fix potential error when reading from uncommitted cache transaction

If dovecot.index.cache is compressed during the transaction, the new cache
fields mapping doesn't necessarily match what is in the transaction.

Fixes:
Error: Corrupted index cache file .../dovecot.index.cache: field index too large (27 >= 17)

Although there may be other cache corruption errors it also fixes.

lib-index: Fix potential assert-crash when reading cache

Fixes:
Panic: file mail-cache-lookup.c: line 258 (mail_cache_lookup_iter_next): assertion failed: (ctx->offset != 0)

Broken by d33fc6c584718efd46159e1d8f46488b9dfc66f5

master: If chrooted service's core wasn't dumped, suggest to unset the chroot.

lib: Add test for ioloop fd polling

lib: Fix kqueue io_loop_get_wait_time usage

The code needs to take into consideration,
when there is no IO to be waited, but possibly
there is io_set_pending used, or just timeouts.

lib: Ensure tv_r gets set in io_loop_get_wait_time

If this does not get reset here to 0 it can cause
errors or unpredictable behaviour in select/kqueue
polling, such as very long delays.

director: Fix crash handling director_flush_socket when user is freed.

director: Support flush socket

This allows specifying an URI to execute
on user kill. It can be of form
exec:/path/to/bin, unix:/path/to/socket or
tcp:ip:port

The location is sent FLUSH username-hash
per killed user. You can execute some
action there, and you are expected to
return '+\nOK\n' as reply once you are
done.

lib-program-client: Add URI based constructor

configure: Improved checking if OpenSSL is too old for lib-dcrypt

Some OpenSSL versions had EC_KEY_new, but not other needed functions.

dovecot.m4: Added DOVECOT_BINARY_LDFLAGS for future compatibility

Mainly to keep the serial number the same in v2.2 and v2.3 tree.

dovecot-config: Added dovecot_statedir

Moved cc-wrapper.sh handling to dovecot.m4

When configuring Dovecot --without-shared-libs and pointing external plugins
to uninstalled sources --with-dovecot, any binaries complied for plugins
weren't using cc-wrapper.sh, which could have caused runtime failures when
they attempted to load plugins dynamically. Now it's possible to add
DC_CC_WRAPPER to plugins' configure.ac to build with the cc-wrapper.sh.

Added LIBDOVECOT_PUSH_NOTIFICATION_INCLUDE to dovecot.m4.

pop3: Fix pop3_logout_format=%{deleted_size} expansion when there are no deletions

Should be "0", not empty string.

%{auth_domain} shouldn't include the leading '@'

lib-ldap: Fixed compiling with OpenBSD

auth: Escape local_name

login-common: Include local_name in login_var_expand_table

This way it can be used in login_log_format

lib-program-client: Fixed boolean expressions.

Problems found with clang -Wstrict-bool.

auth: Fixed assert-crash on invalid auth-client input

For example if client sends invalid input like:
auth: Error: BUG: Authentication client sent unknown command: XYZ

Fixes crash:
auth: Panic: key not found from hash

Added "doveadm process status"

This allows asking for processes' current status in master process.

Added "doveadm service status"

This allows asking for services' current status in master process.

doveadm-master: Code cleanup - simplify sending command args to master.

This also escapes the parameters to make sure nothing bad can be sent.

doveadm service stop: Convert to doveadm v2 API

doveadm service stop: Code cleanup - Prepare for other service commands.

doveadm service stop: Moved command handling to doveadm-master.c

It's talking to master process, and there will be other non-service commands
that talk to the master process in the same way.

doveadm user: If lookup fails, don't write it to the same line as header.

doveadm-server: Show incoming connection's IP and running command is process title.

auth: Pass local_name to auth-request

This allows using local_name in various places,
such as passdb/userdb queries.

login proxy: Hanging outgoing SSL connections caused using already-freed memory

This mainly happened when login proxy closed the connection due to connect
timeout. The ssl-proxy still had a reference and existed for a longer time.
If SSL handshake still succeeded afterwards, it now called
login_proxy_ssl_handshaked(), which accessed the already-freed proxy and
likely crashed.

Fixed the ssl-client proxy code specifically. Alternatively ssl_proxy_free()
could be calling ssl_proxy_destroy() always, but since ssl-server side of
the code seems to have been working fine, I don't want to accidentally
break it.

v2.2.26.rc1 released.

lib-program-client: Correctly handle error code

lib: Copy target_uid from restrict_access_settings

One cannot assign to set->uid, causing compile error.

lib-program-client: Try drop setuid root by default

But not if root privileges are asked for.

lib: Add drop_setuid_root for restrict_access

drop_setuid_root, when set to true, will detect
and try to drop getuid()==0. This is done by
recovering current effective UID to set->uid
if set->uid == -1, and then doing seteuid(0).
It will also drop out any other extra privileges,
such as extra groups not requested for.

lib-storage: clean up mailbox_list_create to improve readability

There is no reason to use mailbox_list_driver_find() here instead of
mailbox_list_find_class() as (1) we do not need the index into the list
driver array, and (2) dealing with double-pointers is harder than regular
pointers.

.gitignore: Updated to include auto-added m4/*

push-notification: Error handling fix and cleanups.

dovecot-ldap.conf.ext: Updated sasl_bind comment.

lib-program-client: Fix memory access problem