auth: Use buffer_truncate_rshift_bits

lib: Add tests for hashed var-expand

lib: Add generic hashing support to var-expand

Enables use of

%{H;rounds=<rounds>,truncate=<bits>,salt=<salt>:field}

syntax in any variable expansion. H is any supported
hash algorithm or pkcs5 for PKCS#5 PBKDF2 using SHA256.

lib: Do not consume {} inside %{}

lib: Add unit test for buffer truncate

lib: Add buffer truncate

auth: Make static analyzer happier.

Don't complain about uninitialized static_password being sent to
passdb_handle_credentials(). It could only happen for failures, and
passdb_handle_credentials() wouldn't have used the password then.

fts: Fix error message when syncing FTS root mailbox fails.

auth: Fixes to previous var_expand() change.

lib: ioloop-notify-kqueue wasn't storing source filename.

lib-storage: Fix previous var_expand() change.

lib: API change - var_expand_func_table.func() can now return error.

None of the existing functions were changed to return errors (yet).

lib: API change - var_expand*() now returns error string.

This allows callers to fail properly if the format string is invalid.

auth: Code cleanup - Move passwd-file extra fields import to its own function.

This will shrink the diff output for the following var_expand() change.

lib: var_expand() code cleanup - Moved short %v expansion to its own function.

imap-login: Adjusted IMAP AUTHENTICATE command to return CONTACTADMIN and EXPIRED response codes when appropriate.

auth,login-common: Added result code for invalid base64-encoded response data.

login-common: Added result codes for mechanism-related failures.

login-common: Added result code for a nologin code from the auth service.

login-common: Added result code for password-expired authentication failure.

auth: Added a code= field to the auth FAIL response that replaces the "authz", "temp", "pass_expired", and "user_disabled" fields.

lib-http: Added DNS-related tests to test-http-client-errors.

lib-http: client: Destroy host and associated queue objects after no more requests remain and an idle timeout expires.

lib-http: client: Implemented host name lookup TTL.

Host name lookups will now be performed again when the results have expired.
Without access to TTL information from DNS lookups, all lookups will use the same default TTL for now.

lib-http: client: Added http_client_queue_requests_active().

It counts how many active requests a queue has.

lib-http: client: Create queue->pending_peers array from the beginning.

This simplifies the code, since the pending peers array is always used.

lib-http: client: Link peers to queue earlier: during connection attempts.

This makes sure that queues keep track of which peers are doing stuff on its behalf.
This is important to be able to manage the active peers when a new host name lookup was performed; if a peer is no longer listed in the returned IPs it should be dropped.

lib-http: client: Created http_client_peer_drop() function that closes a peer object gracefully.

It checks whether any connections are still present.
It checks whether a backoff timer is still active.
This change and subsequent changes prepare for being able to destroy a queue when it becomes unused.
All peers linked to such a queue are unlinked and dropped when inactive and unlinked.

lib-http: client: Unlink all queues from peer when it is disconnected.

Before, queues were only destroyed when the whole client was destroyed.
This change and subsequent changes prepare for being able to destroy a queue when it becomes unused.

lib-http: client: Improved logging of connection loss handling in peer.

lib-http: client: If a peer object is no longer linked to a queue, don't close it until all connections are inactive.

The peer object is canceled, rather than closed. Which means that any newly started and idle connections are closed immediately.
Requests may be pending though.
This is only relevant when hosts/queues are removed at some point.
This is a preparational change for having a maximum lifetime on hosts/queues, in which case this becomes a possibility.

lib-http: client: Added debug messages that indicate when a queue is linked/unlinked to a peer.

lib-http: client: Added function that counts how many connections are active within a peer.

lib-http: client: Added function that checks whether a connection is currently active.

lib-http: client: Created http_client_connection_failure() handler.

lib-http: client: Set conn->connect_request to NULL immediately in http_client_connection_tunnel_response().

Prevents referring to this completed request in other parts of the code.

lib-http: client: Improved handling of hosts with explicit IP address.

lib-http: Made test-http-client-errors more reliable.

lib-index: Don't waste 3 bytes of space in struct mail_index_record.

It was always supposed to be used mainly for keywords, but it got broken
many years ago and nobody noticed.

lib-storage: Don't enable modseqs on STATUS_HIGHESTMODSEQ.

This is requested always by IMAP's SELECT command even when the IMAP client
hasn't requested it. We don't want to unnecessarily enable modseqs that use up
memory and disk space when they're not really needed. Other callers may also be
interested in asking for HIGHESTMODSEQ (which is nowadays actually always
available) without enabling full modseq tracking.

lib-storage: Reverse MAIL_SEARCH_ARG_FLAG_USE_TZ handling.

It was being used the wrong way. SEARCH SENTON/BEFORE/AFTER should have
checked the times within the mail's timezone, not UTC.

doveadm director: Fix memory leaks if hostname lookup fails.

lib: Fix str_truncate() when string size is already smaller.

Previous behavior either added extra NULs to the string or assert-crashed.

imap/pop3 proxy: If passdb returns proxy_not_trusted, don't send ID/XCLIENT

This allows using Dovecot proxying feature towards less trusted servers.

auth: Code cleanup - Return void in passdb.set_credentials()

It's an asynchronous function, so the result will be in the callback
parameters.

auth: If passwd-file can't be read, return tempfail (not user unknown).

auth: If uidgid_file doesn't exist, fail the userdb lookup.

mdbox: Fix assert-crash caused by race condition with multiple doveadm purges.

This fixes a problem where an email that was just written to a new m.* file gets
expunged and purged by another process.

Fixes:
Panic: file mdbox-map.c: line 1359: unreached

fs-randomfail: "write" probability was reversed.

0 meant 100% while 100 meant 0%

lib-test: Do not init/deinit library twice

If lib is initialized, do not initialize
or deinitialize library. This is done to
allow using master_service in unit tests
which also wants to perform lib init
and deinit itself.

lib: Add function to see if lib is initialized

This is needed by test-lib to prevent double init/deinit.

configure: Fix link ordering

libprogram_client.la needs to be before libdns.la

dsync: Fix potential assert on mailbox deinit.

Should have happened only in somewhat rare error conditions that require
resyncing.

Fixes:
Panic: file dsync-brain-mailbox.c: line 358 (dsync_brain_sync_mailbox_deinit): assertion failed: (brain->failed || brain->sync_type == DSYNC_BRAIN_SYNC_TYPE_CHANGED)

configure: Improve check for OpenSSL without EC support

The original test was for EC_KEY_new but some systems had that and not
EVP_PKEY_CTX_new_id, so the test was switched to that function.
However, Fedora releases 12 through 17 have EVP_PKEY_CTX_new_id but
not EC_KEY_new. So we need to test for both functions before enabling
the dcrypt build.

lib-program-client: Fix building with compilers that have no typeof()

lib: Removed t_strsplit_tab()

It's too easy to use it accidentally instead of using
t_strsplit_tabescaped(). It's also rarely what is actually wanted.

auth-worker: Fix potential crash when importing passdb/userdb fields without value.

These were being converted to NULL values in auth-worker, while elsewhere they were
converted to "". Changed to "" here as well and added asserts to make sure they
won't happen again.

Most of the NULL values would have been fine, but overriding any IP/port
fields would have caused a crash when trying to parse the value.

auth: Fix crash when exporting passdb fields to auth-worker that have NULL values

lib-compression: Fixed fd leak in unit test

lib-auth: Minor debug logging improvement.

Include "PASS" or "USER" in the prefix to make it clear what the reply is
for.

lib-storage: rename get_real_mail to get_backend_mail

Also change the function signature so that it returns an int to indicate
success or failure.

doveadm: fix compile warning in doveadm-dump-index

doveadm dump: Dump mailbox names in mailbox.list.index's header.

*-login: Removed enforcing maximum calculated fd limit.

Just use the regular ulimit. Login process has become complicated enough
that counting the exact fd size isn't so easy anymore.

Also apparently this low fd limit is causing errors with new Linux kernels:
pop3-login: Error: fd_send(pop3, 18) failed: Too many references: cannot splice

lib-program-client: Remove code duplication

The content is sent on connected already. Do not
send it early in async connect.

lib-program-client: Retry connection on EAGAIN

Compiler warning fixes with -Wstrict-bool

lib: Fixed net_str2port*() comments

doveadm fs get: Use pager formatter by default to avoid extra LF at the end.

doveadm: Code cleanup - add and use DOVEADM_PRINT_TYPE_PAGER macro

doveadm: "pager" formatter supports now DOVEADM_PRINT_HEADER_FLAG_HIDE_TITLE

director: Avoid assert-crash at deinit if user moves are still being added.

Fixes:
Panic: file user-directory.c: line 312 (user_directory_deinit): assertion failed: (array_count(&dir->iters) == 0)

director: Send user's old and new backend IPs to flush script.

If user was created due to the user-move, don't execute the flush script
since it wouldn't really have any work to do anyway.

director: User move - Don't try to kick user's connections if user wasn't even known.

director: Code cleanup - moved user kill startup to its own function.

No functional changes.

director: Code cleanup - global director is no longer needed.

director: Moved all user killing state to struct director_kill_context

This should make it a bit easier to understand the life time of user
killing. It also simplifies code by removing struct
director_user_kill_finish_ctx.

Finally, this already reduces memory usage with 32bit systems, and would
make it possible to reduce also on 64bit systems if timestamp is shrank to
31 bits and weak bit moved after it. I'm not sure if that would be better
for performance though. In any case it would provide free space for 4 extra
bytes if that were needed in future.

director: Code cleanup - rename director_kill_context.self to kill_is_self_initiated

director: Code cleanup - added USER_IS_BEING_KILLED() macro

director: Code cleanup - move enum user_kill_state to director.h

This will be needed by following commits

lib-lda: Add back subject sanitization to mail sending.

Broken by acfda38b75d0f0e899ef692fef01593bd56ed85e

director: Fix HOST-RESET-USERS with host parameter.

The logic was reversed: It should flush the specified host, not some other
host. Broken by 11ee3b40320a31669bd717fecbe1e332dad4fd84

doveadm director dump: Fixed output to include LFs

Otherwise all the output will be mixed up in the same line.

director: Execute director_flush_socket only from one director.

Having each director do it would be redundant since they're all supposed to
be performing the same flush task to the same backend.

director: Improve debug logging output.

director: Fix user move hangs when another move is triggered early.

Running "doveadm director flush" before the previous flush hadn't fully
finished could have caused users to hang until their move timeout:

director: Error: Finishing user 3249070169 move timed out, its state may now be inconsistent (state=waiting-for-everyone)

director: Prevent race conditions by adding USER_KILL_STATE_FLUSHING

In theory it's possible that a user is freed during a flush and added back
before flush is finished, possibly even being moved again. This check makes
sure that we don't finish such move unless we're actually at the correct
flushing state. (If there's another flush also running for the user it'll
be ignored.)

This is also useful for logging purposes.

director: If user host conflict is detected, make sure new host is sent back.

USER-KICK-HASH was sent, but the sender didn't get back a USER reply with
the new host. This could have increased how long user's host differred in
directors.

Avoids repeating this error:
Error: User hash 2957018085 is being redirected to two hosts: 10.0.0.30 and 10.0.0.201 (old_ts=1477338836)

doveadm director flush: Added --max-parallel parameter.

director: HOST-RESET-USERS moves users more slowly now.

By default only 100 users can be moved in parallel. This can be overridden
with HOST-RESET-USERS parameter.

This delaying is especially useful when director_flush_socket is used to
avoid huge floods to the script service. Even without the socket it's still
good for avoiding unnecessary load spikes when all users are kicked at once
and they reconnect back at the same time.

director: If user move times out, log the state it was in at the time.

director: Log user's kill_state with a human-readable string.

doveadm director: Invalid parameters cause doveadm to fail silently.

doveadm_cmd_context.cmd doesn't point directly to doveadm_cmd_director.

director: Fix sending up/down state in handshakes.

They were never sent, because HOSTs were sent before director had waited for
the remote to send its version number. So sender thought that the remote's
minor_version was too old and it didn't send the up/down state at all.

This caused errors like:

Warning: director(10.0.0.30:9090/left): Host 10.0.0.30 is being updated before previous update had finished (up -> down) - setting to state=down vhosts=100
Error: director(10.0.0.30:9090/left): Director 10.0.0.30 SYNC request hosts don't match us - resending hosts (seq=6, remote hosts_hash=262126213, my hosts_hash=2458934259)

director: If SYNCs are received during handshake, send them later.

This fixes delays during handshake:
Error: Ring SYNC appears to have got lost, resending

director: Code cleanup - Give tab-unescaped args to all doveadm command handlers.

director: USER-MOVE didn't handle non-hash username correctly.

The entire command line was being hashed instead of just the username.

director: Make sure IP address parsing works in DIRECTOR-ADD/REMOVE

We were passing the entire string through to net_addr2ip(). It seems that
inet_aton() stops at whitespace though, so this wasn't actually causing
errors at least on Linux.

director: Code cleanup - moved command handling to its own function.

director: Show in process title how many users are being moved.