lib: Mark istream with eof=TRUE on all errors

Previously only i_stream_read() did this, but i_stream_seek(), _stat(),
_get_size() and _create() didn't. This caused assert-crashes on error
conditions in code which assumed that when stream_errno != 0, eof==TRUE.

lib-program-client: Do not call callback when destroying

dict-client: When dict-server times out, log ioloop/lock waits.

dict-client: Code cleanup to timeout handling.

No functional changes.

dict-client: Dict server timeout may have occurred too early.

lib-index: Improve error messages when transaction log is unexpectedly lost

dict-client: Forward dict_iterate_set_limit() to dict server

dict-client: Code cleanup - remember all iteration flags

lib-dict: Fix infinite loop when row limit is reached.

If dict_iterate_has_more() keeps returning TRUE, the caller keeps calling
dict_iterate().

sdbox: Fix crash on mailbox_sync*() when mailbox auto-open fails.

director: Don't access freed memory during deinit

director: Fix crash when receiving USER-MOVE for nonexistent user.

imap: Free box on error

Otherwise the box wil leak as it is not assigned
anywhere and can cause crash on imap exit due
to stats plugin timeout leak.

director: Keep per-tag directory

director: Code cleanup - typedef user_free_hook

This is done because user_free_hook needs to be
also used in mail_host. If it changes, this
reduces the places that need touching.

director: Code cleanup - Reorder includes

This is required to enable typedef of
user_free_hook

director: Code cleanup - moved username_hash generation to director.h

It's not really user_directory specific. This is especially important
in the following patches that add per-tag user_directories. It's also not
always known which tag the username_hash refers to, so there can't be
different tag-specific username_hash generators.

director: Code cleanup - added user director_iterate_users_*() wrappers.

This will shrink the diff for the following changes.

director: Code cleanup - use temporary users variables

This will shrink the diff for the following changes.

director: Code cleanup - moved code to notify_update_user()

director: const mail_host in mail_host_get_tag

lib: Add test vectors for message digests

lib: Add SHA3 hashing methods for 256 and 512 bits

lib: Move sha context and result size to new header

This is to prepare for SHA3 inclusion

lib-storage: Updated MAIL_SEARCH_ARG_FLAG_USE_TZ comment.

lib-storage: Fix doveadm search query parsing to use timezones correctly.

When using a date string, e.g. "senton 25-Mar-2007" it should work the same
way as IMAP does and show all mails whose sent date is on 25th, ignoring
whatever the timezone is in the Date header (or in case of received/saved-date
it would be using the timestamps in server's local timezone, again just like
IMAP).

When search with an exact UNIX timestamp or a time interval (e.g.
"3 days"), it should be using UTC times for doing all comparisons.

lib-storage: Reverse MAIL_SEARCH_ARG_FLAG_USE_TZ handling again.

It wasn't really wrong, it was just confusing. And doveadm's tz-handling
was wrong.

Reverses 059e4ac419224598349704b74cb9f6b49278df46

lib: Define ARRAY_TYPE for uint8_t, uint16_t and uint64_t.

auth: Use buffer_truncate_rshift_bits

lib: Add tests for hashed var-expand

lib: Add generic hashing support to var-expand

Enables use of

%{H;rounds=<rounds>,truncate=<bits>,salt=<salt>:field}

syntax in any variable expansion. H is any supported
hash algorithm or pkcs5 for PKCS#5 PBKDF2 using SHA256.

lib: var_expand() code cleanup - Moved short %v expansion to its own function.

lib: Add unit test for buffer truncate

lib: Updated buffer_set_used_size() comment and added unit test.

lib: Do not consume {} inside %{}

lib: Add buffer truncate

auth: Make static analyzer happier.

Don't complain about uninitialized static_password being sent to
passdb_handle_credentials(). It could only happen for failures, and
passdb_handle_credentials() wouldn't have used the password then.

fts: Fix error message when syncing FTS root mailbox fails.

lib: ioloop-notify-kqueue wasn't storing source filename.

lib-http: test-http-client-errors: Add test for server that returns error status early while client is still sending blocking payload.

lib-http: client: Fixed assert failure occurring when server returns error status early while client is still sending blocking payload.

lib-http: Added blocking client support to test-http-client-errors.

lib-http: Fixed potential segfault problem in test-http-client-errors.

Found by Coverity.

lib-http: Added DNS-related tests to test-http-client-errors.

lib-http: client: Destroy host and associated queue objects after no more requests remain and an idle timeout expires.

lib-http: client: Implemented host name lookup TTL.

Host name lookups will now be performed again when the results have expired.
Without access to TTL information from DNS lookups, all lookups will use the same default TTL for now.

lib-http: client: Added http_client_queue_requests_active().

It counts how many active requests a queue has.

lib-http: client: Create queue->pending_peers array from the beginning.

This simplifies the code, since the pending peers array is always used.

lib-http: client: Link peers to queue earlier: during connection attempts.

This makes sure that queues keep track of which peers are doing stuff on its behalf.
This is important to be able to manage the active peers when a new host name lookup was performed; if a peer is no longer listed in the returned IPs it should be dropped.

lib-http: client: Created http_client_peer_drop() function that closes a peer object gracefully.

It checks whether any connections are still present.
It checks whether a backoff timer is still active.
This change and subsequent changes prepare for being able to destroy a queue when it becomes unused.
All peers linked to such a queue are unlinked and dropped when inactive and unlinked.

lib-http: client/server: Enable the TCP_NODELAY option for all connections.

This disables the TCP Nagle algorithm. With the Nagle algorithm enabled, TCP waits a little to accumulate more data in a small segment before it is sent. For transfer of large continuous payloads, this is not useful and even harmful.
If the final remaining bit of the payload is small, the TCP layer will wait for a significant amount of time at the end of the payload. For many sequential transfers, this amounts to much waiting time.
This is particularly evident in the test-http-payload test suite tool. Setting TCP_NODELAY decreases its run time from up to 20 minutes to about half a minute my system.

lib: Created net_set_tcp_nodelay(), which enables the TCP_NODELAY socket option.

This disables the TCP Nagle algorithm.

lib-http: client: Improved labeling of debug messages.

Request label is corrected.
Labels are now pre-composed and stored.

lib-http: server: Implemented means to gracefully shut down the server.

While shutting down, it will not accept new requests and connections are closed once they become idle.

lib-http: client: Added ability to configure a specific proxy for individual requests.

This way, a request can be routed to a specific proxy (or origin server). The destination can also be a unix socket.

lib-http: client: Added pure attribute to some of the request property functions.

lib-http: client: Cleaned up headers and added some more documentation there.

lib-http: client: Unlink all queues from peer when it is disconnected.

Before, queues were only destroyed when the whole client was destroyed.
This change and subsequent changes prepare for being able to destroy a queue when it becomes unused.

lib-http: client: Improved logging of connection loss handling in peer.

lib-http: client: If a peer object is no longer linked to a queue, don't close it until all connections are inactive.

The peer object is canceled, rather than closed. Which means that any newly started and idle connections are closed immediately.
Requests may be pending though.
This is only relevant when hosts/queues are removed at some point.
This is a preparational change for having a maximum lifetime on hosts/queues, in which case this becomes a possibility.

lib-http: client: Added debug messages that indicate when a queue is linked/unlinked to a peer.

lib-http: client: Added function that counts how many connections are active within a peer.

lib-http: client: Added function that checks whether a connection is currently active.

lib-http: client: Created http_client_connection_failure() handler.

lib-http: client: Set conn->connect_request to NULL immediately in http_client_connection_tunnel_response().

Prevents referring to this completed request in other parts of the code.

lib-http: client: Improved handling of hosts with explicit IP address.

lib-http: Made test-http-client-errors more reliable.

lib-index: Don't waste 3 bytes of space in struct mail_index_record.

It was always supposed to be used mainly for keywords, but it got broken
many years ago and nobody noticed.

lib-storage: Don't enable modseqs on STATUS_HIGHESTMODSEQ.

This is requested always by IMAP's SELECT command even when the IMAP client
hasn't requested it. We don't want to unnecessarily enable modseqs that use up
memory and disk space when they're not really needed. Other callers may also be
interested in asking for HIGHESTMODSEQ (which is nowadays actually always
available) without enabling full modseq tracking.

lib-storage: Reverse MAIL_SEARCH_ARG_FLAG_USE_TZ handling.

It was being used the wrong way. SEARCH SENTON/BEFORE/AFTER should have
checked the times within the mail's timezone, not UTC.

doveadm director: Fix memory leaks if hostname lookup fails.

lib: Fix str_truncate() when string size is already smaller.

Previous behavior either added extra NULs to the string or assert-crashed.

lib: Added more unit tests to str_*()

lib: Make str_*() inline which are simple buffer_* wrappers.

imap/pop3 proxy: If passdb returns proxy_not_trusted, don't send ID/XCLIENT

This allows using Dovecot proxying feature towards less trusted servers.

auth: If passwd-file can't be read, return tempfail (not user unknown).

auth: If uidgid_file doesn't exist, fail the userdb lookup.

mdbox: Fix assert-crash caused by race condition with multiple doveadm purges.

This fixes a problem where an email that was just written to a new m.* file gets
expunged and purged by another process.

Fixes:
Panic: file mdbox-map.c: line 1359: unreached

fs-randomfail: "write" probability was reversed.

0 meant 100% while 100 meant 0%

lib-test: Do not init/deinit library twice

If lib is initialized, do not initialize
or deinitialize library. This is done to
allow using master_service in unit tests
which also wants to perform lib init
and deinit itself.

lib: Add function to see if lib is initialized

This is needed by test-lib to prevent double init/deinit.

dsync: Fix potential assert on mailbox deinit.

Should have happened only in somewhat rare error conditions that require
resyncing.

Fixes:
Panic: file dsync-brain-mailbox.c: line 358 (dsync_brain_sync_mailbox_deinit): assertion failed: (brain->failed || brain->sync_type == DSYNC_BRAIN_SYNC_TYPE_CHANGED)

configure: Improve check for OpenSSL without EC support

The original test was for EC_KEY_new but some systems had that and not
EVP_PKEY_CTX_new_id, so the test was switched to that function.
However, Fedora releases 12 through 17 have EVP_PKEY_CTX_new_id but
not EC_KEY_new. So we need to test for both functions before enabling
the dcrypt build.

auth: Fix crash when exporting passdb fields to auth-worker that have NULL values

lib-compression: Fixed fd leak in unit test

lib-auth: Minor debug logging improvement.

Include "PASS" or "USER" in the prefix to make it clear what the reply is
for.

lib-program-client: Fix building with compilers that have no typeof()

auth: Remove i_assert for credentials scheme

doveadm: fix compile warning in doveadm-dump-index

director: Fix shutdown_clients=no to not break

The director process must shut down even with with shutdown_clients=no.
Otherwise the two director processes will try to keep competing with each
others and log errors like:

director: Warning: Director 10.0.0.123:9090/right disconnected us with reason: Replacing with new incoming connection
director: Warning: Director 10.0.0.123:9090/right disconnected us with reason: Replacing with 10.0.0.124:9090

imap-hibernate: Fix "DONE" handling.

1. If only "DONE\r\n" was sent, it randomly failed with BAD because of
out-of-bounds buffer read.

2. If "DONE\r\n" was followed by a command tag but no space afterwards, we
kept waiting for the input to continue. But since the DONE was already sent,
we should break the IDLE already at that point without any further waiting.

doveadm dump: Dump mailbox names in mailbox.list.index's header.

*-login: Removed enforcing maximum calculated fd limit.

Just use the regular ulimit. Login process has become complicated enough
that counting the exact fd size isn't so easy anymore.

Also apparently this low fd limit is causing errors with new Linux kernels:
pop3-login: Error: fd_send(pop3, 18) failed: Too many references: cannot splice

Compiler warning fixes with -Wstrict-bool

lib: Fixed net_str2port*() comments

doveadm fs get: Use pager formatter by default to avoid extra LF at the end.

doveadm: Code cleanup - add and use DOVEADM_PRINT_TYPE_PAGER macro

doveadm: "pager" formatter supports now DOVEADM_PRINT_HEADER_FLAG_HIDE_TITLE

doveadm: \f\n only between pages in pager

No more \f\n in the end.

director: Avoid assert-crash at deinit if user moves are still being added.

Fixes:
Panic: file user-directory.c: line 312 (user_directory_deinit): assertion failed: (array_count(&dir->iters) == 0)