lib-storage: Preserve box-name header when rebuilding index.

doveadm dump: Add support for the new box-name index header.

LAYOUT=index: Update mailbox name to mailbox index's header when opening.

This way if the mailbox list index gets lost, a recent mailbox name is still
available.

lib-storage: Prevent renaming mailbox under itself.

This resulted earlier in a loop, which broke the mailbox index.
Note that IMAP already prevented this, so it could only be triggered by
other tools, like doveadm.

lib-storage: Prevent parent loops in mailbox list index

lib-storage: Fix invalid parents in LAYOUT=index

Previously it just kept complaining without fixing the errors.

lib-storage: Improve mailbox list index corruption errors

lib-storage: If LAYOUT=index loses mailbox names, write the generated ones to index.

Previously it just kept complaining and regenerating new names, without
actually fixing up the situation.

lib-storage: Fix handling LAYOUT=index losing mailbox names

It lost all the mailbox names.

config: Match local_name using dns-util

This way it correctly handles wildcards.

lib-dns: Add tests for dns-util

lib-dns: Add DNS specific matching algorithms

RFC4343 and RFCRFC4592 compare and match algorithms

master: Fix compiling with systemd after /dev/null changes

configure: Removed AC_CONFIG_MACRO_DIR([m4]) for now

Fixes:
libtoolize: AC_CONFIG_MACRO_DIR([m4]) conflicts with ACLOCAL_AMFLAGS=-I ..

imap: Use correct format specifier for highestmodseq

Makefile: Add -I . to ACLOCAL_AMFLAGS

Without this when aclocal is automatically run it doesn't generate a working
configure.

lib-index: Fix flushing NFS if minimum wanted transaction log file is lost

imap: Add details why unhibernation failed

This can help understanding why client
failed to unhibernate.

global: Use fd_close_maybe_stdio()

lib: Add fd_close_maybe_stdio()

The idea is that this should be used whenever closing fds that may be 0 or
1. If they are closed normally, the following code may end up using 0/1 fd
for other purposes, which could cause problems.

global: use dev_null_fd instead of opening /dev/null

master: Don't unlink login sockets at startup if someone is listening to them.

The original check there never worked, because null_fd was always set.

Normally the master.pid file would prevent this happening, but if it didn't
exist, the sockets would be unlinked and usually also created back.

lib-master: Revert redundant stdin/stdout/stderr fd checks

This is now done by lib_init() in a bit nicer way.

Reverts 08923d2c956ece3dc604d5842ba152c2bdb11fb9

lib: Make sure stdin/stdout/stderr have fd at startup and keep /dev/null always open

This guarantees we will always have a fd that can be used as /dev/null.
It works even inside chroots.

Fix -Wstrict-bool compiler warnings.

doveadm-save: Check stream errno before save

This is to ensure the file has been really opened.

Manually cleanup OpenSSL from dovecot_openssl_common_global_unref()

OpenSSL 1.1 features a cleanup function that is automatically run on shutdown
using atexit(3). This function frees all OpenSSL-allocated resources.

In dovecot, OpenSSL is loaded indirectly using dlopen(3) against the relevant
dovecot crypto module and is finally unloaded using dlclose(3). Until
OpenSSL 1.0.1c this worked fine, however OpenSSL 1.0.1c makes sure[1] that the
library stays loaded after the initial dlclose() so that the atexit(3)
handlers can run on shutdown. This, together with the fact that dovecot
uses custom allocation functions for OpenSSL and has already partially
free()'d some of OpenSSL's resources in module_free(), leads to a
segfault at process shutdown[2].

We fix this by explicitly calling OPENSSL_cleanup() during module unload. This
is safe to do, as long as we will never want to subsequently re-initialize
OpenSSL.

[1] https://github.com/openssl/openssl/commit/4af9f7fe79ff82b90c16969b7e5871435056377b
[2] https://buildd.debian.org/status/fetch.php?pkg=dovecot&arch=amd64&ver=1:2.2.26.0-2&stamp=1478873022

Signed-off-by: Apollon Oikonomopoulos <apoikos@debian.org>

ssl: fix reference to SSLv2 and disable SSLv3

This is driven by the fact that OpenSSL 1.1 does not know about SSLv2 at
all and dovecot's defaults simply make OpenSSL error out with "Unknown
protocol 'SSLv2'"[1]. So we change the defaults to refer to SSLv2 iff OpenSSL
seems to know something about it.

While at it, it's also a good idea to disable SSLv3 by default as well.

[1] https://bugs.debian.org/844347

Signed-off-by: Apollon Oikonomopoulos <apoikos@debian.org>

lib-http: Use io_wait_timer for tracking wait times.

The previous code was completely incorrect, since it wasn't even tracking
the HTTP request's start usecs.

dict-client: Use io_wait_timer for tracking wait times.

This way the "dict wait" time includes all ioloop waits that wait on the
dict-client, not just in dict_wait().

lib: Added io_wait_timer

This allows easier tracking of how much time the io_wait_timer has been
spending on (multiple) ioloops.

lib: Code cleanup - move code to ioloop_add_wait_time()

lib: Fix ioloop wait times when io_loop_time_refresh() is used

doveadm: Put doveadm_mail_iter_init parameters to right order

lib-storage: Add vsize hdr on empty mailbox

doveadm-director: Include tag in add line

doveadm-import: Open source boxes read-only

This allows importing emails from read-only locations,
such as backups.

doveadm: Add open read-only parameter to mailbox iterator

This allows iterating mailboxes so that they
are opened for read-only.

stats: Add support for carbon-server

Allows admin to specify stats_carbon_server=ip:port.
Stats are delivered in "key value" format
to specified port. Can be received with e.g.
metronome.

lib: Add net_ipport2str

Converts struct ip_addr + port into either
127.0.0.1:6000 or [::1]:6000.

doveadm: Fix error reporting for doveadm-dump-dcrypt

lib: Assert-crash in i_close_fd() if fd == 0

lib-master now guarantees that fd==0 doesn't normally happen.

master: Remove redundant check to guarantee stdin/stdout/stderr fd existence.

The previous method also wasn't correct, since it was setting close-on-exec
flag for the fds. Although this didn't normally make any difference, since
stdin & stdout was explicitly dup2()ed to /dev/null and for all except the
log process stderr was also being dup2()ed.

lib-master: Make sure stdin/stdout/stderr fds are open.

We'll just open /dev/null for them if they don't already exist.

lib: Mark istream with eof=TRUE on all errors

Previously only i_stream_read() did this, but i_stream_seek(), _stat(),
_get_size() and _create() didn't. This caused assert-crashes on error
conditions in code which assumed that when stream_errno != 0, eof==TRUE.

lib-program-client: Do not call callback when destroying

dict-client: When dict-server times out, log ioloop/lock waits.

dict-client: Code cleanup to timeout handling.

No functional changes.

dict-client: Dict server timeout may have occurred too early.

lib-index: Improve error messages when transaction log is unexpectedly lost

dict-client: Forward dict_iterate_set_limit() to dict server

dict-client: Code cleanup - remember all iteration flags

lib-dict: Fix infinite loop when row limit is reached.

If dict_iterate_has_more() keeps returning TRUE, the caller keeps calling
dict_iterate().

sdbox: Fix crash on mailbox_sync*() when mailbox auto-open fails.

director: Don't access freed memory during deinit

director: Fix crash when receiving USER-MOVE for nonexistent user.

imap: Free box on error

Otherwise the box wil leak as it is not assigned
anywhere and can cause crash on imap exit due
to stats plugin timeout leak.

director: Keep per-tag directory

director: Code cleanup - typedef user_free_hook

This is done because user_free_hook needs to be
also used in mail_host. If it changes, this
reduces the places that need touching.

director: Code cleanup - Reorder includes

This is required to enable typedef of
user_free_hook

director: Code cleanup - moved username_hash generation to director.h

It's not really user_directory specific. This is especially important
in the following patches that add per-tag user_directories. It's also not
always known which tag the username_hash refers to, so there can't be
different tag-specific username_hash generators.

director: Code cleanup - added user director_iterate_users_*() wrappers.

This will shrink the diff for the following changes.

director: Code cleanup - use temporary users variables

This will shrink the diff for the following changes.

director: Code cleanup - moved code to notify_update_user()

director: const mail_host in mail_host_get_tag

lib: Add test vectors for message digests

lib: Add SHA3 hashing methods for 256 and 512 bits

lib: Move sha context and result size to new header

This is to prepare for SHA3 inclusion

lib-storage: Updated MAIL_SEARCH_ARG_FLAG_USE_TZ comment.

lib-storage: Fix doveadm search query parsing to use timezones correctly.

When using a date string, e.g. "senton 25-Mar-2007" it should work the same
way as IMAP does and show all mails whose sent date is on 25th, ignoring
whatever the timezone is in the Date header (or in case of received/saved-date
it would be using the timestamps in server's local timezone, again just like
IMAP).

When search with an exact UNIX timestamp or a time interval (e.g.
"3 days"), it should be using UTC times for doing all comparisons.

lib-storage: Reverse MAIL_SEARCH_ARG_FLAG_USE_TZ handling again.

It wasn't really wrong, it was just confusing. And doveadm's tz-handling
was wrong.

Reverses 059e4ac419224598349704b74cb9f6b49278df46

lib: Define ARRAY_TYPE for uint8_t, uint16_t and uint64_t.

auth: Use buffer_truncate_rshift_bits

lib: Add tests for hashed var-expand

lib: Add generic hashing support to var-expand

Enables use of

%{H;rounds=<rounds>,truncate=<bits>,salt=<salt>:field}

syntax in any variable expansion. H is any supported
hash algorithm or pkcs5 for PKCS#5 PBKDF2 using SHA256.

lib: var_expand() code cleanup - Moved short %v expansion to its own function.

lib: Add unit test for buffer truncate

lib: Updated buffer_set_used_size() comment and added unit test.

lib: Do not consume {} inside %{}

lib: Add buffer truncate

auth: Make static analyzer happier.

Don't complain about uninitialized static_password being sent to
passdb_handle_credentials(). It could only happen for failures, and
passdb_handle_credentials() wouldn't have used the password then.

fts: Fix error message when syncing FTS root mailbox fails.

lib: ioloop-notify-kqueue wasn't storing source filename.

lib-http: test-http-client-errors: Add test for server that returns error status early while client is still sending blocking payload.

lib-http: client: Fixed assert failure occurring when server returns error status early while client is still sending blocking payload.

lib-http: Added blocking client support to test-http-client-errors.

lib-http: Fixed potential segfault problem in test-http-client-errors.

Found by Coverity.

lib-http: Added DNS-related tests to test-http-client-errors.

lib-http: client: Destroy host and associated queue objects after no more requests remain and an idle timeout expires.

lib-http: client: Implemented host name lookup TTL.

Host name lookups will now be performed again when the results have expired.
Without access to TTL information from DNS lookups, all lookups will use the same default TTL for now.

lib-http: client: Added http_client_queue_requests_active().

It counts how many active requests a queue has.

lib-http: client: Create queue->pending_peers array from the beginning.

This simplifies the code, since the pending peers array is always used.

lib-http: client: Link peers to queue earlier: during connection attempts.

This makes sure that queues keep track of which peers are doing stuff on its behalf.
This is important to be able to manage the active peers when a new host name lookup was performed; if a peer is no longer listed in the returned IPs it should be dropped.

lib-http: client: Created http_client_peer_drop() function that closes a peer object gracefully.

It checks whether any connections are still present.
It checks whether a backoff timer is still active.
This change and subsequent changes prepare for being able to destroy a queue when it becomes unused.
All peers linked to such a queue are unlinked and dropped when inactive and unlinked.

lib-http: client/server: Enable the TCP_NODELAY option for all connections.

This disables the TCP Nagle algorithm. With the Nagle algorithm enabled, TCP waits a little to accumulate more data in a small segment before it is sent. For transfer of large continuous payloads, this is not useful and even harmful.
If the final remaining bit of the payload is small, the TCP layer will wait for a significant amount of time at the end of the payload. For many sequential transfers, this amounts to much waiting time.
This is particularly evident in the test-http-payload test suite tool. Setting TCP_NODELAY decreases its run time from up to 20 minutes to about half a minute my system.

lib: Created net_set_tcp_nodelay(), which enables the TCP_NODELAY socket option.

This disables the TCP Nagle algorithm.

lib-http: client: Improved labeling of debug messages.

Request label is corrected.
Labels are now pre-composed and stored.

lib-http: server: Implemented means to gracefully shut down the server.

While shutting down, it will not accept new requests and connections are closed once they become idle.

lib-http: client: Added ability to configure a specific proxy for individual requests.

This way, a request can be routed to a specific proxy (or origin server). The destination can also be a unix socket.

lib-http: client: Added pure attribute to some of the request property functions.