lib-fts: Add randomness test to test-fts-tokenizer

lib-fts: Make sure address tokenizer can't return empty tokens.

This happened when address was a token that first looked like it could be
a valid address, but then got truncated due to reaching maxlen, followed
by truncating the UTF8-sequence and finally all the rest of the '-' or
'.' chars that were valid at the beginning of the address are stripped
away by fts_tokenizer_delete_trailing_invalid_char(), leaving nothing left.

Fixes:
Panic: file fts-tokenizer.c: line 206 (fts_tokenizer_next): assertion failed: (ret <= 0 || (*token_r)[0] != '\0')

lib-fts: Fix fts_tokenizer_delete_trailing_partial_char() unit test

lib-index: Handle invalid headers as "corruption", not "temporary error"

This is especially required for "Header's corrupted flag is set" error,
which won't get fixed otherwise.

It's a bit more questionable if we should treat major version or CPU
architecture change as corruption, but it's possible those only exist
because of corruption. It's also very unlikely that either is really
happening. Ideally there would be a hash that verifies whether the
header is corrupted or not.

dict-client: dict_lookup*() deleted the first byte of the result.

quota-clone: Flush quota-clone 10s after quota update if it's not already done

This way a long-running IMAP session can't keep the quota-clone desynced
for a long time.

quota-clone: Code cleanup - moved recursion check to quota_clone_flush()

lib-dict: Add extra NULL-check to make static analyzer happier

str_array_length() already checked NULL internally though.

lib-index: Limit mmap errors in txn log file to 1/s

lib-index: Limit mmap errors in index cache to 1/s

lib-index: Limit mmap syscall errors in index to 1/s

lib-index: Do not crash if log is missing

Fixes sigfault when index and index.log files are
corrupted.

dict-client: Server can now send command replies in any order.

This way one slow lookup doesn't block all the other ones.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict: Make sure iterate doesn't add to ostream when it's already full.

dict: Moved iterate's corking to more correct location.

Commands' input handling already corks ostream in connection.c.

dict-client: Include reconnection-status in slow dict lookup messages.

dict-client: Add warn_slow_msecs setting

This allows configuring the default 5 seconds "slow dict lookup" warning.

dict-client: Add time spent in dict-server to "slow dict lookup" messages.

This way you can see if the slowness was due to some communication problem
between dict-client/server or internally in dict server.

This change keeps backwards compatibility in the dict protocol for both
client and server.

dict-client: Code cleanup - handle tab-unescaping before callbacks.

lib-index: Revert log flooding prevention / 3c014db6f

This was intended only for mmap() errors.

fts: Fixed potential crash when indexing mails.

Normally it seems like compilers had built code that had added a NULL
after the array, but there was no guarantee for that.

imap: Fix recent flags importing when un-hibernating

The initial RECENT counter that was sent didn't include pre-hibernation
\Recent flags.

\Recent flags were also added for mails that were already expunged, which
could have caused recent counter to be wrong later on, and possibly
assert-crash with:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

lib-index: Improve errors - return reason in mail_transaction_log_refresh()

lib-index: Improve errors - return reason in mail_transaction_log_file_open()

lib-index: Add more information to "Missing middle file" error.

lib-index: mail_transaction_log_find_file() - remove wrong optimization.

When opening the index, it's possible that:

process A: .log is opened with seq=1
process B: Rotates the .log and writes a new dovecot.index with
  log_file_seq=2
process A: dovecot.index is opened. mail_transaction_log_view_set() now
  wants to file log_file_seq=2 with mail_transaction_log_find_file(), but
  because open_count==0, the .log isn't refreshed.

lib-index: Compiler warning fix

lib-index: If mmap() fails, include the attempted size in the error.

lib-storage: Fix checking stub_seq failure in mailbox_save_set_uid()

sdbox: Implement support for mail stubs

lib-storage: Add support for storing "mail stubs"

These allow treating a storage backend as a cache where the mail bodies
don't necessarily exist.

lib-storage: Fixed a boolean expression.

Problem found with clang -Wstrict-bool.

lib-storage: treat empty root_dir as an empty string

imapc: %zu isn't standard, use PRIuSIZE_T instead.

imapc: don't mix positional and designated initialization

lib: Add connection.allow_empty_args_input

This simplifies input_args() callbacks since they don't always have to check
for args[0] == NULL. This is enabled by default, because none of the current
users want it and it's somewhat unlikely there even will be those in future.

lib-storage: fix index_mail_get_headers return value

And make it more obvious that we're not setting the actual return value in
index_mail_get_first_header.

lib-index: Fix detecting whether caller synced everything in mailbox.

When mailbox_index_sync_begin() was followed by _commit(), without _next()s
in the middle actually syncing the mailbox, the tail_offset was updated to
indicate that the mailbox was fully synced. Existing code didn't rely on
this, so it probably didn't break anything.

This code hasn't worked for a long time, because log_view is always read
fully to the end in _sync_begin().

lib-storage: Add mail_storage_service_user_get_pool()

global: Replace some settings_parse_line() calls with settings_parse_keyvalue()

lib-settings: Add settings_parse_keyvalue()

lib-settings: Avoid duplicating settings' values when not needed

imapc: Use struct mail_namespace.user_set

lib-storage: Add mail_namespace_get_driver_settings() and use it.

It obsoletes mail_storage_get_driver_settings().

imapc: use serialized settings as unique_root_dir

Without this, it is not possible to instantiate multiple imapc storages.
Any attempts to will result in multiple namespaces sharing the same storage,
regardless of if that was the intention.

lib-storage: Add struct mail_namespace.user_set

lib-storage: Use mail_namespace_alloc() for mail_namespaces_init_location()

Based on patch by Jeff Sipek

lib-storage: Add mail_namespace_alloc()

This makes it easier to create new namespaces.
Based on patch by Jeff Sipek

lib-storage: Add asserts to make sure mailbox_header_lookup_ctx is used correctly.

lib-index: Added mail_index_transaction_get_highest_modseq()

lib-index: Added internal mail_index_transaction_finish_so_far()

This can be called multiple times before mail_index_transaction_finish().
It's going to perform all the work of reordering mails and dropping
unnecessary changes that can be done before changing sequences to UIDs.

This will be needed for the following patch that implements
mail_index_transaction_get_highest_modseq().

lib-index: Assert if mail_index_transaction_sort_appends() sees any uid==0

Every mail must have an UID at this stage.

configure: Fix build with old OpenSSL without SSL_clear_options

SSL_clear_options was introduced in OpenSSL 0.9.8m but may be
backported to older versions in "enterprise" OS releases, so a version
check is insufficient here.

It was originally implemented as a macro but is a function in more
recent OpenSSL versions, so a test that works for both cases is needed.

lib-index: Make sure an already-corrupted index/log isn't written

imapc: Fix assert-crash when deleting mailbox triggers mailbox_get_open_status().

For example vsize header updating triggers this.

Fixes:
Panic: file mail-storage.c: line 1683: unreached

lib-storage: Fix compiler warnings about enum mismatches

LAYOUT=index: Try to rename corrupted mailbox name during mailbox open.

lib-storage: Added struct mailbox.corrupted_mailbox_name

This allows backends that are adding lost mailboxes to mailbox list index to
indicate that they don't actually know the name of the mailbox, and the
mailbox list index should try to figure it out and rename the mailbox to its
proper name.

LAYOUT=index: Don't write corrupted mailbox names to box-name header.

This way when opening a mailbox the box-name header isn't overwritten by
a corrupted name.

Keep track of the corrupted names with MAILBOX_LIST_INDEX_FLAG_CORRUPTED_NAME
flag in list index records. The flag isn't removed until the mailbox is
renamed.

lib-storage: Preserve box-name header when rebuilding index.

doveadm dump: Add support for the new box-name index header.

LAYOUT=index: Update mailbox name to mailbox index's header when opening.

This way if the mailbox list index gets lost, a recent mailbox name is still
available.

lib-storage: Prevent renaming mailbox under itself.

This resulted earlier in a loop, which broke the mailbox index.
Note that IMAP already prevented this, so it could only be triggered by
other tools, like doveadm.

lib-storage: Prevent parent loops in mailbox list index

lib-storage: Fix invalid parents in LAYOUT=index

Previously it just kept complaining without fixing the errors.

lib-storage: Improve mailbox list index corruption errors

lib-storage: If LAYOUT=index loses mailbox names, write the generated ones to index.

Previously it just kept complaining and regenerating new names, without
actually fixing up the situation.

lib-storage: Fix handling LAYOUT=index losing mailbox names

It lost all the mailbox names.

config: Match local_name using dns-util

This way it correctly handles wildcards.

lib-dns: Add tests for dns-util

lib-dns: Add DNS specific matching algorithms

RFC4343 and RFCRFC4592 compare and match algorithms

master: Fix compiling with systemd after /dev/null changes

configure: Removed AC_CONFIG_MACRO_DIR([m4]) for now

Fixes:
libtoolize: AC_CONFIG_MACRO_DIR([m4]) conflicts with ACLOCAL_AMFLAGS=-I ..

imap: Use correct format specifier for highestmodseq

Makefile: Add -I . to ACLOCAL_AMFLAGS

Without this when aclocal is automatically run it doesn't generate a working
configure.

lib-index: Fix flushing NFS if minimum wanted transaction log file is lost

imap: Add details why unhibernation failed

This can help understanding why client
failed to unhibernate.

global: Use fd_close_maybe_stdio()

lib: Add fd_close_maybe_stdio()

The idea is that this should be used whenever closing fds that may be 0 or
1. If they are closed normally, the following code may end up using 0/1 fd
for other purposes, which could cause problems.

global: use dev_null_fd instead of opening /dev/null

master: Don't unlink login sockets at startup if someone is listening to them.

The original check there never worked, because null_fd was always set.

Normally the master.pid file would prevent this happening, but if it didn't
exist, the sockets would be unlinked and usually also created back.

lib-master: Revert redundant stdin/stdout/stderr fd checks

This is now done by lib_init() in a bit nicer way.

Reverts 08923d2c956ece3dc604d5842ba152c2bdb11fb9

lib: Make sure stdin/stdout/stderr have fd at startup and keep /dev/null always open

This guarantees we will always have a fd that can be used as /dev/null.
It works even inside chroots.

Fix -Wstrict-bool compiler warnings.

doveadm-save: Check stream errno before save

This is to ensure the file has been really opened.

Manually cleanup OpenSSL from dovecot_openssl_common_global_unref()

OpenSSL 1.1 features a cleanup function that is automatically run on shutdown
using atexit(3). This function frees all OpenSSL-allocated resources.

In dovecot, OpenSSL is loaded indirectly using dlopen(3) against the relevant
dovecot crypto module and is finally unloaded using dlclose(3). Until
OpenSSL 1.0.1c this worked fine, however OpenSSL 1.0.1c makes sure[1] that the
library stays loaded after the initial dlclose() so that the atexit(3)
handlers can run on shutdown. This, together with the fact that dovecot
uses custom allocation functions for OpenSSL and has already partially
free()'d some of OpenSSL's resources in module_free(), leads to a
segfault at process shutdown[2].

We fix this by explicitly calling OPENSSL_cleanup() during module unload. This
is safe to do, as long as we will never want to subsequently re-initialize
OpenSSL.

[1] https://github.com/openssl/openssl/commit/4af9f7fe79ff82b90c16969b7e5871435056377b
[2] https://buildd.debian.org/status/fetch.php?pkg=dovecot&arch=amd64&ver=1:2.2.26.0-2&stamp=1478873022

Signed-off-by: Apollon Oikonomopoulos <apoikos@debian.org>

ssl: fix reference to SSLv2 and disable SSLv3

This is driven by the fact that OpenSSL 1.1 does not know about SSLv2 at
all and dovecot's defaults simply make OpenSSL error out with "Unknown
protocol 'SSLv2'"[1]. So we change the defaults to refer to SSLv2 iff OpenSSL
seems to know something about it.

While at it, it's also a good idea to disable SSLv3 by default as well.

[1] https://bugs.debian.org/844347

Signed-off-by: Apollon Oikonomopoulos <apoikos@debian.org>

lib-http: Use io_wait_timer for tracking wait times.

The previous code was completely incorrect, since it wasn't even tracking
the HTTP request's start usecs.

dict-client: Use io_wait_timer for tracking wait times.

This way the "dict wait" time includes all ioloop waits that wait on the
dict-client, not just in dict_wait().

lib: Added io_wait_timer

This allows easier tracking of how much time the io_wait_timer has been
spending on (multiple) ioloops.

lib: Code cleanup - move code to ioloop_add_wait_time()

lib: Fix ioloop wait times when io_loop_time_refresh() is used

doveadm: Put doveadm_mail_iter_init parameters to right order

lib-storage: Add vsize hdr on empty mailbox

doveadm-director: Include tag in add line

doveadm-import: Open source boxes read-only

This allows importing emails from read-only locations,
such as backups.

doveadm: Add open read-only parameter to mailbox iterator

This allows iterating mailboxes so that they
are opened for read-only.

stats: Add support for carbon-server

Allows admin to specify stats_carbon_server=ip:port.
Stats are delivered in "key value" format
to specified port. Can be received with e.g.
metronome.

lib: Add net_ipport2str

Converts struct ip_addr + port into either
127.0.0.1:6000 or [::1]:6000.

doveadm: Fix error reporting for doveadm-dump-dcrypt