configure: Detect SSL_COMP_free_compression_methods() by linking

Fixes using libressl.

lib: Added assert to iostream-temp

Input stream isn't expected to shrink here. Potentially this could be
changed to an error instead.

lazy-expunge: Fixed crash when copying from internal namespace

Most importantly fixes crash in LDA.

dict-ldap: Fixed linking with OSX

auth: Compiler warning fixes

auth-policy: Hook auth policy to auth code

auth-policy: Add policy implementation

fts plugin: Added fts_autoindex_exclude settings.

fts_autoindex_exclude setting specifies special-use flag or mailbox name to
be excluded.

 - If a name starts with '\', it's treated as a case-insensitive special-use
flag.

 - Multiple names can be specified with serial numbers, for example:

  plugin {
    fts_autoindex_exclude = \Junk
    fts_autoindex_exclude2 = \Trash
    fts_autoindex_exclude3 = DUMPSTER
    fts_autoindex_exclude4 = New folder
  }

lib-dcrypt: Make static analyzer happier

dcrypt: Add tests for v1 and v2 public keys and RSA

dcrypt-openssl: Various fixes

Fix v1 and v2 key handling and some allocation issues.

lib-dcrypt: Added sample-v1_short.asc to EXTRA_DIST

istream-decrypt: Ensure we can open short v1 files

istream-decrypt: Correctly check the header length for v1

last-login: Ignore the plugin if last_login_dict setting is empty

lib-ssl-iostream: Use ENGINE_set_default()

lazy_expunge: Optimize checking for last instance when moving a mail.

It's never the last instance, so we don't need to even check it.

fts-lucene: Fixed crash on error or auto-rebuild conditions.

welcome plugin: -Wstrict-bool warning fix

LAYOUT=index: Existence or GUID lookups don't need to refresh mailboxes.

lib-storage: Added a kludgy quick-"parameter" to list_index_has_changed()

LAYOUT=index: Avoid unnecessary work for setting \Marked flags in LIST reply.

If MAILBOX_LIST_ITER_RETURN_NO_FLAGS is set, the caller doesn't care about
the flags.

lib-dcrypt: dcrypt_keypair_generate() no longer assumes pair_r to be initialized.

It wasn't clear that it should have been zeroed. It also likely isn't very
useful to be able to place the generated key to existing keys.

lib-dcrypt: Check for all the return values in unit tests

lib-dcrypt: Added missing error handling.

Most of these are probably unnecessary now that malloc() no longer fails.
Also some of the NULL checks may not be needed since OpenSSL functions
(usually?) return failure on NULL parameters, but sometimes they perform
a different operation. So overall, probably safer to include these checks.

lib-dcrypt: Don't ignore BIO errors.

Might happen due to out of memory?

lib-dcrypt: dcrypt_key_type_public/private() can no longer fail.

Removed unnecessary failure handling.

lib-dcrypt: dcrypt_key_convert_private_to_public() can no longer fail.

Removed unnecessary failure handling.

lib-dcrypt: Assert-crash if key parameter is NULL.

If it happens, it's a bug.

lib-dcrypt: Assert-crash if impossible private/public keys are seen.

doveadm fs delete: Allow multiple paths also with -R parameter.

doveadm: Fixed --long-parameters handling

dbox: Optimize POP3 MAIL_FETCH_UIDL_BACKEND.

We keep track of the highest UID known to have POP3 UIDL in index's header.
If saving adds a newer message, it'll also update the header. When fetching
UIDL_BACKEND, we can need to check only mails with lower UIDs. There are
some race conditions here, but normally UIDLs are set only once during
migration so it shouldn't matter.

Added welcome plugin.

doc: fix wrong tense in doveadm-expunge man page

fs-posix: Allow ":" as well as space as parameter separator.

This makes it consistent with all the other fs drivers.

fs-posix: Added "dirs" parameter to enable explicit directory removal.

fs-posix: Autodelete directories also when "prefix" parameter is used.

lib-storage: Add autoexpunge_max_mails configuration to autoexpunge

Mails are expunged until mail count is at autoexpunge_max_mails or below.

In below example, autoexpunge will expunge 1 mail when message count > 100
and *then* try to expunge mails that are still older than 2 minutes:

namespace {
  ..
   mailbox Trash {
     autoexpunge = 2 mins
     autoexpunge_max_mails = 100
   }
}

lib-dict: Explicitly specify used dict_vfuncs methods for drivers.

This allows adding more methods without modifying all the existing drivers.

lib-fts: add unit test to fts_tokenizer_delete_trailing_partial_char()

lib-fts: allow hyphen character in domain part

Allow hyphen character and remove possible trailing hyhpen character
when email tokenization is done.

lib-fts: remove trailing period character from email-address

any trailing period character '.' should be removed when email
tokenization is done.

lib-test: add test_assert_failed_strcmp to expose strings.

the macro is used to facilitate any test to show string comparision
contents when they doesn't match.

Makefile: Added run-test-valgrind.supp to EXTRA_DIST

Updated run-test-valgrind.supp

lib: file_create_locked() - Unexpectedly deleted temp file is error.

This shouldn't happen and we shouldn't be silently retrying if it does.

Added valgrind suppression for OpenSSL <v1.0.2

This one works at least for CentOS 6. Because the OpenSSL library is
loaded as a plugin and unloaded before exit, valgrind sees only "???"
as the addresses. That's why we're using "obj:*". But the number of
obj:* lines is also important, so this may not work everywhere.

openssl: Use our own malloc()/realloc() that will die on out-of-memory.

This is likely safer rather than caller thinking for example that some input
is invalid when it's only a temporary memory allocation problem.

lib-dcrypt: Allow specifying crypto_device (OpenSSL engine).

lib-dcrypt: Added library dependencies to unit tests

lib-dcrypt, lib-ssl-iostream: Share OpenSSL init/deinit code.

lib-dcrypt: Fix to backend module loading.

Especially don't die if we fail to load the module.

lib-http: server: Created test program that tests error conditions.

Currently it is very limited, but it is due to be extended soon towards testing most common error conditions.

lib-http: Restructured Makefile.am to have less duplicated lines for the test suite.

lib-http: server: Added settings to configure the connection's socket kernel buffer sizes.

This is mainly useful for use in the lib-http test suite.

lib-http: server: Make sure provided connection FDs are non-blocking.

lib-http: server: Wrap request payload in a timeout input stream.

The server cannot reset the timeout properly while the payload is being read by the application.
The HTTP client solved this same problem by identical means.

lib-http: server: Fixed handling of idle timeout when request just starts processing on the server.

lib-http: server: Added more detailed debugging about when idle timeouts are started/stopped.

lib-http: client: Added tests for manual handling of connection loss retries to test-http-client-errors.

lib-http: client: Implemented no_auto_retry setting that disables all automatic request retries.

This currently only applies to requests sent over a connection that is subsequently lost before a response is received.
Before, such requests were always implicitly resumbitted for a new connection, without the application knowing about it.
By enabling the no_auto_retry client setting, the application is always notified of connection loss through the request's response callback.
As a consequence, requests need to be retried explicitly using the http_client_request_try_retry().

lib-http: client: Allow retrying requests that failed internally.

lib-http: client: Added test for http_client_request_delay_msecs() in test_http_client_errors.

lib-http: Improved error logging for net_set_*_buffer_size() failures.

lib-http: client: Created test program that triggers most possible error conditions.

lib-http: test-http-payload: Added tests for the use of nested ioloops.

lib-http: test-http-payload: Added cleanup code to make sure no child processes get orphaned at failures.

Also handles SIGSEGV and SIGABRT.

lib-http: test-http-payload: Added -D option to easily enable debug mode.

lib-http: test-http-client: Callback is not called for explicitly aborted requests.

Test request context was not freed in that case.

lib-http: client: Fixed bug in handling of lost connections while returning from another ioloop.

At one instance the http_client_connection_is_ready() function could have destroyed the connection while the caller still depended on it.
Renamed the http_client_connection_is_ready() function to http_client_connection_check_ready().
This now returns -1 when the connection got destroyed. Before it returned a bool that just indicated whether the connection was ready or not.
So, there is no need anymore to preserve a connection reference while calling this function.

lib-http: client: Reworked connection close handling.

Now, the peer is immediately notified of the lost connection.
Before, this step was only taken when the connection was fully dereferenced.
To prevent recursive notifications between peer and connection, handling the loss of a connection is deferred to the request handler.
When a peer is freed, any associated lingering connections have conn->peer set to NULL.

lib-http: client: Prevent useless and unexpected request callbacks during http_client_deinit().

Requests are now destroyed before queues, hosts, peers and connections.
As a side-effect, requests are now removed from the client request list at http_client_request_destroy(), so that requests with lingering references will no longer make http_client_wait() hang.

lib-http: client: Added settings to configure the connection's socket kernel buffer sizes.

This is mainly useful for use in the lib-http test suite.

lib: Implemented net_set_send_buffer_size() and net_set_recv_buffer_size().

These functions allow manipulating the kernel socket buffer sizes for a socket file descriptor.

lib-http: client: Removed curiously duplicated code.

Probably a patch got applied with sufficient fuzz that it duplicated this code fragment, while it actually already existed.

lib-http: client: peer: Improved debug message that shows the loss of a connection.

lib-http: client: Made peer object reference-counted to prevent invalid memory access in request handling routine.

Resetting the peer->handling_requests flag risked triggering a segfault, since the peer object could be deleted from within the request handler loop.

lib-http: client: Improved request reference counting in connection code.

It should now always be clear when the connection object holds a reference to a request and when it is released.
Only while the reference is held, req->conn points to a connection.
This also makes the assertion in http_client_request_unref() more robust and clear.

lib-http: client: Fixed reference counting for requests that are aborted due to an early server response.

An additional http_client_request_unref() is (now) unneccessary.

lib-http: client: Fixed reference counting for requests that are aborted due to having a broken outgoing payload stream.

lib-http: Changed http_client_request_error to set request to NULL

It's going to internally unreference it, so the caller should be aware of it
also.

I also changed request state check to be an assert, since I don't think
there's any safe way this could work otherwise.

lib-http: response parser: Added check for the range of the response status value.

A value of 666 was accepted inappropriately.

lib-dict-extra: Compiler warning fix

lib-dict: Added dict_switch_ioloop()

lib-dict: dict-client rewrite to support async operations

lib: Added t_str_tabunescape()

lib-dcrypt: Use a more supported EC curve in unit test

Fixes running the test on CentOS 6.

lib-index: Don't break indexes on syscall failures during index refreshing.

Especially mmap() failures due to out of memory could have triggered this.
We treated the open as successful, which meant that an empty index was
opened.

lib-dcrypt: Fixed running unit tests in build directory.

mailbox-alias: Fixed renaming mailboxes when the plugin is loaded.

lib-dcrypt: Fixed memory leak in test-crypto unit test

doveadm dump: Updated obox's oid output.

lib-http: client: Added more debug logging about the submission of delayed requests.

time-util: Fixed usec comparison in timeval_cmp_margin().

lib-dcrypt: Fix error_r pointer verification.

lib-fs: Added write_bytes to statistics

[LEN] to [static LEN] on some function parameters

Also add STATIC_ARRAY macro to hide it in c++ compilation.

dcrypt: Arm deinitialization code

dcrypt: Add test for public key loading