lib-dcrypt: Don't link liblib.la to libdcrypt_openssl.so

At best this does nothing, at worst (like with OSX) it duplicates the
entire liblib and creates split state between the two instances.

lib-dcrypt: If dcrypt can't be initialized, log also the reason.

This is very helpful when debugging linking issues.

lib-ssl-iostream: Detect whether to call ERR_remove_[thread_]state() via configure

lib-ssl-iostream: Call OBJ_cleanup() for all OpenSSL versions

Just to reduce the #if checks that uglify the code.

lib-ssl-iostream: Detect OPENSSL_cleanup() via configure

It's ugly to have both OpenSSL version number check and a special LibreSSL
check.

lib-ssl-iostream: Detect OpenSSL memory functions' parameters via configure

The version number check doesn't work correctly for LibreSSL.

lib-ssl-iostream: Use ASN1_STRING_get0_data() if it exists

This avoids deprecation warnings about ASN1_STRING_data() in OpenSSL v1.1.

lib-ssl-iostream: Use RSA_generate_key_ex() if it exists

This avoids deprecation warnings about RSA_generate_key() in OpenSSL v1.1.

dict-sql: Move USING TIMESTAMP to correct location for INSERTs

auth: Pass through passdb extra fields to auth-worker requests

auth: Code cleanup - Move userdb extra fields exporting to its own function

lib-storage: Expunging now uses GUID only if it's in cache.

Otherwise the GUID lookup may be expensive, which is especially bad when
deleting a large number of mails.

lib-storage: Fix autoexpunge locking to actually work correctly.

It wasn't actually skipping the autoexpunging if the lock already existed.
It autoexpunged anyway.

fts: Use mailbox_list_created hook

Otherwise the deinit hook might get lost and fts would not be deinitialized.

Reverts 11f12ca1c97583b551a4286fa6cd1ab33aa67680 which seems to have been unnecessary

Fixes indexer-worker signal 11 crash

lib-storage: Once hooks have run, set vlast to NULL to make sure it's not used

The functions can't be correctly overridden outside their own specific
hooks. It would work only if hook_build_update() is called afterwards and
currently there's no public API for that.

lib-storage: Put vsize in index only if it's not there

lib-storage: Add assert to make sure header parsing isn't recursed

lib-http: client: Fixed peer reconnection failure handling.

The addressed problem occurs in a very specific situation in which the original successful connection is dropped, yet a new connection fails.
It manifests as an assertion failure or panic:

Panic: file ioloop-epoll.c: line 189 (io_loop_handler_run_internal): assertion failed: (msecs >= 0)
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

The timing is very critical. However, this doesn't mean that the occurrence of this problem is very unlikely; it can happen frequently under high load.

lib-http: client: Respect the connection idle timeout, even when all queues have unlinked from a peer.

Otherwise, the DNS TTL timeout dictates the connection idle timeout in some situations.

dict: Fix error logging if TIMESTAMP parameters are wrong.

dict-sql: Add missing USING TIMESTAMP for DELETE queries

imap: Fix panic on FETCH X-MAILBOX in virtual mailbox when mail is expunged

lib-http: server: Fix premature connection destroy in http_server_connection_output().

Added a reference to the connection object while it is sending the remainder of a response's payload.
This is necessary, since http_server_response_send_more() can destroy the connection, for example when the request has a "Connection: close" header.
This will only occur for responses with a very large payload, because otherwise the payload is fully sent in in the initial pass.

lib-storage: When logging corrupted mail size, disable logging Message-ID for now

This was causing crashes in some situations. It was originally added to
figure out if there were problems with dovecot.index.cache containing
data for wrong messages. This was never found to happen, although now
thinking about it, the problem may have been
741287129c22cadc14c05584704685b31169dbce. So perhaps this code could be
removed permanently as well.

6b44fc75c0039d1006ce4d543544552449b8e229 also attempted to fix this, but it
wasn't enough. There was still some code path that lead to recursive header
parsing.

lib-storage: Set vsize extension when copying mails.

lib-storage: Add index_mail_get_vsize_extension()

lib-storage: Move index_mail.vsize_ext_id to mailbox.mail_vsize_ext_id

It's mailbox-specific, so it doesn't have to be looked up every time.
Also this is needed for the following fix.

imapc: Allow using LAYOUT=none without crashing.

imap: Don't unregister internal commands at deinit.

This allows plugins to unregister commands without errors being logged.

lib-storage: Lock autoexpunging so only a single process does it.

This hopefully helps to avoid duplicates with lazy_expunge plugin.

imap: Use struct mailbox_status.flags for FLAGS reply

lib-storage: Add struct mailbox_status.flags

This is similar to permanent_flags, except it tells which flags can be
changed at all in the session. Mainly it allows plugins to make changes to
IMAP's untagged FLAGS reply.

lib: io_loop_set_current() - do nothing if ioloop doesn't change

There's no need to call the switch callbacks if the ioloop doesn't change.

doveadm: add doveadm_http_rawlog_dir setting

lib-fts: Fix assert-crash in fts_icu_lcase()

Fixes:
Panic: file fts-icu.c: line 152 (fts_icu_lcase): assertion failed: (err != U_BUFFER_OVERFLOW_ERROR)

lib-storage: Fix comparison to use virtual size instead of body virtual size

Was forgotten on 7f1ecb14

lib-index: Don't log error on dovecot.index.cache delete if it doesn't exist

For example if a cache is marked as corrupted and there is no cache, it's
not really an error that it doesn't exist.

Fixes:
Error: unlink(.../dovecot.index.cache) failed: No such file or directory (in mail-cache.c:29)

lib-storage: Filling vsize to index on read used wrong size

lib-storage: Clear virtual size from index if size is corrupted

fts: Fix search query generation when tokens are filtered out.

For example with English stopwords when searching "foo and bar" it should
be equilevant to "foo bar", since "and" is filtered out.

director: "doveadm director move" to same host now refreshes user's timeout

This allows keeping user constantly in the same backend by just periodically
moving the user there.

dict-sql: Do not increment on set

When merging sets do not use increment mode in builder.

dict-sql: Fix iterator to not fail

When iterating a prefix without exact key flag,
do not fail when no more maps are matched if at least
one map has already matched.

Fixes
Error: dict_iterate_deinit failed: sql dict iterate failed for ...: Invalid/unmapped path

dict-sql: Error handling fix & code cleanup

Only the first sql_dict_iterate_next_query() error was handled correctly.

lib-sasl: Fix oauthbearer compatibility with 2.2

lib-http: client: Fixed handling of errors occurring for unsubmitted requests during http_client_request_send_payload().

When http_client_request_send_payload() is executed for the first time, the request is submitted.
Errors occurring during submission don't trigger a callback immediately.
Instead, these are queued in the client and will trigger a callback when an ioloop is run with the client.
However, in http_client_request_send_payload() the ioloop is never executed when the request fails that way, meaning that
the callback was never called. Since for example SOLR assumes the callback is always called for an error in
http_client_request_send_payload(), this causes all kinds of problems.

Fixed by manually handling the delayed request errors in http_client_request_send_payload() explicitly.

lib-sasl: Add OAUTHBEARER and XOAUTH2 mechanism

lib-sasl: Add API for setting and getting extra values

This allows setting extra parameters for authentication
and recovering extended result information from
mechanism.

imapc: Fix assert-crash on some connect failures

imapc_storage_has_modseqs() causes imapc_client_get_capabilities() to be
called, which assert-crashes if there isn't a valid connection:

Panic: file imapc-client.c: line 438 (imapc_client_get_capabilities): assertion failed: (conn != NULL)

director: Add more debug logging for moving & killing users

director: Fix USER-MOVE getting stuck if a director already uses the correct host

director: Ignore doveadm user move if host is already the same.

director: Make sure USER-KILLED isn't sent before USER-MOVE

If USER-MOVE was for a user that didn't exist, killing sent USER-KILLED
immediately before the forwarding USER-MOVE. This caused the move to get
stuck, giving errors like:

director: Error: Finishing user 3224731354 move timed out, its state may now be inconsistent (state=waiting-for-everyone)

director: Add assert to make sure USER-MOVE doesn't change tag

lib-storage: Copy cache decisions from inbox on create

Otherwise the decisions are definitely wrong, since
they are nonexistent. Copying from INBOX would make sense.

lib-index: Add mail_cache_decisions_copy

This allows priming cache decisions for a folder.

lib-index: Unconstify mail_cache_register_get_list

This way the result is usable as input for
mail_cache_register_fields.

lib-storage: Fix mailbox's vsize header check for mailboxes not in dovecot.list.index

If mailbox wasn't yet in the dovecot.list.index, mailbox_list_index_status()
for it returns FALSE and doesn't initialize the status. In some situations this
may have caused a non-empty mailbox's vsize to be returned as 0.

lib-http: client: Make sure req->conn is only not NULL when that connection holds a reference to that request.

This consolidates the management of req->conn to one place, thereby preventing mishaps.
It makes sure req->conn is always properly assigned, making it more reliable.
This fixes a problem that emerged in the http-proxy.

lib-http: client: Keep connection reference throughout http_client_connection_return_response().

Before, it was held in two intervals.
Next commit requires this change, but it also simplifies this function significantly.

master: Remove unnecessary service listener start

The listening was already started later on in the same function. Also
in some cases it would have been started unnecessarily, like when service
was stopped or more processes were created immediately.

index: don't try to unlink in-memory cache file

Avoid these errors:

Error: unlink((in-memory index).cache) failed: No such file or directory (in mail-cache.c:29)

doveadm direcor add: Fix checking number as hostname.

521c0460fe705f32ea6899c8b1f101043fe0898c was completely broken.

doveconf: Don't read freed memory.

Giving -c parameter frees the returned orig_config_path.

doveadm direcor add: Don't accept number as a valid hostname.

This is usually a mistake. For example "doveadm director add -t host 100"
shouldn't be adding a new IP 100 (0.0.0.100)

stats plugin: Fix /proc/self/io fd leak on plugin deinit

This could have been a problem with doveadm-server processes if they had
service_count>1, because doveadm unloads all plugins between commands.

doveadm: Outgoing dsync TCP connections leaked socket

If doveadm-server was running with service_count>1, each dsync run leaked a
socket.

lib-dict: Compiler warning fix

dict-sql: Fix flushing

Remove flushing from set, and add it to unset. Fixes
signal 11 crash caused by infinite recursion.

dict-file: Fix potential crash when doing other dict calls during iteration.

If file was refreshed, the hash table was cleared, which broke the existing
iterators.

lib-dict: Add assert to make sure all iterators are deinitialized.

lib: Add asserts to make sure hash table isn't freed while it's frozen.

fts-solr: Escape {} chars when sending queries

Fixes:
java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986

Based on patch by Michael Welsh Duggan

lib-http: server: Do not generate a payload for a failure response for a HEAD request.

lib-http: server: Prevent sending response payload when it is not allowed by the specification.

For a HEAD request, the payload is omitted, but the associated headers are generated.
For the other cases, an assert failure is now triggered.

lib-storage: Add vsize extension to index

Keep virtual size in index, instead of cache
when it's less than 2^32-1. This helps when
cache becomes corrupted, and goes away, we
still have virtual sizes for quota calculations.

lib-storage: Fix assert-crash on mailbox_copy/move() failure

If mailbox_save_cancel() was being called outside mail_storage_copy()
it assert-crashed:

Panic: file mail-storage.c: line 2168 (mailbox_save_context_reset): assertion failed: (ctx->copying_via_save)

lib: Minor panic message improvement.

lib-storage: If namespaces weren't successfully created, don't autoexpunge at deinit.

lib-storage: Add struct mail_user.namespaces_created

This makes it easier to determine in mail_namespaces_added hook if the
namespaces being added are the initial ones or later ones.

lib-storage: Stop namespaces_added|created hooks immediately when user has failed

doveadm dict get: Support printing multiple values.

dict-sql: Support multiple values for lookups

The value's fields must be comma-separated without spaces, for example:

map {
  value_field = field1,field2
  value_type = string,uint
  ...

Only the first field is used for INSERTs and UPDATEs.

dict-client: Support multiple values for lookups

lib-dict: Add support for lookup to return multiple values

Implements only the initial stubs to the drivers.

dict-sql: Remove unnecessary "affected rows" tracking from dict_set()

This was useful for dict_atomic_inc(), but not for dict_set().

Fixes assert-crash with Cassandra:
Panic: file driver-cassandra.c: line 1350 (driver_cassandra_update): assertion failed: (affected_rows == NULL)

dict-sql: Fix previous "merge sets" to flush at commit

The last dict_set() within transaction was being ignored.

lib-storage: Fix accessing the same "raw" mailbox multiple times in process.

If the same file was opened as the raw mailbox multiple times, the previous
mail_index was cached by mail-index-alloc-cache. Opening it the second time
already contained a mail in the index, so trying to add another one logged
an error:

Error: Log synchronization error at seq=1,offset=256 for (in-memory index): Append with UID 1, but next_uid = 2

imapc: Fix re-sending retryable commands after reconnect

lib-dict: Fix compability for 2.2

Fixes commit 595b94c8 compability with
2.2.

lib-storage: Allow namespaces_created hook to return failure via user error.

lib-storage: Improve namespace error message - include separator char.

It wasn't always obvious what the character should have been when
namespace didn't have an explicitly configured separator.

lib-dict-sql: Try merge sets to single update

This attempts to put mergeable keys into same
update instead of using multiple SQL statements.

Updated copyright notices to include the year 2017.

global: Replaced all instances of memset(p, 0, sizeof(*p)) with the new i_zero() macro.

Used the following script:

C_FILES=`git ls-files *.c`
H_FILES=`git ls-files *.h`
for F in "$C_FILES $H_FILES"; do
        echo "$F"
  perl -p -i -e 's/safe_memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero_safe(&$1)/g' $F
  perl -p -i -e 's/safe_memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero_safe($1)/g' $F
  perl -p -i -e 's/memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero(&$1)/g' $F
  perl -p -i -e 's/memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero($1)/g' $F
done

configure: Link libsmtp before libdns

Fixes linking LIBDOVECOT when using .a libraries

lib-settings: Added settings_get_time_msecs()

lib-storage: Compile & indent fix for previous change.

lib-storage: Prevent recursion in header parsing

If header parsing error occurs and error handling tries
to get fields, such as Message-ID, it will cause
crash. This fixes problem by preventing reading from
non-cached headers while they are being parsed.

Fixes lmtp: Panic: file ../../../src/lib/array.h: line 219 (array_idx_i):
assertion failed: (idx * array->element_size < array->buffer->used)

cassandra: Support configuring heartbeat_interval and idle_timeout