lib-dict: Compiler warning fix

dict-file: Fix potential crash when doing other dict calls during iteration.

If file was refreshed, the hash table was cleared, which broke the existing
iterators.

lib-dict: Add assert to make sure all iterators are deinitialized.

lib: Add asserts to make sure hash table isn't freed while it's frozen.

fts-solr: Escape {} chars when sending queries

Fixes:
java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986

Based on patch by Michael Welsh Duggan

lib-http: server: Do not generate a payload for a failure response for a HEAD request.

lib-http: server: Prevent sending response payload when it is not allowed by the specification.

For a HEAD request, the payload is omitted, but the associated headers are generated.
For the other cases, an assert failure is now triggered.

dict-sql: Fix flushing

Remove flushing from set, and add it to unset. Fixes
signal 11 crash caused by infinite recursion.

lib-storage: Add vsize extension to index

Keep virtual size in index, instead of cache
when it's less than 2^32-1. This helps when
cache becomes corrupted, and goes away, we
still have virtual sizes for quota calculations.

lib-storage: Fix assert-crash on mailbox_copy/move() failure

If mailbox_save_cancel() was being called outside mail_storage_copy()
it assert-crashed:

Panic: file mail-storage.c: line 2168 (mailbox_save_context_reset): assertion failed: (ctx->copying_via_save)

lib-storage: If namespaces weren't successfully created, don't autoexpunge at deinit.

lib-storage: Add struct mail_user.namespaces_created

This makes it easier to determine in mail_namespaces_added hook if the
namespaces being added are the initial ones or later ones.

lib-storage: Stop namespaces_added|created hooks immediately when user has failed

doveadm dict get: Support printing multiple values.

dict-sql: Support multiple values for lookups

The value's fields must be comma-separated without spaces, for example:

map {
  value_field = field1,field2
  value_type = string,uint
  ...

Only the first field is used for INSERTs and UPDATEs.

dict-client: Support multiple values for lookups

lib-dict: Add support for lookup to return multiple values

Implements only the initial stubs to the drivers.

dict-sql: Remove unnecessary "affected rows" tracking from dict_set()

This was useful for dict_atomic_inc(), but not for dict_set().

Fixes assert-crash with Cassandra:
Panic: file driver-cassandra.c: line 1350 (driver_cassandra_update): assertion failed: (affected_rows == NULL)

dict-sql: Fix previous "merge sets" to flush at commit

The last dict_set() within transaction was being ignored.

lib-storage: Fix accessing the same "raw" mailbox multiple times in process.

If the same file was opened as the raw mailbox multiple times, the previous
mail_index was cached by mail-index-alloc-cache. Opening it the second time
already contained a mail in the index, so trying to add another one logged
an error:

Error: Log synchronization error at seq=1,offset=256 for (in-memory index): Append with UID 1, but next_uid = 2

imapc: Fix re-sending retryable commands after reconnect

lib-storage: Allow namespaces_created hook to return failure via user error.

lib-storage: Improve namespace error message - include separator char.

It wasn't always obvious what the character should have been when
namespace didn't have an explicitly configured separator.

lib-dict-sql: Try merge sets to single update

This attempts to put mergeable keys into same
update instead of using multiple SQL statements.

lib-dcrypt: istream-decrypt - set stream_errno=EPIPE on unexpected EOF

configure: Link libsmtp before libdns

Fixes linking LIBDOVECOT when using .a libraries

lib-storage: Compile & indent fix for previous change.

lib-storage: Prevent recursion in header parsing

If header parsing error occurs and error handling tries
to get fields, such as Message-ID, it will cause
crash. This fixes problem by preventing reading from
non-cached headers while they are being parsed.

Fixes lmtp: Panic: file ../../../src/lib/array.h: line 219 (array_idx_i):
assertion failed: (idx * array->element_size < array->buffer->used)

cassandra: Support configuring heartbeat_interval and idle_timeout

director: Fix assert-crash when flush script takes too long

Fixes:
Panic: file director.c: line 966 (director_user_move_timeout): assertion failed: (user->kill_ctx->kill_state != USER_KILL_STATE_FLUSHING)

cassandra: Add support for "bigint" value type.

dict-client: When failing to resend commands after reconnect, their success is uncertain.

It's possible that the writes before the disconnection did actually finish
successfully. If any of them were commits, we need to return
DICT_COMMIT_RET_WRITE_UNCERTAIN.

dict-sql: Support transaction timestamps with Cassandra driver

dict-client: Pass through transaction timestamp to dict-server

lib-dict: Add dict_transaction_set_timestamp()

dict-ldap|fs: Explicitly specify used dict_vfuncs methods.

This was done for other dict drivers in
ade5567577dadb0b275c840208d3ad21a9f00a36

config: Fix checking if <path needs to be expanded

lmtp: Don't deliver truncated email when client disconnects before "." line

This didn't happen always, because the EOF was handled in two different
places in different ways.

auth-policy: Add missing settings

auth-policy: Enable SSL connections

auth-policy: hashed_password will always be blank, tell buffer it has data so str_len works when converting to hex

lib-program-client: Do not call program_client_fail twice

Fixes crash in program-client caused by use of freed memory.

istream-mmap: Mark stream eof on error and copy errno

lib, lib-http: add HTTP_URL_ALLOW_PCT_NUL flag

This allows a URL to contain %00.

autoexpunge: Consider last_rename_stamp on expunge

When expunging by saved date, see if last_rename_stamp
is more recent than saved date, and use that instead.

This prevents mails getting deleted on a folder that
was just renamed, the user probably expects autoexpunge
to consider these emails as fresh.

index-storage: Update mailbox last_rename_stamp on rename

lib-lda: Moved LMTP client to lib-smtp.

This makes the LMTP client available without dependency on lib-storage.
For Dovecot v2.3, the newly created lib-smtp will evolve into a full client/server SMTP implementation.
That will then remove the remaining SMTP code from lib-lda.

Updated copyright notices to include the year 2017.

lib-mail: header filter should call callback for added EOH

If we add a EOH because there wasn't one and
HEADER_FILTER_ADD_MISSING_EOH was specified, we should invoke the
callback for it.  Otherwise, it is unnecessarily difficult for consumers
to add a header since there is no way to know if EOH will be present
ahead of time.

lib-mail: refactor header filter test code

master: revert i_zero change on sd-daemon.c

lib: add separator also if arr[0] is empty in string array joins

Also add a couple test cases.

lib-compression: use LZ4_compress_default if can

LZ4_compress is deprecated.

lib-storage: Update mail_get_headers() API comment

The API was changed by 990d55ce3fc461eeacce3ef830b1c5dde5c3f150

global: Replaced all instances of memset(p, 0, sizeof(*p)) with the new i_zero() macro.

Used the following script:

C_FILES=`git ls-files *.c`
H_FILES=`git ls-files *.h`
for F in "$C_FILES $H_FILES"; do
        echo "$F"
  perl -p -i -e 's/safe_memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero_safe(&$1)/g' $F
  perl -p -i -e 's/safe_memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero_safe($1)/g' $F
  perl -p -i -e 's/memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero(&$1)/g' $F
  perl -p -i -e 's/memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero($1)/g' $F
done

lib: Created i_zero() wrapper for memset(p, 0, sizeof(*p)).

Also creates an i_zero_safe() version for safe_memset().

global: Made all struct initialization using memset() use the same style.

Fix link failure against libressl.

lib-mail: Fix memory leak in test-istream-attachment

lib: Add unit test for istream-sized

lib: istream-sized - consistently set stream_errno=EINVAL if stream is too large

Earlier it was sometimes done and sometimes not, depending on whether the
parent istream happened to stop at the expected boundary.

lib: istream-sized - set stream_errno=EPIPE if stream is too small

lib: istream-sized - remove explicit i_error() logging

The stream_errno is set, so it's the caller's responsibility to log the
error. There's no need to log it twice.

lib-compression: istream-{bzlib|lz4} - set stream_errno=EPIPE on unexpected EOF

lib-mail: istream-qp-decoder: set stream_errno=EPIPE on unexpected EOF

lib-fs: istream-metawrap - set stream_errno=EPIPE on unexpected EOF

lib-storage: istream-mail - Use EPIPE if istream is too small

lib-mail: Improve istream-attachment-extractor unit test for EIO errors

lib-mail: istream-attachment-extractor - use EIO for internal errors

These happen only if the attachment writing failed for some reason.
The input stream itself can't have any errors, so EINVAL isn't proper.

lib-mail: istream-attachment-extractor - remove unnecessary code

It's enough to set the stream_errno.

lib: istream-jsonstr - return EPIPE if end-of-string quote isn't seen

lib: Add istream-jsonstr unit test.

lib: istream-jsonstr - minor code cleanup

If ret==0 here, it means dest wasn't changed, which must mean that i==0.
Make it clear to avoid confusion.

lib: istream-base64-decoder - use stream_errno=EPIPE for unexpected EOF

global: Use const for all test_functions[] arrays

lib-test: test_run*() - use const for test_functions[] array

global: Use "static const" for all struct tests[] arrays

lib-test: test_run_named*() - use const for tests[] array

*-login, imapc: Fix new lib-sasl API usage

Forgot to include these in a669d351502e15802b121e1a0bd83f27d1d95f01

lib-index: Fix assert-crash if .log creation unexpectedly fails at the end

Pretty much the only reason for this to happen is if the index directory
was deleted while another process still had the index open. Even this
doesn't normally trigger this crash, because there are other checks earlier
that usually catch it. So it crashes only in some race conditions.

Fixes:
Error: rename(.../dovecot.index.log.newlock, .../dovecot.index.log) failed: No such file or directory
Panic: file mail-transaction-log-file.c: line 105 (mail_transaction_log_file_free): assertion failed: (!file->locked)

stats: use o_stream_nsend in client-export

fs-randomfail: Fix failure handling for fs_read()

lib-index: Fix checking if cache file becomes >4GB

imap: use o_stream_nsend when not checking failure

replication: ignore o_stream_send errors in doveadm-connection

lib-mail: message_binary_part_deserialize(): Return error if body line count is too large

The input was unsigned int, so output must also fit into unsigned int.

dovecot.service.in: Improve [service] examples

Move them inside [service] section so that simply uncommenting them works.
Also give a better example of how Environment might be used.

replication plugin: Error handling code cleanup

The old code happened to work in all cases, but it was more of an accident.

lib-sasl: API change - use size_t type for input/output lengths

It's highly unlikely that the length is ever >4GB, but this avoids any
potential problems with integer truncation.

lib-fts: Change fts_icu_*() to use ARRAY_TYPE(icu_utf16) for UTF16 input.

This makes it clearer how the API is intended to be used.

Fix compiling when compiler doesn't support typeof()

lib-index: Make sure buffer is not null before freeing

Fixes signal 11 crash under stress.

configure: Define __STDC_LIMIT_MACROS for CXXFLAGS

Fixes SIZE_MAX being undefined when building fts-lucene.

master: Update assert to make sure optind != 0

Hopefully prevents Coverity warning about "doubleops[optind]" access being
uninitialized.

lib: Remove dead code from unit test

lib: Allow only known %chars in printf_format_fix_noalloc()

Otherwise if some libc adds a new unsupported character, our %n check might
break.

lib: Fix %n detection in printf_format_fix_noalloc()

It's undefined how flags, precision or length modifiers are handled with %n,
so make sure we catch all of them to detect an unwanted %n.

lib: Optimize printf_format_fix_noalloc()

Using strchr() is faster than looping through the characters manually.
Since this function is being called a lot, it's worth optimizing.

lib-imap-client: Fixed boolean vs integer mixup in debug message format argument.

Found with Clang -Wstrict-bool.

lib-http: client: Added test for premature connection loss to test-http-client-errors.