dict-sql: Fix previous "merge sets" to flush at commit

The last dict_set() within transaction was being ignored.

lib-storage: Fix accessing the same "raw" mailbox multiple times in process.

If the same file was opened as the raw mailbox multiple times, the previous
mail_index was cached by mail-index-alloc-cache. Opening it the second time
already contained a mail in the index, so trying to add another one logged
an error:

Error: Log synchronization error at seq=1,offset=256 for (in-memory index): Append with UID 1, but next_uid = 2

imapc: Fix re-sending retryable commands after reconnect

lib-dict: Fix compability for 2.2

Fixes commit 595b94c8 compability with
2.2.

lib-storage: Allow namespaces_created hook to return failure via user error.

lib-storage: Improve namespace error message - include separator char.

It wasn't always obvious what the character should have been when
namespace didn't have an explicitly configured separator.

lib-dict-sql: Try merge sets to single update

This attempts to put mergeable keys into same
update instead of using multiple SQL statements.

Updated copyright notices to include the year 2017.

global: Replaced all instances of memset(p, 0, sizeof(*p)) with the new i_zero() macro.

Used the following script:

C_FILES=`git ls-files *.c`
H_FILES=`git ls-files *.h`
for F in "$C_FILES $H_FILES"; do
        echo "$F"
  perl -p -i -e 's/safe_memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero_safe(&$1)/g' $F
  perl -p -i -e 's/safe_memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero_safe($1)/g' $F
  perl -p -i -e 's/memset\(&\(?([^,]*)\)?,\s*0,\s*sizeof\(\g1\)\)/i_zero(&$1)/g' $F
  perl -p -i -e 's/memset\(([^,]*),\s*0,\s*sizeof\(\*\g1\)\)/i_zero($1)/g' $F
done

configure: Link libsmtp before libdns

Fixes linking LIBDOVECOT when using .a libraries

lib-settings: Added settings_get_time_msecs()

lib-storage: Compile & indent fix for previous change.

lib-storage: Prevent recursion in header parsing

If header parsing error occurs and error handling tries
to get fields, such as Message-ID, it will cause
crash. This fixes problem by preventing reading from
non-cached headers while they are being parsed.

Fixes lmtp: Panic: file ../../../src/lib/array.h: line 219 (array_idx_i):
assertion failed: (idx * array->element_size < array->buffer->used)

cassandra: Support configuring heartbeat_interval and idle_timeout

cassandra: Add support for "bigint" value type.

dict-client: When failing to resend commands after reconnect, their success is uncertain.

It's possible that the writes before the disconnection did actually finish
successfully. If any of them were commits, we need to return
DICT_COMMIT_RET_WRITE_UNCERTAIN.

dict-sql: Support transaction timestamps with Cassandra driver

dict-client: Pass through transaction timestamp to dict-server

lib-dict: Add dict_transaction_set_timestamp()

dict-ldap|fs: Explicitly specify used dict_vfuncs methods.

This was done for other dict drivers in
ade5567577dadb0b275c840208d3ad21a9f00a36

config: Fix checking if <path needs to be expanded

lmtp: Don't deliver truncated email when client disconnects before "." line

This didn't happen always, because the EOF was handled in two different
places in different ways.

auth: Fix compiling tests

auth-policy: Add missing settings

auth-policy: Enable SSL connections

lib-lda: Moved LMTP client to lib-smtp.

This makes the LMTP client available without dependency on lib-storage.
For Dovecot v2.3, the newly created lib-smtp will evolve into a full client/server SMTP implementation.
That will then remove the remaining SMTP code from lib-lda.

configure: Fix link ordering

libprogram_client.la needs to be before libdns.la

director: Fix assert-crash when flush script takes too long

Fixes:
Panic: file director.c: line 966 (director_user_move_timeout): assertion failed: (user->kill_ctx->kill_state != USER_KILL_STATE_FLUSHING)

lib-program-client: Fix crash after disconnecting client.

dict-client: Log slightly different error when it's uncertain if commit failed

auth-policy: hashed_password will always be blank, tell buffer it has data so str_len works when converting to hex

lib-program-client: Do not call program_client_fail twice

Fixes crash in program-client caused by use of freed memory.

istream-mmap: Mark stream eof on error and copy errno

lib, lib-http: add HTTP_URL_ALLOW_PCT_NUL flag

This allows a URL to contain %00.

autoexpunge: Consider last_rename_stamp on expunge

When expunging by saved date, see if last_rename_stamp
is more recent than saved date, and use that instead.

This prevents mails getting deleted on a folder that
was just renamed, the user probably expects autoexpunge
to consider these emails as fresh.

index-storage: Update mailbox last_rename_stamp on rename

lib-mail: header filter should call callback for added EOH

If we add a EOH because there wasn't one and
HEADER_FILTER_ADD_MISSING_EOH was specified, we should invoke the
callback for it.  Otherwise, it is unnecessarily difficult for consumers
to add a header since there is no way to know if EOH will be present
ahead of time.

lib-mail: refactor header filter test code

lib-compression: use LZ4_compress_default if can

LZ4_compress is deprecated.

lib-storage: Update mail_get_headers() API comment

The API was changed by 990d55ce3fc461eeacce3ef830b1c5dde5c3f150

lib: Created i_zero() wrapper for memset(p, 0, sizeof(*p)).

Also creates an i_zero_safe() version for safe_memset().

Fix link failure against libressl.

storage: do NOT feed p_strconcat() with NULL.

p_strconcat will never take NULL as an valid argument.
So ns->list->set.alt_dir has to be checked NULL.

lib-index: Fix assert-crash if .log creation unexpectedly fails at the end

Pretty much the only reason for this to happen is if the index directory
was deleted while another process still had the index open. Even this
doesn't normally trigger this crash, because there are other checks earlier
that usually catch it. So it crashes only in some race conditions.

Fixes:
Error: rename(.../dovecot.index.log.newlock, .../dovecot.index.log) failed: No such file or directory
Panic: file mail-transaction-log-file.c: line 105 (mail_transaction_log_file_free): assertion failed: (!file->locked)

stats: use o_stream_nsend in client-export

fs-randomfail: Fix failure handling for fs_read()

lib-index: Fix checking if cache file becomes >4GB

imap: use o_stream_nsend when not checking failure

replication: ignore o_stream_send errors in doveadm-connection

lib-mail: message_binary_part_deserialize(): Return error if body line count is too large

The input was unsigned int, so output must also fit into unsigned int.

dovecot.service.in: Improve [service] examples

Move them inside [service] section so that simply uncommenting them works.
Also give a better example of how Environment might be used.

replication plugin: Error handling code cleanup

The old code happened to work in all cases, but it was more of an accident.

Fix compiling when compiler doesn't support typeof()

lib-index: Make sure buffer is not null before freeing

Fixes signal 11 crash under stress.

configure: Define __STDC_LIMIT_MACROS for CXXFLAGS

Fixes SIZE_MAX being undefined when building fts-lucene.

master: Update assert to make sure optind != 0

Hopefully prevents Coverity warning about "doubleops[optind]" access being
uninitialized.

lib: Remove dead code from unit test

lib: Allow only known %chars in printf_format_fix_noalloc()

Otherwise if some libc adds a new unsupported character, our %n check might
break.

lib: Fix %n detection in printf_format_fix_noalloc()

It's undefined how flags, precision or length modifiers are handled with %n,
so make sure we catch all of them to detect an unwanted %n.

lib: Optimize printf_format_fix_noalloc()

Using strchr() is faster than looping through the characters manually.
Since this function is being called a lot, it's worth optimizing.

lib-imap-client: Fixed boolean vs integer mixup in debug message format argument.

Found with Clang -Wstrict-bool.

lib-http: client: Added test for premature connection loss to test-http-client-errors.

lib-http: client: Added test for normal connection backoff behavior to test-http-client-errors.

lib-http: client: Treat connections that get disconnected prematurely as connection failures.

This means that the backoff time is increased when this happens.
A premature disconnection happens when the connection is disconnected before any data is received from the server.

lib-http: client: Consolidated connection loss handling into a single function.

lib-http: client: Moved connection backoff timer management to separate functions.

lib-http: client: Prevent infinite event loop involving the request handler.

Could happen when a backoff time is active.

auth: do NOT feed p_strconcat() with NULL

p_strconcat will never take NULL as an valid argument.
Check possible NULL string before calling it.

master: PROCESS-STATUS output was duplicated many times

imapc: Log server disconnection error only once.

imapc: Minor debug logging improvement

imapc: Don't retry a failed reconnection before 10 secs have passed

This mainly avoids a lot of unnecessary connect attempts within a short
time period, for example if the caller attempts to perform some work for
all the mailboxes.

imapc: Fix infinite reconnect loop to remote server that is down

This happened only in some situations. Usually there would have bene some
command in the queue, which would cause the reconnect-check to fail.

lib: Compiler warning fix for 32bit systems

global: Make sure *_malloc() calculations won't cause integer overflows.

global: Change string position/length from unsigned int to size_t

Mainly to avoid truncating >4GB strings, which might potentially cause
some security holes. Normally there are other limits, which prevent such
excessive strings from being created in the first place.

I'm sure this didn't find everything. Maybe everything could be found with
compiler warnings. -Wconversion kind of does it, but it gives way too many
unnecessary warnings.

These were mainly found with:

grep " = strlen"
egrep "unsigned int.*(size|len)"

lib: Optimization - p_strconcat() doesn't need to allocate from data stack

Various other parts of the code already rely on p_malloc() not overwriting
t_buffer_get()'ed data. p_strconcat() can do that as well.

lib: *_new(): Use the new MALLOC_MULTIPLY() macro to avoid overflows

Cast the sizeof() result to unsigned int, because it's definitely always
enough and in many cases this allows optimizing away the wrap-check.

lib: Add MALLOC_MULTIPLY() and MALLOC_ADD()

These can be used for calculating memory allocation sizes. If there's an
overflow, the macro panics.

lib: Remove t_buffer_*_type()

The t_buffer_*() shouldn't normally be used anyway except in some low-level
string/buffer manipulation code, so there's not much point in trying to make
easier to use versions of them.

master: Removed unused process_exec(extra_args) parameter

Removes unnecessarily complicated code marked with @UNSAFE.

lib-storage: Make dovecot.list.index's filename configurable.

This is useful when there are multiple namespaces pointing to the same mail
root directory. For example mdbox with lazy-expunge:

namespace {
  prefix = Expunged/
  location = mdbox:~/mdbox:MAILBOXDIR=expunged:LISTINDEX=expunged.list.index
  ..
}

lib-storage: Deduplicate code into mailbox_list_settings_init_defaults()

director: Fix crash when using director_flush_socket

Broken accidentally when merging b44033e45e9f48f8a6e1ac5905234fec5de6d6cc

director: Fix USER-KICK and USER-KICK-ALT forwarding

The internal IPC command was prefixed, which caused the remote director
to reject the commands and disconnect:

director(...): Command proxy: Unknown command proxy
director(...): Remote sent invalid protocol data recently, waiting 57 secs before allowing further communication

director: doveadm command handling was missing USER-KICK-ALT

imap: Fix STORE UNCHANGEDSINCE to work with >32bit modseqs.

lib-storage: Fix "*" in SEARCH seqset/uidset

4294967295 is used for "*", which matches the last existing message.
Which we don't know what it is at the time of search args simplification,
so avoid making any assumptions about it.

It's a bit ugly that 4294967295 can't be used as a valid UID, but this
restriction has already existed since the beginning of Dovecot. A future
alternative might be to add MAIL_SEARCH_ARG_FLAG_SEQSET_WITH_STAR, but
that's a bit complicated change.

imapc: Don't allow "*" in SEARCH replies

Doesn't fix anything, but makes the parsing a bit more correct.

fts-squat: Use file_cache_new_path() for squat indexes

lib-index: Use file_cache_new_path() for dovecot.index.cache

lib: Add file_cache_new_path() to include path in error messages.

driver-mysql: Do not hex-encode again

Use correct syntax to provide data to
mysql in hex format, without recoding
it in hex format again.

lib-storage: Fix crash in obox's dsync-merge

mail-crypt: Treat empty values correctly

If mail_crypt_curve or mail_crypt_save_version
is left empty, disable the plugin. Don't error
out.

mail-crypt: Skip tests if dcrypt cannot be initialized

Avoids breaking tests on system without working
ECC keys.

auth-policy: Allow unsupported attributes in response

Do not choke if we receive unsupported attributes in
response. This allows better interoperability with
different systems that are getting signals from
auth policy server that are not (yet) supported by
dovecot.

sha3: Fix typo in ifdef

The code was supposed to be used with big endian
machines.

Reported by than@redhat.com

lib-test: Change test_fatal_func_t to take unsigned int stage as parameter.

It could never be -1, so this makes it clearer. It also removes annoying
casts when comparing stage to e.g. N_ELEMENTS().

lib-test: test_run_with_fatals() now takes a const array