json-parser: Fix unicode parsing

Check for surrogates and validate ucs4 codepoint.

unichar: Use surrogate macros in ucs4 validity check

unichar: Add surrogate handling

unichar: Add uni_is_valid_ucs4

lib-master: Change instances.lock settings to make it less likely to fail

With use_io_notify it's spending less time usleep()ing. Use also a slightly
longer timeout just in case.

If a lot of instances were started at the same time, some of them could have
failed with:
master: Error: file_dotlock_open(.../instances) failed: Resource temporarily unavailable

lib-storage: Fix assert-crash when searching header and MIMEPART

For now this is just a bit kludgy workaround. The proper fix requires
larger changes, which aren't worth the effort right now.

For example:
doveadm fetch -u testuser uid MAILBOX inbox FROM foo MIMEPART FILENAME CONTAINS bar BODY baz

Crashes with:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

quota-maildir: Don't deref NULL pointer on list deinit

lmtp: Fixed passing SMTP submit settings to plugins.

This caused Sieve to crash upon SMTP message submission; e.g., during redirect.

lib: printf_format_fix*() - Support '*' in precision

We're commonly using "%.*s"

lib: printf_format_fix*() - Move minimum field width check to its own function

lib: printf_format_fix*() - Use the same 4 digits as maximum precision length

I forgot the precision can also be used to truncate strings, not just
specify the precision for floating point numbers. So it makes more sense
that the limit is the same as for minimum field width.

quota-maildir: Improve error_r strings

quota-fs: Improve error_r strings

quota-dirsize: Improve error_r strings

quota-dict: Improve error_r strings

quota-count: Improve error_r strings

quota-imapc: Improve error_r strings

quota: Add error_r to update() of quota_backend_vfuncs

quota: Add error_r to get_resource() of quota_backend_vfuncs

quota: Add error_r parameter to init_limits() of quota_backend_vfuncs

quota: Add error_r to quota_get_resource()

quota: Add error_r to quota_transaction_set_limits()

quota: Add error string to quota_set_storage_error()

quota: Add error_r to quota_settings->test_alloc()

quota-maildir: Remove T_BEGIN..T_END blocks

This is to enable using t_strdup_printf() with error_r later on.

quota-fs: Remove T_BEGIN..T_END from fs_quota_get_resource()

This is to enable using t_strdup_printf() with error_r later on.

quota-dirsize: Remove T_BEGIN..T_END from dirsize_quota_get_resource()

This is to enable using t_strdup_printf() with error_r later on.

quota-dict: Remove T_BEGIN..T_END blocks

This is to enable using t_strdup_printf() with error_r later on.

quota: Initialize quota_backends with designated initializers

auth: Fix %{ldap_dn} not to leak memory

acl: Don't deref a potentially uninitialized pointer in acl_global_file_read

lib: printf_format_fix*() - Be over-strict in what format strings are allowed

The checks could have been bypassed by some invalid format strings that were
handled differently by the printf_format_fix*() code and libc. For example
"%**%n" was passed through as ok, but glibc handled the %n in it.

Found by cPanel Security Team.

libpassword: Add unit tests

auth: Fix compiling crypt-blowfish with i386

We're not going to support any assembly code, so remove BF_ASM entirely.

doveadm-server: http: Fixed lingering connections after the request is sent.

Turns out conn->http_client is already NULL while doveadm_http_server_connection_destroy() is called.
This is because http_server_connection_unref() sets it to NULL;
Fixed by removing useless HTTP connection reference.

cassandra: Support "timestamp" type fields properly

Fixes setting them with prepared statements. Reading them never worked
earlier.

cassandra: Include "prepared" when logging about prepared statement queries

Mainly useful for debugging/testing.

cassandra: Fix using bigint types with unprepared statements

This reverts the code to not using the statements with binding at all.
Alternative fix would be to start using explicit int32 or int64 parameter
types, but that breaks backwards compatibility a bit.

libpassword: Deinitialize hash iterator in password_scheme_detect

Otherwise it will leak memory

ipc: Improve error logging when IPC server is disconnected

lib-dict-backend: Fix linking test-dict-sql

dict_drivers_register_builtin() wasn't found.

libpassword: Add BLF-CRYPT support independent of crypt

auth: Fix typo in blowfish name

lib-fs: Fix fs_wrapper_write_stream_finish() to work with async parent fs

This only became a problem with the previous fs-compress change.

login-common: Use HAproxy provided proxy.ssl information

If the connection is proxied via system that can terminate
ssl for us, such as HAproxy, use that information only.

lib-master: Support HAproxy TLVs

This allows passing in information about SSL and client
certificate(s) and other information from haproxy.

lib-master: Use pooled memory for haproxy

lib-master: Fix haproxy reading code to read data incrementally

libpassword: Add support for ARGON2 scheme

configure: Detect libsodium presence

acl plugin: avoid "'struct stat' declared inside parameter list" warning

fs-compress: Allow compress level 0 to skip compression

This can be useful when combined with the "maybe-" prefix, so Dovecot will
support reading compressed files without creating new ones.

Added "ULL" to the hex literals that needed it.

On 32-bit platforms with older compilers (e.g. gcc 4.2 on MacOS 10.6
running on a 1st-gen Core Duo) a 'long' is 4 bytes and the compiler does
not automatically use a 'long long' when needed, but instead generates
an error. e.g.:

libtool: compile:  /usr/bin/g++-4.2 -DHAVE_CONFIG_H -I. -I../../.. -I../../../src/lib -I../../../src/lib-mail -I../../../src/lib-index -I../../../src/lib-storage -I../../../src/plugins/fts -I../../../src/doveadm -I/opt/local/include/openssl -I/opt/local/include -I/opt/local/include/CLucene/ext -pipe -Os -arch i386 -D__STDC_LIMIT_MACROS -MT lucene-wrapper.lo -MD -MP -MF .deps/lucene-wrapper.Tpo -c lucene-wrapper.cc  -fno-common -DPIC -o .libs/lucene-wrapper.o
In file included from ../../../src/lib/lib.h:33,
                 from lucene-wrapper.cc:4:
../../../src/lib/byteorder.h:94: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:95: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:96: error: integer constant is too large for ‘long’ type
../../../src/lib/byteorder.h:97: error: integer constant is too large for ‘long’ type
make[4]: *** [lucene-wrapper.lo] Error 1

Adding the 'ULL' to the end of the 16-digit hex literals that are used
to test the structure of 64-bit integers fixes this and avoids any
problem which could arise from the compiler using a 32-bit type for
those literals that could fit in 32 bites.

doveadm proxy: Don't crash if remote doesn't support log proxying

lib-storage: Add settings to configure lib-index optimization parameters

The defaults are expected to be pretty good, but these settings make it
easier to test whether other values might be more optimal.

lib-index: Add mail_index_cache_optimization_settings

lib-index: Add mail_index_base_optimization_settings

lib-index: Replace mail_index_set_log_rotation() with mail_index_set_optimization_settings()

This allows more easily adding optimization-related settings.

lib-dict: Remove test_dict_sql

It got accidentically added in 149299c7

lib-master: Allow a second log initialization after settings have been read.

This fixes logging with services that bypass the log service (lda or -L
parameter).

fs-compress: Support reading uncompressed input by prefixing compression format with "maybe-"

lib: Add istream-try

This can be used to automatically detect the underlying istream format from
a given list of choices.

lib: io_stream_set_error() - Allow one of the parameters to be the old error

global: Use check-local in Makefile.am instead of overriding check directly

This helps with dependency problems, like running "make check" in
lib-storage without "make" first would try to compile the test programs
too early and fail.

lib-sql, lib-ldap: Fix link dependencies

Fixes using the gold linker.

lib: ostream-multiplex - ignore flush return value

There's nothing that can be done about it at close() time. Silences static
analyzer warnings.

lib: ostream-multiplex - remove unnecessary flushes

lib: istream-multiplex - Minor optimization

There's no need to find channel when we already know it. This also helps
static analyzers to understand that req_channel can't be NULL.

ostream-multiplex: Check flush return value

global: Use i_close_fd instead of close

Some were missed, found by coverity

test-ostream-escaped: Check flush return value

Found by coverity

doveadm-server: Remove flush before multiplex

It's not really necessary, found by coverity

iostream-multiplex: Check return values in tests

doveadm: Return after destroying connection

Prevents NULL deferences, found by coverity.

ostream-multiplex: Unreference stream parent

Otherwise it won't get free'd.

doveadm: Add remote(host) prefix to all proxied logs

doveadm log test: Fix it to work again

Broken by 719abeb2088987f213a33a7dd1fe78958beaef03

lib: ostream-multiplex - set ostream_private.parent

Unlike with istream-multiplex, there are no issues with I/Os. Only the
parent stream will have the I/O. Using the default parent adds the
missing methods that otherwise would have needed to be implemented:
 - cork
 - flush_pending
 - switch_ioloop

lib: istream-multiplex - Forward i_stream_switch_ioloop() to parent

Most istreams do this because istream_private.parent is set to the parent
stream, but this can't be done with istream-multiplex. The main problem
with attempting to do the same with istream-multiplex is that the different
channels don't share the same I/O. Just because one channel received data
doesn't mean that other channels received any data. (It would be possible
to solve this by implementing a new method that allows overriding
i_stream_set_io(), but I'm not sure if that's a good idea either.)

acl: Fix compiler warning with -Wstrict-bool

doveadm-mail-crypt: Print existing folder key hash when aborting generate

acl: Fix checking create (k) permission in global acl-file

Just because the global ACL file hasn't changed since it was last refreshed
for another ACL object, it doesn't mean that those ACLs don't need to be
applied to this ACL object.

This didn't usually cause problems, because the initial ACL object refresh
was always done due to local-path refresh returning "needs a refresh".
The only exception was when acl_object_init_from_parent() was called,
because it added an empty non-NULL validity for the local-path, so the
"needs a refresh" wasn't returned. This happened only when trying to
CREATE or RENAME mailbox under a parent where user didn't have create
permissions.

This affected only when using a single global acl-file, not when using
global acl directory containing per-mailbox files.

acl: Cleanup - move code to a new acl_vfile_validity_has_changed()

acl: Fix checking whether global acl-file has changed

We always assumed that it was changed and re-read it.

dict-sql: dict doesn't support NULL values, so convert SQL NULLs to ""

lib-sql: Add comments about NULL values.

global: Use PRIdTIME_T and PRIxTIME_T format specifiers

master,stats: Use time_t instead of unsigned long to count seconds

m4: Add PRIdTIME_T and PRIxTIME_T format specifiers

global: Use PRI* macros and %zu instead of casting

pop3: Expand settings to fix rawlog_dir

Even if %variables weren't used in rawlog_dir, the path was always prefixed
with "0".

lib-settings: Add assert to help static analyzer

mail-crypt: test-mail-key - Fix potential crash on a failed test

Avoids "Uninitialized argument value" warning from static analyzer.

lib: test-mempool-alloconly - help static analyzer understand that pool is non-NULL

lib: istream-multiplex - remove dead assignment

doveadm-mail-crypt: Print existing userkey hash when aborting generate

lib: don't use foo_real()-style symbols in a header file

While there is precedent for symbols getting _real suffix to hide
implementation details, all the existing symbols were static until
the recent i_fd_close*() changes.  This commit makes this true again.

lib: move i_fd_close*() to fd-util.[ch]

lib: move fd_close_maybe_stdio() to fd-util.[ch]

lib: move fd_set_nonblock() to fd-util.[ch]