lib-compression: Added file uncompression support for test-compression

This can be useful for debugging.

lib-compress: Don't assume too early that gz file continues after a trailer.

Some istreams don't have EOF immediately set after the gz trailer. This
fixes errors like "missing gz trailer at 1675"

doveadm: Rewind input early enough

Command input needs to be rewinded earlier
in doveadm_mail_next_user.

istream-zlib: "missing gz trailer" error message was wrong.

lib: With FILE_LOCK_SLOW_WARNING_MSECS log a warning also when keeping lock for long.

This can help catching which process kept the lock for too long.

configure: Fixed checking if OpenSSL is too old for lib-dcrypt

EVP_PKEY_CTX_set_ec_paramgen_curve_nid() is a macro, so it can't be checked
with AC_CHECK_LIB().

lib: Fix compiler warnings in test-ioloop

Fixes:
test-ioloop.c:72: error: ignoring return value of ‘write’, declared with attribute warn_unused_result

lib-http: Add ioloop and lock wait information to timeout messages.

It'll now log for example:
9007 Request timed out (Request sent 7.087 secs ago, 0.076 in other ioloops, 7.012 in locks, connected 7.087 secs ago)

Which points out that the problem wasn't really with the HTTP, but with
locking. This likely should be fixed in some way also in lib-http so that
it gives a bit of extra time for reading the request, but that's a separate
fix.

dict-client: Fix logging how much time was spent in other ioloops in slow lookup warnings.

The warning's idea is to show why the lookup could have been slow. We
differentiate between time spent in dict_wait() waiting only for the
dict result and time spent in other ioloops waiting for potentially other
things as well (and time spent waiting for locks during this time).

The previous code didn't work right when multiple ioloops were used, which
happened sometimes.

Also changed %u to %d just in case some calculation is wrong. It's nicer to
get a slightly negative value rather than a huge positive one.

lib: Added ioloop_global_wait_usecs

This is helpful when multiple ioloops aren't used and
io_loop_get_wait_usecs() can't be easily used for all of them.

lib: Add FILE_LOCK_SLOW_WARNING_MSECS environment.

Log a warning if any locking takes longer than the specified number of
milliseconds. This can be enabled globally with:

import_environment = $import_environment FILE_LOCK_SLOW_WARNING_MSECS=1000

lib-index: Fix potential error when reading from uncommitted cache transaction

If dovecot.index.cache is compressed during the transaction, the new cache
fields mapping doesn't necessarily match what is in the transaction.

Fixes:
Error: Corrupted index cache file .../dovecot.index.cache: field index too large (27 >= 17)

Although there may be other cache corruption errors it also fixes.

lib-index: Fix potential assert-crash when reading cache

Fixes:
Panic: file mail-cache-lookup.c: line 258 (mail_cache_lookup_iter_next): assertion failed: (ctx->offset != 0)

Broken by d33fc6c584718efd46159e1d8f46488b9dfc66f5

master: If chrooted service's core wasn't dumped, suggest to unset the chroot.

lib: Add test for ioloop fd polling

lib: Fix kqueue io_loop_get_wait_time usage

The code needs to take into consideration,
when there is no IO to be waited, but possibly
there is io_set_pending used, or just timeouts.

lib: Ensure tv_r gets set in io_loop_get_wait_time

If this does not get reset here to 0 it can cause
errors or unpredictable behaviour in select/kqueue
polling, such as very long delays.

director: Fix crash handling director_flush_socket when user is freed.

director: Support flush socket

This allows specifying an URI to execute
on user kill. It can be of form
exec:/path/to/bin, unix:/path/to/socket or
tcp:ip:port

The location is sent FLUSH username-hash
per killed user. You can execute some
action there, and you are expected to
return '+\nOK\n' as reply once you are
done.

lib-program-client: Add URI based constructor

configure: Improved checking if OpenSSL is too old for lib-dcrypt

Some OpenSSL versions had EC_KEY_new, but not other needed functions.

dovecot.m4: Added DOVECOT_BINARY_LDFLAGS for future compatibility

Mainly to keep the serial number the same in v2.2 and v2.3 tree.

dovecot-config: Added dovecot_statedir

Moved cc-wrapper.sh handling to dovecot.m4

When configuring Dovecot --without-shared-libs and pointing external plugins
to uninstalled sources --with-dovecot, any binaries complied for plugins
weren't using cc-wrapper.sh, which could have caused runtime failures when
they attempted to load plugins dynamically. Now it's possible to add
DC_CC_WRAPPER to plugins' configure.ac to build with the cc-wrapper.sh.

Added LIBDOVECOT_PUSH_NOTIFICATION_INCLUDE to dovecot.m4.

pop3: Fix pop3_logout_format=%{deleted_size} expansion when there are no deletions

Should be "0", not empty string.

%{auth_domain} shouldn't include the leading '@'

lib-ldap: Fixed compiling with OpenBSD

auth: Escape local_name

login-common: Include local_name in login_var_expand_table

This way it can be used in login_log_format

lib-program-client: Fixed boolean expressions.

Problems found with clang -Wstrict-bool.

auth: Fixed assert-crash on invalid auth-client input

For example if client sends invalid input like:
auth: Error: BUG: Authentication client sent unknown command: XYZ

Fixes crash:
auth: Panic: key not found from hash

Added "doveadm process status"

This allows asking for processes' current status in master process.

Added "doveadm service status"

This allows asking for services' current status in master process.

doveadm-master: Code cleanup - simplify sending command args to master.

This also escapes the parameters to make sure nothing bad can be sent.

doveadm service stop: Convert to doveadm v2 API

doveadm service stop: Code cleanup - Prepare for other service commands.

doveadm service stop: Moved command handling to doveadm-master.c

It's talking to master process, and there will be other non-service commands
that talk to the master process in the same way.

doveadm user: If lookup fails, don't write it to the same line as header.

doveadm-server: Show incoming connection's IP and running command is process title.

auth: Pass local_name to auth-request

This allows using local_name in various places,
such as passdb/userdb queries.

login proxy: Hanging outgoing SSL connections caused using already-freed memory

This mainly happened when login proxy closed the connection due to connect
timeout. The ssl-proxy still had a reference and existed for a longer time.
If SSL handshake still succeeded afterwards, it now called
login_proxy_ssl_handshaked(), which accessed the already-freed proxy and
likely crashed.

Fixed the ssl-client proxy code specifically. Alternatively ssl_proxy_free()
could be calling ssl_proxy_destroy() always, but since ssl-server side of
the code seems to have been working fine, I don't want to accidentally
break it.

v2.2.26.rc1 released.

lib-program-client: Correctly handle error code

lib: Copy target_uid from restrict_access_settings

One cannot assign to set->uid, causing compile error.

lib-program-client: Try drop setuid root by default

But not if root privileges are asked for.

lib: Add drop_setuid_root for restrict_access

drop_setuid_root, when set to true, will detect
and try to drop getuid()==0. This is done by
recovering current effective UID to set->uid
if set->uid == -1, and then doing seteuid(0).
It will also drop out any other extra privileges,
such as extra groups not requested for.

lib-storage: clean up mailbox_list_create to improve readability

There is no reason to use mailbox_list_driver_find() here instead of
mailbox_list_find_class() as (1) we do not need the index into the list
driver array, and (2) dealing with double-pointers is harder than regular
pointers.

.gitignore: Updated to include auto-added m4/*

push-notification: Error handling fix and cleanups.

dovecot-ldap.conf.ext: Updated sasl_bind comment.

lib-program-client: Fix memory access problem

lib-program-client: Backport test-program-client-unix

lib-program-client: Fix local tests

lib-program-client: Disable valgrind

For local test, we can't use valgrind,
it's too unreliable (breaks execution sometimes).

lib-program-client: Move version string to define

lib-program-client: Add switch_ioloop vfunc

This lets program-client backends do their own
special io loop switching.

lib-program-client: Use milliseconds in idle timeout

lib-program-client: Use child-wait

This makes the client waiting asynchronous.

lib-program-client: Disconnect asynchronously

lib-program-client: Use restrict-access

This makes the program-client execution behave
more consistent to the rest of the core code.

lib: Add reference counting to child_wait_pid

lib-storage: Make sure mailbox_uidvalidity_next() doesn't return 0.

0 isn't a valid IMAP UIDVALIDITY, and Dovecot treats 0 as "not assigned".

lib-dcrypt: add a test for password change

Test that you can encrypt a key with password, encrypt a key with the
password protected key, change the password, and still load a key that you
encrypted with the key encrypted using the first password.

doveadm: trim doveadm dump dcrypt-key input

dcrypt does not like extra newlines at the end of a key.

push-notification: Resolve indentation problem

push-notification: Re-open mailbox and sync it to get unseen count.

push-notification: Add unseen count to OX driver.

global: Handle broken Content-Type headers consistently.

1) Only the first Content-Type header is used. (Simpler than using the last.)

2) Invalid Content-Types are parsed as far as we can. This is mainly to make
sure they aren't treated as missing Content-Types, which could cause them to
become text/plain.

lib-imap: imap_bodystructure_parse() ignores text/plain flag mismatch for now.

Maybe we can enable it some day far into the future, but for now this just
causes unnecessary cache file rebuilds.

lib-imap: Don't write a broken Content-Type as text/plain to BODYSTRUCTURE

Mainly because it doesn't match with MESSAGE_PART_FLAG_TEXT in message_part.

config: Compare local_name case insensitive

DNS and certificate names should be compared
case insensitive.

lib: Add null_strcasecmp

auth-policy: Use request's pool instead of new pool

This fixes existing memory leak in auth_report,
which is caused by using separate memory pool
instead of request's pool.

Thank you for Andrea Carpani for extensive
debugging.

dict-sql: Use LIMIT in SQL queries with dict_iterate_set_limit()

lib-dict: Added dict_iterate_set_limit()

lib-dict: Duplicate result value in mempool

Duplicate the result value already in callback
to avoid it getting lost during async calls.

Reported & tested by Pierre Jaury.

lib-fs: Fixed fs_metadata_find() to actually work

lib-mail: Fixed infinite loop in istream-attachment-extractor

Broken by 7f74811b7. Pretty much any larger attachment going through
this istream had a good potential of going into an infinite loop.

lib-fs: Added FS_METADATA_WRITE_FNAME to allow renaming a file being written.

lib-fs: Added internal fs_metadata_find() helper function

lib-fs: Optimize changing FS_METADATA_INTERNAL_PREFIX metadata.

file->metadata_changed doesn't need to change in that situation. It's used
by fs-metawrap to find out if it needs to rewrite metadata during a write,
but internal metadata isn't written to its header.

sdbox: Removed duplicated code.

lib-dcrypt: change unit test ec curve to secp521r1

This curve is more common, so unit tests will pass on more machines.

lib-fs: Lazily initialize timings to save memory.

lib-storage: Use MAILDIR_INFO_SEP_S

Replace hardcoded : with MAILDIR_INFO_SEP_S

lib-dcrypt: Fix uninitialized memory

lib-dcrypt: str_new to t_str_new in some test-crypto tests

str_new from default_pool was not properly freed.

lib-dcrypt: enc_key and pw must be NULL on storing unencrypted private key

Add tests for password and key encryption, and get_info on them. Also
give examples of valid cipher values for password and key encryption in
dcrypt.h comment.

lib-dcrypt: fix comment of dovecot format v2 to use colon

Version 2 field separator was changed to colon.

auth: Compiler warning fix

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-index: unlink_directory has no error

imap-hibernate: Adjust API usage for ostream

Revert "uri-util: Fixed assertion failure for invalid character in path segment."

This reverts commit dbbdcc1224f81a40e746a09e6d44af7c4f24ff71.

Revert "lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components."

This reverts commit 5b6dc4c53617362baf8713815621bebbeb38c8cc.

lib: Don't set ostream buffer as blocking

lib: Added ostream.blocking boolean

Similar to istream.blocking.