lib-storage: change caching decision for lazy requests in cache lookup

In case  lookup_abort is set to NOT_IN_CACHE_START_CACHING update the
cacheing decision for the requested field.

lib-storage: introduce MAIL_LOOKUP_ABORT_NOT_IN_CACHE_START_CACHING

In some cases we would like to mark an field as to be cached but still
don't fetch it now. For this occasions this change introduces a new enum
value for mail_lookup_abort which allows to implement such a behaviour.

lib-index: move mail_cache_decision_add to public header

To allow other components to mark fields as to be cached move the
declaration from mail-cache-private.h to mail-cache.h.

lib-ssl-iostream: Remove problematic unit tests

These unit tests are unreliable with new versions of openssl
present in ubuntu 18 and debian buster.

auth: winbind - Make static analyzer happier

lib: base64 - Add high-level data and string encode functions with data stack buffer output.

lib: base64 - Add flags and max_line_size parameters to the new high-level encode functions.

Cannot change the API of existing functions.

lib: base64 - Add high-level data decode functions with data stack buffer output.

Similar functions accepting C string input already exist.

lib: base64 - Add flags parameters to the new high-level decode functions.

Cannot change the API of existing functions.

lib: base64 - Add BASE64_DECODE_FLAG_IGNORE_PADDING.

Makes padding optional rather than either disallowed or required.

lib: base64 - Reformat flag handling in base64_decode_more().

lib: base64 - Remove unused assignment.

Found by Clang scan-build.

lib: base64 - Add support for decoding without padding.

lib: base64 - Add support for encoding without padding.

lib: istream-base64-encoder - Use the new low-level incremental Base64 encoding API.

lib: base64 - Add support for adding line breaks to encoded output.

lib: base64 - Add base64_get_full_encoded_size().

lib: base64 - Add decode flag for prohibiting whitespace.

lib: base64 - Deprecate src_pos_r parameter of base64_decode().

Only NULL pointer is allowed. This allows using the new incremental API
internally, thereby dropping the old decoder implementation.

lib: istream-base64-decoder - Use the new low-level incremental Base64 decoding API.

lib: base64 - Properly implemenent incremental decoding.

lib: base64 - Properly implemenent incremental encoding.

lib: buffer - Add buffer_get_avail_size().

This determines how much data can be added to buffer.

lib: istream-base64 - Add support for base64url encoding.

lib: base64 - Add support for base64url encoding.

lib: base64 - Make code suitable for encoding/decoding different Base64 variants.

lib: base64 - Add structural comments.

lib: base64.h - Move size macros.

lib: base64 - Make encoding table an explicit array.

Before, it was a string constant.

lib: base64.c - Move mapping tables.

lib: test-base64 - Make sure base64_decode() won't allocate any extra space

I was just considering an optimization where it would, until I realized it
could break some existing code.

lib: test-base64 - Cleanup: Use more exact test_asserts

This way it's easier to see why tests are failing.

lib: test-base64 - Cleanup: Use the same struct for test input and output

lib: test-base64 - Test MAX_BASE64_{EN,DE}CODED_SIZE() with existing tests

lib: base64 - Change MAX_BASE64_DECODED_SIZE() to be more exact

If the input has only full base64 blocks (is divisible by 4), there's no
need to add the extra +3.

lib: base64 - Simplify MAX_BASE64_ENCODED_SIZE() calculation

Rely on (X + (Y - 1)) / Y being the same as ceil(X / Y) when operating on
integers.

This has a couple of benefits over the previous expression:

 1) the size argument is evaluated only once
 2) the generated code is simpler (no conditional instructions)
 3) the generated code is smaller

The generated code shrinks in terms of both bytes and instruction count.
The following table lists the number of bytes (B) and instructions (I) used
by the code before and after this change on an assortment of architectures
when the input is not known at compile time.  Unless otherwise noted, the
results are based clang 6.0.1 output.

         | before  | after  |    delta
---------+---------+--------+-------------
aarch64  | 32B  8I | 24B 6I | -25%B -25%I
amd64    | 38B 10I | 25B 5I | -34%B -50%I
amd64 [1]| 43B 10I | 31B 6I | -28%B -40%I
armv7    | 36B  9I | 24B 6I | -33%B -33%I
i386     | 32B 12I | 20B 6I | -38%B -50%I
i386 [1] | 35B 11I | 25B 7I | -29%B -36%I
ppc32    | 44B 11I | 20B 5I | -55%B -55%I
ppc64    | 52B 13I | 32B 8I | -38%B -38%I
s390x    | 74B 16I | 26B 5I | -65%B -69%I
sparcv9  | 36B  9I | 12B 3I | -66%B -66%I

[1] gcc 8.2.0

lib: Fix updating timeouts after time moves backwards

Broken by b258137d0e0618ae792e3606071a1715d26f107b

Fixes:
Panic: file ioloop.c: line 479 (timeout_get_wait_time): assertion failed: (ret > 0 && tv_r->tv_sec >= 0 && tv_r->tv_usec >= 0)

lib: timeval_add/sub_usecs() - Add assert to make sure negative values aren't used

The current code doesn't work correctly if negative values are used.
The code could of course be changed to handle them, but maybe assert is
better to catch bugs.

lib, lib-dcrypt: Fix unit tests to check i_stream_read() return value

cassandra: Fix crash due to race condition with threads

Broken by changes in 0a5a2b81c266c11c34ab36b20816909dc3e715ac

The crash could happen because driver_cassandra_future_callback() can be
called any time, even before returning from driver_cassandra_set_callback().
This could result in both cb->id and cb->to being set and using the cb
after it's already freed.

cassandra: Cleanup - Move code to cassandra_callback_detach()

lib-storage: Add mailbox_attribute_internal.iter()

This mainly allows internal attributes with children to actually be able to
list the childrens' keys.

imap: Only send NIL on GETMETADATA when query depth is 0

imap: GETMETADATA: Ignore MAIL_ERROR_NOTPOSSIBLE errors when using DEPTH parameter

This most likely means that imap_metadata=no, but the client still wants to
fetch recursively validated metadata entries. This should return in OK
instead of NO reply.

auth: Do not unref policy payload too early

This can cause the context to be free'd too early leading
to crashes.

lib-imap-metadata: setting metadata literal value does not delete it

Only if value and value_stream are NULL the metadata can be unset.

lib-smtp: Fix encoding quoted localparts that end with "."

For example "user..@example.com" or "user..test.@example.com" resulted
in an extra '"' prefix.

lib-storage: Mark /private/specialuse attribute to be validated

imap: GETMETADATA: Send the last error as tagged reply

This way if there's only a single error, the error is in the tagged reply
with the [resp-code]. Clients can handle this better than untagged NO
replies.

imap: GETMETADATA: If i_stream_get_size() fails, send client an internal error line

Previously the client didn't get any kind of an explanation why the
GETMETADATA failed.

imap: GETMETADATA: Move error handling to a common function

imap: GETMETADATA: Replace failed boolean with last_error code

imap: Allow SET/GETMETADATA to access validated attributes with imap_metadata=no

Some IMAP extensions use these commands to set/get their internal state.
This should be allowed even if full METADATA isn't enabled.

The initial plan was to restrict this in the lib-imap-storage layer, so it
would apply to everything using the imap-metadata API. This would have
affected for example accessing metadata in Sieve scripts, which could be
either good or bad. It might not be wanted to give users read access to
some metadata either, but admins really should be given the ability to
write Sieve scripts that access the metadata. However there's just no good
way to differentiate between admin-written (or tool-written) Sieve script
and user-written Sieve script.

Another issue is using metadata to configure virtual mailboxes. Currently
they're all admin-written and should be allowed to access metadata, but in
the future we might want to allow user-written virtual mailbox rules as
well.

So the end result at least for now is to just prevent IMAP GETMETADATA and
SETMETADATA specifically from accessing the non-validated attributes. Most
of the time there aren't any secrets in the metadata. In case there is,
users need to be prevented from accessing metadata via Sieve, and in such
systems users rarely have direct Sieve access anyway.

lib-imap-metadata: Add imap_metadata_transaction_validated_only()

lib-storage: Add support for "validated attributes"

If an attribute is marked with MAIL_ATTRIBUTE_INTERNAL_FLAG_VALIDATED, it's
assumed to be "validated". This means that it has a set() callback that
validates the value, which at minimum means that its size isn't excessively
large.

MAIL_ATTRIBUTE_TYPE_FLAG_VALIDATED can be used with set/get/iterate to allow
access only to these validated attributes. Trying to access non-validated
attributes will result in error.

lib-storage: Prepare attribute API for having flags in the type

lib-ssl-iostream: Support TLSv1.3 ciphersuites

lib-ssl-iostream: test-iostream-ssl - Wait until both sides have handshaked

Produces consistent result with different TLS flavors

lib-ssl-iostream: test-iostream-ssl - Plug memory leak

If either endpoint fails to initialize it needs to be deinitialized too.

lib-ssl-iostream: test-iostream-ssl - Always fail on error

Consistently fail the real function if something goes wrong.
Needed for TLSv1.3 support.

lib-ssl-iostream: test-iostream-ssl - Explicitly increment idx

The test_assert macro does not evaluate the idx increment
if the test succeeds.

stats: event exporters - Support https

stats: event-exporter - Use DNS for http

stats: Disable chroot to make event exporters work

This is mostly needed for dns-client unix socket and
accessing ssl CA certificates.

dns-client: Make dns client available in login chroot

Otherwise it's not possible to use it for login processes.

mail-crypt: test-mail-key - Skip test before allocating test_pool

Fixes a memory leak if test is skipped.

lib-smtp: test-smtp-payload - exclude ssl cases if ssl not supported

lib-http: test-http-payload - Include test_echo_ssl only if ssl is supported

lib: Allow event filtering with wildcarded integers

lib-ssl-iostream: Don't build test-iostream-ssl if building without ssl

Fixes compiling when building without ssl.

lib: Correct comment typo (UIID -> UUID)

lib: test-ostream-multiplex - Check flush return value

Fixes coverity nit

lib: test-ostream-multiplex - Test corking

lib: ostream-multiplex - Fix last_sent

The intention was to choose oldest channel. The old code however
always chose last channel to send, which was not really the point.

Using unix timestamp is also problematic due to sub-second granularity.

lib: ostream-multiplex - Optimize writing

lib: ostream-multiplex - Implement cork support

Support corking for multiplex channels

lib: ostream-multiplex - Fix code format issue

lib-ssl-iostream: Add unit test

lib-ssl-iostream: ostream-openssl - Prevent segfault o_stream_get_buffer_*_size() when buffer is not allocated yet.

m4: Substitute variables in modules.m4

Otherwise they do not work in Makefiles

userdb-passwd: Fix getpwent errno handling

In https://bugs.gentoo.org/667118 Reuben Farrelly
noticed that running
    # doveadm user '*'
causes auth daemon to generate errors like:
    auth-worker(3585): Error: getpwent() failed: Invalid argument

This happens because on successful call getpwent()
now sets errno=EINVAL starting from glibc-2.28.
See https://sourceware.org/PR16004 for details.

The fix is to reset 'errno' before 'getpwent()' is called.

Reported-by: Reuben Farrelly
Bug: https://bugs.gentoo.org/667118
Bug: https://sourceware.org/PR16004
Original-Author: Sergei Trofimovich <slyfox@gentoo.org>

dsync: Fix importing keywords with MAIL_TRANSACTION_SYNC flag set

Reading transaction logs was handled differently depending on the
MAIL_TRANSACTION_SYNC flag. The flag was set for all transactions written
by dsync.

So for example:
 * doveadm backup mdbox:/tmp/mdbox1 # keywords imported ok
 * doveadm -o mail=mdbox:/tmp/mdbox1 backup mdbox:/tmp/mdbox2 # keywords lost

lib-smtp: test-smtp-submit - Fix typo in error message

auth: oauth2: set scope to passdb_oauth2_settings

lib-oauth2: append scope to the access request payload

lib: Changed chown to chmod for Linux NFS Flush

This change switches the chown call to a chmod call in the function
nfs_flush_chown_uid because the chown call was resulting in certain
permission bits being dropped when the nfs attributes were flushed.

Functionality for FreeBSD/Solaris was left unchanged.

lib: Split up logic in nfs_flush_chown_uid

This splits up the logic of nfs_flush_chown_uid() so that there is an
individual chown call for each platform instead of a single call that is
compiled for both platforms.

This is the first step to adjusting how nfs attributes are flushed on
Linux because of an issue with chown resetting permissions on the files.

doveadm: Fix "service stop" to not print "Interrupted system call" error

The "service stop" handler no longer needs to read the VERSION line.
Broken by 2148805a75abd86d1769d9fd20652551cc5c5ac2

master: Handle and report system clock glitches in millisecond resolution internally.

master: Handle throttling of services in millisecond resolution internally.

lib-storage: mail-storage-service: Handle and report system clock glitches in millisecond resolution.

lib: ioloop: Make the callback for io_loop_set_time_moved_callback() use struct timeval.

This allows reporting sub-second glitches.

lib: ioloop: Perform calculcations for the detection of system clock glitches in microseconds.

global: Replace usleep() with i_sleep*_usecs and i_sleep*_msecs().

This prevents overflows and makes sure signal interruptions are handled
appropriately.

lib: Implement reliable sleep functions i_sleep*_usecs(), i_sleep*_msecs(), and i_sleep*_secs().

Versions with and without support for being interrupted by signals are available.

lib: time-util: Add timeval_add_usecs() and timeval_sub_usecs().

lib: ioloop: Never decrease wait time counters in ioloop_add_wait_time().

Prevents problems when time moves backwards.

lib: file-lock: Never decrease the wait time counter in file_lock_wait_end().

Prevents problems when time moves backwards.

script: health-check: add health-check.sh default script

As a example for an simple tcp health check the health-check.sh script
is added. It closes the connection after 10 seconds and only answer to
"PING\n" with a "PONG\n". It is installed by default next to the script
executable.

script: add a parameter -p for passthrough scripts

Adding the passthrough option to script, this allows to configure a
script to be straightly called from a socket connection, without
implementing any specific protocol.