lib-dcrypt: Add tests for raw keys

lib-dcrypt: Implement raw key API using OpenSSL

lib-dcrypt: Add API for dealing with raw keys

lib-dcrypt: Fix i2d_ASN1_OBJECT usage

i2d_ASN1_OBJECT tells how much memory we need.

lib-dcrypt: Symbolize maximum OID length

lib-dcrypt: Use len instead of ln

lib-http: Make http_client_request_delay_from_response() public

push-notification: Allow easy access to Message-ID header

lib-lda: mail-deliver - Emit events at start and finish of delivery.

lib-lda: Replace i_warning() with e_warning().

lib-lda: Replace i_info() with e_info().

lib-lda: Replace i_error() with e_error().

lib-lda: mail-deliver - Add message fields to the deliver event.

lib-lda: mail-deliver - Rename mail_deliver_cache to mail_deliver_fields.

Also make the fields public.

lda: Use LDA event as mail_*user's parent event.

lda: Add support for event API.

lda: Assign envelope fields in mail deliver context right away.

lmtp: lmtp-local - Use recipient event for mail delivery.

lib-lda: mail-deliver - Add support for event API.

lib-lda: Initialize/deinitialize mail_deliver_context in separate functions.

This changes the allocation of parsed SMTP addresses to initially use a
datastack pool rather than the mail_deliver context pool. This is necessary
because the context is created a bit later. Upon mail_deliver_init(), the
addresses are moved to the context pool.

lda: Move mail_deliver() invocation to a separate function.

lib-lda: mail-deliver - Split the mail_deliver() function to perform post-delivery cleanup in one place.

lib: str - Add str_replace().

lib: buffer - Add buffer_replace().

lib: buffer - Improve header comment for buffer_insert() and buffer_delete().

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.

lib: test-base64 - Add explicit test cases for encoding/decoding the empty string.

lib: base64 - Add assertion preventing calling base64_encode_more() after base64_encode_finish().

lib: test-istream-base64-decoder - Reduce minimum random stream buffer size to 1.

lib: test-istream-base64-decoder - Abort random test at first error and print parameters.

lib: test-istream-base64-encoder - Fix test names.

lib: test-base64 - Abort random test at first error and print parameters.

lib: test-base64 - Test Base64 encoding with maximum line length of 1.

This corner case is a useful test for problems in the line encoding.

lib: test-base64 - Better check output of incrementally encoded random Base64.

Check whether it is equal to the same data encoded as a single block and whether
the length matches the base64_get_full_encoded_size() output.

lib: base64 - Fix incremental/streaming Base64 encoding with CRLF line endings.

Line lengths became inconsistent due to a design error. The encoding itself
remained valid. The linefeed is no longer appended to the write buffer when the
destination buffer is full. Rather, a flag is set that makes the encoder emit
the linefeed immediately next time the encoder is called with more buffer
space. Appending it to the write buffer was wrong; it in fact needs to be
prepended and in that case a flag is more efficient.

lib: base64 - Restructure base64_encode_get_size().

lib: base64 - Use unsigned size type for base64_get_full_encoded_size().

Makes more sense.

lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.

lib: test-istream-base64-decoder - Use unsigned int for bit field in random test.

lib: base64 - Fix dest buffer assertion in base64_decode_more().

The assertion is supposed to trigger when the encoder hits the buffer size limit
unexpectedly (src_pos_r==NULL means that all should be encoded at once). It
triggered erroneously when the destination buffer had the exact size needed
for the encoded data.

lib: test-istream-base64-decoder - Add extensive random base64 stream I/O unit test.

lib: istream-base64-encoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: istream-base64-decoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: base64 - Restructure encoder to always fill the output buffer as much as possible.

This is not strictly required, but makes the encoder easier to use in streams
and less bug-prone in incremental encoding applications in general.

lib: base64 - Allow encoding line endings one octet at a time.

lib: base64 - Add more w_buf_len assertions to encoder.

lib: base64 - Use sizeof() for determining the size of the encoder w_buf.

lib: base64 - Fix base64_get_full_encoded_size() for size 0.

lib: istream-base64-decoder - Use i_stream_try_alloc() properly.

lib: istream-base64-encoder - Use i_stream_try_alloc() properly.

imap: previews/snippets requested with lazy update the caching decision

If lazy is true set the lookup_abort to NOT_IN_CACHE_START_CACHING
which results in the snippet field becoming wanted for caching.

lib-storage: change caching decision for lazy requests in cache lookup

In case  lookup_abort is set to NOT_IN_CACHE_START_CACHING update the
cacheing decision for the requested field.

lib-storage: introduce MAIL_LOOKUP_ABORT_NOT_IN_CACHE_START_CACHING

In some cases we would like to mark an field as to be cached but still
don't fetch it now. For this occasions this change introduces a new enum
value for mail_lookup_abort which allows to implement such a behaviour.

lib-index: move mail_cache_decision_add to public header

To allow other components to mark fields as to be cached move the
declaration from mail-cache-private.h to mail-cache.h.

lib-ssl-iostream: Remove problematic unit tests

These unit tests are unreliable with new versions of openssl
present in ubuntu 18 and debian buster.

auth: winbind - Make static analyzer happier

lib: base64 - Add high-level data and string encode functions with data stack buffer output.

lib: base64 - Add flags and max_line_size parameters to the new high-level encode functions.

Cannot change the API of existing functions.

lib: base64 - Add high-level data decode functions with data stack buffer output.

Similar functions accepting C string input already exist.

lib: base64 - Add flags parameters to the new high-level decode functions.

Cannot change the API of existing functions.

lib: base64 - Add BASE64_DECODE_FLAG_IGNORE_PADDING.

Makes padding optional rather than either disallowed or required.

lib: base64 - Reformat flag handling in base64_decode_more().

lib: base64 - Remove unused assignment.

Found by Clang scan-build.

lib: base64 - Add support for decoding without padding.

lib: base64 - Add support for encoding without padding.

lib: istream-base64-encoder - Use the new low-level incremental Base64 encoding API.

lib: base64 - Add support for adding line breaks to encoded output.

lib: base64 - Add base64_get_full_encoded_size().

lib: base64 - Add decode flag for prohibiting whitespace.

lib: base64 - Deprecate src_pos_r parameter of base64_decode().

Only NULL pointer is allowed. This allows using the new incremental API
internally, thereby dropping the old decoder implementation.

lib: istream-base64-decoder - Use the new low-level incremental Base64 decoding API.

lib: base64 - Properly implemenent incremental decoding.

lib: base64 - Properly implemenent incremental encoding.

lib: buffer - Add buffer_get_avail_size().

This determines how much data can be added to buffer.

lib: istream-base64 - Add support for base64url encoding.

lib: base64 - Add support for base64url encoding.

lib: base64 - Make code suitable for encoding/decoding different Base64 variants.

lib: base64 - Add structural comments.

lib: base64.h - Move size macros.

lib: base64 - Make encoding table an explicit array.

Before, it was a string constant.

lib: base64.c - Move mapping tables.

lib: test-base64 - Make sure base64_decode() won't allocate any extra space

I was just considering an optimization where it would, until I realized it
could break some existing code.

lib: test-base64 - Cleanup: Use more exact test_asserts

This way it's easier to see why tests are failing.

lib: test-base64 - Cleanup: Use the same struct for test input and output

lib: test-base64 - Test MAX_BASE64_{EN,DE}CODED_SIZE() with existing tests

lib: base64 - Change MAX_BASE64_DECODED_SIZE() to be more exact

If the input has only full base64 blocks (is divisible by 4), there's no
need to add the extra +3.

lib: base64 - Simplify MAX_BASE64_ENCODED_SIZE() calculation

Rely on (X + (Y - 1)) / Y being the same as ceil(X / Y) when operating on
integers.

This has a couple of benefits over the previous expression:

 1) the size argument is evaluated only once
 2) the generated code is simpler (no conditional instructions)
 3) the generated code is smaller

The generated code shrinks in terms of both bytes and instruction count.
The following table lists the number of bytes (B) and instructions (I) used
by the code before and after this change on an assortment of architectures
when the input is not known at compile time.  Unless otherwise noted, the
results are based clang 6.0.1 output.

         | before  | after  |    delta
---------+---------+--------+-------------
aarch64  | 32B  8I | 24B 6I | -25%B -25%I
amd64    | 38B 10I | 25B 5I | -34%B -50%I
amd64 [1]| 43B 10I | 31B 6I | -28%B -40%I
armv7    | 36B  9I | 24B 6I | -33%B -33%I
i386     | 32B 12I | 20B 6I | -38%B -50%I
i386 [1] | 35B 11I | 25B 7I | -29%B -36%I
ppc32    | 44B 11I | 20B 5I | -55%B -55%I
ppc64    | 52B 13I | 32B 8I | -38%B -38%I
s390x    | 74B 16I | 26B 5I | -65%B -69%I
sparcv9  | 36B  9I | 12B 3I | -66%B -66%I

[1] gcc 8.2.0

lib: Fix updating timeouts after time moves backwards

Broken by b258137d0e0618ae792e3606071a1715d26f107b

Fixes:
Panic: file ioloop.c: line 479 (timeout_get_wait_time): assertion failed: (ret > 0 && tv_r->tv_sec >= 0 && tv_r->tv_usec >= 0)

lib: timeval_add/sub_usecs() - Add assert to make sure negative values aren't used

The current code doesn't work correctly if negative values are used.
The code could of course be changed to handle them, but maybe assert is
better to catch bugs.

lib, lib-dcrypt: Fix unit tests to check i_stream_read() return value

cassandra: Fix crash due to race condition with threads

Broken by changes in 0a5a2b81c266c11c34ab36b20816909dc3e715ac

The crash could happen because driver_cassandra_future_callback() can be
called any time, even before returning from driver_cassandra_set_callback().
This could result in both cb->id and cb->to being set and using the cb
after it's already freed.

cassandra: Cleanup - Move code to cassandra_callback_detach()

lib-storage: Add mailbox_attribute_internal.iter()

This mainly allows internal attributes with children to actually be able to
list the childrens' keys.

imap: Only send NIL on GETMETADATA when query depth is 0

imap: GETMETADATA: Ignore MAIL_ERROR_NOTPOSSIBLE errors when using DEPTH parameter

This most likely means that imap_metadata=no, but the client still wants to
fetch recursively validated metadata entries. This should return in OK
instead of NO reply.

auth: Do not unref policy payload too early

This can cause the context to be free'd too early leading
to crashes.

lib-imap-metadata: setting metadata literal value does not delete it

Only if value and value_stream are NULL the metadata can be unset.

lib-smtp: Fix encoding quoted localparts that end with "."

For example "user..@example.com" or "user..test.@example.com" resulted
in an extra '"' prefix.

lib-storage: Mark /private/specialuse attribute to be validated