lib-imap: Fix writing BODYSTRUCTURE for truncated multipart/ part

If the max nesting limit is reached, write the last part out as
application/octet-stream. The original content-type could be confusing
IMAP clients when they don't see any child parts.

lib-imap: Fix writing BODYSTRUCTURE for truncated message/rfc822 part

If the max nesting limit is reached, write the last part out as
application/octet-stream instead of dummy message/rfc822.

Fixes error while parsing BODYSTRUCTURE:
message_part message/rfc822 flag doesn't match BODYSTRUCTURE

NEWS: Add news for 2.3.13

lib-imap: Don't generate invalid BODYSTRUCTURE when reaching MIME part limit

If the last MIME part was message/rfc822 and its child was truncated away,
BODYSTRUCTURE was missing the ENVELOPE and BODY[STRUCTURE] parts. Fixed by
writing empty dummy ones.

lib-mail: message-parser - Fix assert-crash when enforcing MIME part limit

The limit could have been exceeded with message/rfc822 parts.

imap: Add unit test for imap-client-hibernate

imap: imap_client_hibernate() - Return reason string on failure

This helps writing a unit test for it.

imap: Delay initializing client IO until client_create_finish()

This helps writing unit tests.

imap: Fix crash if imap-hibernate socket can't be connected to

The error was supposed to be returned to caller, not logged directly.

imap: Escape tag when sending it to imap-hibernate process

lib-imap: Add imap_parser_client_read_tag()

imap-login: Use imap_parser_read_tag() and _read_command_name()

imap-login: Split off client_invalid_command()

imap: Use imap_parser_read_tag() and _read_command_name()

imap: Split off client_command_failed_early()

lib-imap: Add imap_parser_read_tag() and _read_command_name()

lib-master: Add 5 second timeout when waiting for stats-writer handshake

Previously the wait was infinite and nothing was logged, making it difficult
to know that the problem is with a hanging stats process.

lib-master, stats: Fix sending and parsing UPDATE commands

These commands were parsed completely wrong, resulting in errors like:

Client sent invalid input for UPDATE: Invalid tv_created: Invalid timeval microseconds parameter

lib-lua: Install libdovecot-lua binaries

This turns this into a full-fledged library.  This addresses the issue where
libdovecot-lua is completely included in anything that uses it, which caused
unnecessarily bloat and could have caused linker problems with multiple
definitions of the same symbol.

lib-storage: Split off the mail user lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the mailbox attribute lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mailbox lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mail lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Move storage related lua code into libdovecot-storage-lua.la

This keeps all the storage code in one place.

auth: db-lua - Fix invalid stack empty check

3e11b97 introduced assertions to ensure the lua stack is empty after
execution.  In auth_lua_call_password_verify() this check was inserted
*before* popping the error message from the stack, ultimately causing the
assertion to fail every time the lua script has a runtime error, leading to
process crashing.

lib-storage: Remove cydir storage format support

lib-storage: Fix potential assert-crash fetching BODY[STRUCTURE] when mail's size is cached wrong

This happened only after mail's size was detected to be different than the
mail's cached size.

Fixes:
Panic: file index-mail.c: line 1140 (index_mail_parse_body_finish): assertion failed: (mail->data.parts != NULL)

plugins: Remove expire plugin

The autoexpunge functionality should be used instead.

plugins: Remove mail-filter plugin

plugins: Remove snarf plugin

plugins: Remove autocreate plugin

Automatic mailbox creation should be done via the autocreate namespace
option.

lib-lua: Stop sharing lua states based on the script file name

Instead of all instances of the same lua script sharing the same stack and
globals, make them completely separate instances.  Removing this
optimization will make support of yielding possible.

lib-lua: Use lua_register() instead of open-coding it

NEWS: Add NEWS for 2.3.11.3

NEWS: Add NEWS for 2.3.11.2

NEWS: Add news for 2.3.11

man: doveadm-proxy - Minor fixes to doveadm proxy kick

lib: test-file-cache - Assert map is not null before memcmp

lib-mail: test-message-search - Assert ret

Found by static analysis

lib-mail: test-message-search - Assert that found value is not NULL

Satisfies static analysers

lib-mail: test-message-decoder - Assert ret

Found by static analysis

lib-storage: Fix potential assert-crash when fetching body snippet

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Fix potential assert-crash when adding missing attachment flags

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file index-mail-headers.c: line 298 (index_mail_parse_header): assertion failed: (part != NULL)

lib-dcrypt: istream-decrypt - Assert that max_buffer_size > 0

Otherwise all reads return -2, which will just result in assert-crash in
i_stream_read().

lib: istream-error - Set max_buffer_size

Although nothing is actually read from the stream, some filter istreams
don't behave properly with max_buffer_size=0. Currently at least
istream-decrypt returns -2 for reads instead of -1.

Fixes:
Panic: file istream.c: line 320 (i_stream_read_memarea): assertion failed: (_stream->skip != _stream->pos)

lib-storage: test_mail_storage_deinit() - Don't try to clear freed memory

ctx was already freed. Trying to memset() into it will just result in
writing to already freed memory.

lib-oauth2: test-oauth2-jwt - Add tests for HS384 and HS512

lib-oauth2: Fix whitespace in test-oauth2-jwt.c

lib: test-hmac - Add tests for hmac sha384

lib: test-hash-method - Add tests for sha2

lib: hash-method - Add sha384 support

lib: Fix whitespace in sha2.c

lib: test-hmac - Add HMAC 512 test

lib: hmac - Support different hash algorithms

Code was hardcoded for MD4,MD5,SHA-1.

lib: hmac - Adjust HMAC_MAX_CONTEXT_SIZE to accommodate HMAC512

lib: hash-method - Add block size

This is needed for HMAC

lib: hash-method - Use named initializers

lib-oauth2: Remove unused include from oauth2.c.

lib-oauth2: Make oauth2_request_set_headers() static.

lib-oauth2: Rename oauth2_request_free_internal() to oauth2_request_free().

And make it static.

lib-oauth2: Rename oauth2_parse_json() to oauth2_request_parse_json().

lib-oauth2: Move oauth2_request_set_headers() to oauth2-request.c.

lib-oauth2: Move oauth2_request_abort() to oauth2-request.c.

lib-oauth2: Move oauth2_request_free_internal() to oauth2-request.c.

lib-oauth2: Move oauth2_parse_json() to oauth2-request.c.

lib-oauth2: Reformat test-oauth2-jwt.c.

lib-oauth2: Reformat oauth2-jwt.c.

lib-oauth2: Reformat oauth2-key-cache.c.

lib-oauth2: Reformat oauth2-request.c.

lib-oauth2: Reformat oauth2.c.

lib-oauth2: Reformat oauth2-private.h.

lib-oauth2: Reformat oauth2.h.

auth: db-oauth2 - Add consistent prefix for all error messages

auth: db-oauth2 - Fix debug logging

Don't log a debug message when the callback is going to be logging
exactly the same message as info/error.

auth: db-oauth2 - Call db_oauth2_lookup_continue_valid() after valid grant

No need to check for error/validity again in db_oauth2_lookup_continue().

auth: db-oauth2 - db_oauth2_lookup_continue() - Minor cleanup to avoid variables

auth: db-oauth2 - Split off db_oauth2_lookup_continue_valid()

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder error handling code flow

auth: db-oauth2 - Improve "Internal error" message for grant lookups

auth: db-oauth2 - Add and use db_oauth2_field_find()

auth: db-oauth2 - Don't set db_oauth2_request.token for grant lookups

The grant lookup sets the token. There's no need to set it before that.

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder code flow

No behavioral changes.

auth: db-oauth2 - Refactor "OAuth2 token missing from reply" code path

It can be NULL only when coming from db_oauth2_lookup_passwd_grant(),
so handle it there.

auth: db-oauth2 - db_oauth2_template_export() - Make var_expand() error handling consistent

Other var_expand() errors include the original string in the error message,
so this one should also.

lib-oauth2: Improve error message when server returns unexpected result

If the result isn't 2xx or 4xx, use the HTTP response message as the error
message.

lib-oauth2: Don't fail if oauth response payload is NULL

oauth2_parse_json() is happy with with empty payload (Content-Length: 0),
so it should be happy also when payload is NULL (Content-Length is missing).

lib-oauth2: Remove unused oauth2-passwd-grant.c

lib-oauth2, auth: Remove redundant oauth2_request_result.success

success is the same as (error == NULL)

lib-oauth2: json_parsed_cb() - Remove redundant success parameter

success is the same as (error == NULL)

fs-compress: Use istream-decompress

lib-compression: Fix detecting if input is bzip2 compressed

The detection was broken at least for empty bzip2 input.

lib-compression: Add istream-decompress

This stream detects the compression format and creates the proper istream
afterwards. This is more efficient than creating each compression istream
and using istream-try.

lib-storage: Add test-mail unit test

Initially it just accesses the mail randomly.

mail-crypt: test-mail-crypt - Use test-mail-storage API

lib-storage: Add a public test-mail-storage-common.h API

Moved the public functions into test-mail-storage-common.c

lib-storage: test-mail-storage - Die on test_mail_init_user() failure

This way the caller won't need to do error handling. The errors were
being handled inconsistently.

lib-storage: test-mail-storage - Remove randomness from test home directory

Also rename test_mail_storage_ctx.mail_home to home_root to better describe
it.

lib-storage: test-mail-storage - Change test_mail_init() to allocate the struct

lib-storage: test-mail-storage - Use settings struct for test_mail_init_user()

lib: i_stream_read() - Don't create empty snapshots

This allows the read() implementation to read data into the existing
memarea. Otherwise a new memarea might have to be created because the old
one is referenced by the snapshot.