imap: Use imap_parser_read_tag() and _read_command_name()

imap: Split off client_command_failed_early()

lib-imap: Add imap_parser_read_tag() and _read_command_name()

lib-master: Add 5 second timeout when waiting for stats-writer handshake

Previously the wait was infinite and nothing was logged, making it difficult
to know that the problem is with a hanging stats process.

lib-master, stats: Fix sending and parsing UPDATE commands

These commands were parsed completely wrong, resulting in errors like:

Client sent invalid input for UPDATE: Invalid tv_created: Invalid timeval microseconds parameter

lib-lua: Install libdovecot-lua binaries

This turns this into a full-fledged library.  This addresses the issue where
libdovecot-lua is completely included in anything that uses it, which caused
unnecessarily bloat and could have caused linker problems with multiple
definitions of the same symbol.

lib-storage: Split off the mail user lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the mailbox attribute lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mailbox lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Split off the struct mail lua code

Move the code into a separate file to mirror the native C code layout.

lib-storage: Move storage related lua code into libdovecot-storage-lua.la

This keeps all the storage code in one place.

auth: db-lua - Fix invalid stack empty check

3e11b97 introduced assertions to ensure the lua stack is empty after
execution.  In auth_lua_call_password_verify() this check was inserted
*before* popping the error message from the stack, ultimately causing the
assertion to fail every time the lua script has a runtime error, leading to
process crashing.

lib-storage: Remove cydir storage format support

lib-storage: Fix potential assert-crash fetching BODY[STRUCTURE] when mail's size is cached wrong

This happened only after mail's size was detected to be different than the
mail's cached size.

Fixes:
Panic: file index-mail.c: line 1140 (index_mail_parse_body_finish): assertion failed: (mail->data.parts != NULL)

plugins: Remove expire plugin

The autoexpunge functionality should be used instead.

plugins: Remove mail-filter plugin

plugins: Remove snarf plugin

plugins: Remove autocreate plugin

Automatic mailbox creation should be done via the autocreate namespace
option.

lib-lua: Stop sharing lua states based on the script file name

Instead of all instances of the same lua script sharing the same stack and
globals, make them completely separate instances.  Removing this
optimization will make support of yielding possible.

lib-lua: Use lua_register() instead of open-coding it

NEWS: Add NEWS for 2.3.11.3

NEWS: Add NEWS for 2.3.11.2

NEWS: Add news for 2.3.11

man: doveadm-proxy - Minor fixes to doveadm proxy kick

lib: test-file-cache - Assert map is not null before memcmp

lib-mail: test-message-search - Assert ret

Found by static analysis

lib-mail: test-message-search - Assert that found value is not NULL

Satisfies static analysers

lib-mail: test-message-decoder - Assert ret

Found by static analysis

lib-storage: Fix potential assert-crash when fetching body snippet

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Fix potential assert-crash when adding missing attachment flags

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file index-mail-headers.c: line 298 (index_mail_parse_header): assertion failed: (part != NULL)

lib-dcrypt: istream-decrypt - Assert that max_buffer_size > 0

Otherwise all reads return -2, which will just result in assert-crash in
i_stream_read().

lib: istream-error - Set max_buffer_size

Although nothing is actually read from the stream, some filter istreams
don't behave properly with max_buffer_size=0. Currently at least
istream-decrypt returns -2 for reads instead of -1.

Fixes:
Panic: file istream.c: line 320 (i_stream_read_memarea): assertion failed: (_stream->skip != _stream->pos)

lib-storage: test_mail_storage_deinit() - Don't try to clear freed memory

ctx was already freed. Trying to memset() into it will just result in
writing to already freed memory.

lib-oauth2: test-oauth2-jwt - Add tests for HS384 and HS512

lib-oauth2: Fix whitespace in test-oauth2-jwt.c

lib: test-hmac - Add tests for hmac sha384

lib: test-hash-method - Add tests for sha2

lib: hash-method - Add sha384 support

lib: Fix whitespace in sha2.c

lib: test-hmac - Add HMAC 512 test

lib: hmac - Support different hash algorithms

Code was hardcoded for MD4,MD5,SHA-1.

lib: hmac - Adjust HMAC_MAX_CONTEXT_SIZE to accommodate HMAC512

lib: hash-method - Add block size

This is needed for HMAC

lib: hash-method - Use named initializers

lib-oauth2: Remove unused include from oauth2.c.

lib-oauth2: Make oauth2_request_set_headers() static.

lib-oauth2: Rename oauth2_request_free_internal() to oauth2_request_free().

And make it static.

lib-oauth2: Rename oauth2_parse_json() to oauth2_request_parse_json().

lib-oauth2: Move oauth2_request_set_headers() to oauth2-request.c.

lib-oauth2: Move oauth2_request_abort() to oauth2-request.c.

lib-oauth2: Move oauth2_request_free_internal() to oauth2-request.c.

lib-oauth2: Move oauth2_parse_json() to oauth2-request.c.

lib-oauth2: Reformat test-oauth2-jwt.c.

lib-oauth2: Reformat oauth2-jwt.c.

lib-oauth2: Reformat oauth2-key-cache.c.

lib-oauth2: Reformat oauth2-request.c.

lib-oauth2: Reformat oauth2.c.

lib-oauth2: Reformat oauth2-private.h.

lib-oauth2: Reformat oauth2.h.

auth: db-oauth2 - Add consistent prefix for all error messages

auth: db-oauth2 - Fix debug logging

Don't log a debug message when the callback is going to be logging
exactly the same message as info/error.

auth: db-oauth2 - Call db_oauth2_lookup_continue_valid() after valid grant

No need to check for error/validity again in db_oauth2_lookup_continue().

auth: db-oauth2 - db_oauth2_lookup_continue() - Minor cleanup to avoid variables

auth: db-oauth2 - Split off db_oauth2_lookup_continue_valid()

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder error handling code flow

auth: db-oauth2 - Improve "Internal error" message for grant lookups

auth: db-oauth2 - Add and use db_oauth2_field_find()

auth: db-oauth2 - Don't set db_oauth2_request.token for grant lookups

The grant lookup sets the token. There's no need to set it before that.

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder code flow

No behavioral changes.

auth: db-oauth2 - Refactor "OAuth2 token missing from reply" code path

It can be NULL only when coming from db_oauth2_lookup_passwd_grant(),
so handle it there.

auth: db-oauth2 - db_oauth2_template_export() - Make var_expand() error handling consistent

Other var_expand() errors include the original string in the error message,
so this one should also.

lib-oauth2: Improve error message when server returns unexpected result

If the result isn't 2xx or 4xx, use the HTTP response message as the error
message.

lib-oauth2: Don't fail if oauth response payload is NULL

oauth2_parse_json() is happy with with empty payload (Content-Length: 0),
so it should be happy also when payload is NULL (Content-Length is missing).

lib-oauth2: Remove unused oauth2-passwd-grant.c

lib-oauth2, auth: Remove redundant oauth2_request_result.success

success is the same as (error == NULL)

lib-oauth2: json_parsed_cb() - Remove redundant success parameter

success is the same as (error == NULL)

fs-compress: Use istream-decompress

lib-compression: Fix detecting if input is bzip2 compressed

The detection was broken at least for empty bzip2 input.

lib-compression: Add istream-decompress

This stream detects the compression format and creates the proper istream
afterwards. This is more efficient than creating each compression istream
and using istream-try.

lib-storage: Add test-mail unit test

Initially it just accesses the mail randomly.

mail-crypt: test-mail-crypt - Use test-mail-storage API

lib-storage: Add a public test-mail-storage-common.h API

Moved the public functions into test-mail-storage-common.c

lib-storage: test-mail-storage - Die on test_mail_init_user() failure

This way the caller won't need to do error handling. The errors were
being handled inconsistently.

lib-storage: test-mail-storage - Remove randomness from test home directory

Also rename test_mail_storage_ctx.mail_home to home_root to better describe
it.

lib-storage: test-mail-storage - Change test_mail_init() to allocate the struct

lib-storage: test-mail-storage - Use settings struct for test_mail_init_user()

lib: i_stream_read() - Don't create empty snapshots

This allows the read() implementation to read data into the existing
memarea. Otherwise a new memarea might have to be created because the old
one is referenced by the snapshot.

imap: Process title wrongly shows connections are "corked"

The flush callback in ostream-file always corks the connection, so the
process title needs to be delayed until it's no longer in that callback.
Add a 0-timeout to update the process title.

lib-lua: Rewrite arg checking macros to use STMT_{START,END}

This makes it safer to use.  Additionally, this commit adds some newlines to
the macro definition to make it more readable.

login-proxy: Use persistent istream buffers

Constantly freeing and allocating the memory is a bit slow, but because
Dovecot allocates all memory with calloc() the memory cleaing is especially
slow. With this change proxying lots of data in a plaintext connection
takes about 50% less CPU. The downside is that it uses about 4 kB more
memory per istream (8 kB total, for both client and server connections),
but that shouldn't be too bad for proxies since they don't use much memory
otherwise.

lib-mail: test-istream-qp-decoder.c - Free input_data_limited

lib-http: http-client-request - Fix payload assertions in http_client_request_send_more().

When the request payload is finished, both req->payload_input and
req->payload_output could be NULL, so the assertions on those being not NULL
need to happen after the check for req->payload_finished.

This particularly causes problems with the
blocking http_client_request_send/finish_payload() API, which constantly
modifies req->payload_input and sets it to NULL to finish the output.

This caused a panic:

Panic: file http-client-request.c: line 1232 (http_client_request_send_more): assertion failed: (req->payload_input != NULL)

lib-http: test-http-payload - Add test for blocking client output payload.

lib-http: test-http-payload - Implement reference counting for client request.

lib-http: Reformat http-client-request.c.

notify: Free notify_mail_txn when a plugin does not define mail_transaction_commit

lib-mail: Add tests for message-size functions

Integrate testing of header and body size to existing tests and add new
tests specifically for message-size.

lib-mail: Extend quoted-printable encoding tests

lib-mail: Extend quoted-printable decoding tests

lib-mail: qp-encoder: Ensure trailing white space is followed by printable

In case a qp-encoded line ends with space or tab append a soft line
break to prevent white space being cut off by decoding instance.