NEWS: Add NEWS for 2.3.11.2

NEWS: Add news for 2.3.11

man: doveadm-proxy - Minor fixes to doveadm proxy kick

lib: test-file-cache - Assert map is not null before memcmp

lib-mail: test-message-search - Assert ret

Found by static analysis

lib-mail: test-message-search - Assert that found value is not NULL

Satisfies static analysers

lib-mail: test-message-decoder - Assert ret

Found by static analysis

lib-storage: Fix potential assert-crash when fetching body snippet

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file message-part-data.c: line 28 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Fix potential assert-crash when adding missing attachment flags

This happened only in a rather special condition. Added unit test to
reproduce it.

Fixes:
Panic: file index-mail-headers.c: line 298 (index_mail_parse_header): assertion failed: (part != NULL)

lib-dcrypt: istream-decrypt - Assert that max_buffer_size > 0

Otherwise all reads return -2, which will just result in assert-crash in
i_stream_read().

lib: istream-error - Set max_buffer_size

Although nothing is actually read from the stream, some filter istreams
don't behave properly with max_buffer_size=0. Currently at least
istream-decrypt returns -2 for reads instead of -1.

Fixes:
Panic: file istream.c: line 320 (i_stream_read_memarea): assertion failed: (_stream->skip != _stream->pos)

lib-storage: test_mail_storage_deinit() - Don't try to clear freed memory

ctx was already freed. Trying to memset() into it will just result in
writing to already freed memory.

lib-oauth2: test-oauth2-jwt - Add tests for HS384 and HS512

lib-oauth2: Fix whitespace in test-oauth2-jwt.c

lib: test-hmac - Add tests for hmac sha384

lib: test-hash-method - Add tests for sha2

lib: hash-method - Add sha384 support

lib: Fix whitespace in sha2.c

lib: test-hmac - Add HMAC 512 test

lib: hmac - Support different hash algorithms

Code was hardcoded for MD4,MD5,SHA-1.

lib: hmac - Adjust HMAC_MAX_CONTEXT_SIZE to accommodate HMAC512

lib: hash-method - Add block size

This is needed for HMAC

lib: hash-method - Use named initializers

lib-oauth2: Remove unused include from oauth2.c.

lib-oauth2: Make oauth2_request_set_headers() static.

lib-oauth2: Rename oauth2_request_free_internal() to oauth2_request_free().

And make it static.

lib-oauth2: Rename oauth2_parse_json() to oauth2_request_parse_json().

lib-oauth2: Move oauth2_request_set_headers() to oauth2-request.c.

lib-oauth2: Move oauth2_request_abort() to oauth2-request.c.

lib-oauth2: Move oauth2_request_free_internal() to oauth2-request.c.

lib-oauth2: Move oauth2_parse_json() to oauth2-request.c.

lib-oauth2: Reformat test-oauth2-jwt.c.

lib-oauth2: Reformat oauth2-jwt.c.

lib-oauth2: Reformat oauth2-key-cache.c.

lib-oauth2: Reformat oauth2-request.c.

lib-oauth2: Reformat oauth2.c.

lib-oauth2: Reformat oauth2-private.h.

lib-oauth2: Reformat oauth2.h.

auth: db-oauth2 - Add consistent prefix for all error messages

auth: db-oauth2 - Fix debug logging

Don't log a debug message when the callback is going to be logging
exactly the same message as info/error.

auth: db-oauth2 - Call db_oauth2_lookup_continue_valid() after valid grant

No need to check for error/validity again in db_oauth2_lookup_continue().

auth: db-oauth2 - db_oauth2_lookup_continue() - Minor cleanup to avoid variables

auth: db-oauth2 - Split off db_oauth2_lookup_continue_valid()

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder error handling code flow

auth: db-oauth2 - Improve "Internal error" message for grant lookups

auth: db-oauth2 - Add and use db_oauth2_field_find()

auth: db-oauth2 - Don't set db_oauth2_request.token for grant lookups

The grant lookup sets the token. There's no need to set it before that.

auth: db-oauth2 - db_oauth2_lookup_passwd_grant() - Reorder code flow

No behavioral changes.

auth: db-oauth2 - Refactor "OAuth2 token missing from reply" code path

It can be NULL only when coming from db_oauth2_lookup_passwd_grant(),
so handle it there.

auth: db-oauth2 - db_oauth2_template_export() - Make var_expand() error handling consistent

Other var_expand() errors include the original string in the error message,
so this one should also.

lib-oauth2: Improve error message when server returns unexpected result

If the result isn't 2xx or 4xx, use the HTTP response message as the error
message.

lib-oauth2: Don't fail if oauth response payload is NULL

oauth2_parse_json() is happy with with empty payload (Content-Length: 0),
so it should be happy also when payload is NULL (Content-Length is missing).

lib-oauth2: Remove unused oauth2-passwd-grant.c

lib-oauth2, auth: Remove redundant oauth2_request_result.success

success is the same as (error == NULL)

lib-oauth2: json_parsed_cb() - Remove redundant success parameter

success is the same as (error == NULL)

fs-compress: Use istream-decompress

lib-compression: Fix detecting if input is bzip2 compressed

The detection was broken at least for empty bzip2 input.

lib-compression: Add istream-decompress

This stream detects the compression format and creates the proper istream
afterwards. This is more efficient than creating each compression istream
and using istream-try.

lib-storage: Add test-mail unit test

Initially it just accesses the mail randomly.

mail-crypt: test-mail-crypt - Use test-mail-storage API

lib-storage: Add a public test-mail-storage-common.h API

Moved the public functions into test-mail-storage-common.c

lib-storage: test-mail-storage - Die on test_mail_init_user() failure

This way the caller won't need to do error handling. The errors were
being handled inconsistently.

lib-storage: test-mail-storage - Remove randomness from test home directory

Also rename test_mail_storage_ctx.mail_home to home_root to better describe
it.

lib-storage: test-mail-storage - Change test_mail_init() to allocate the struct

lib-storage: test-mail-storage - Use settings struct for test_mail_init_user()

lib: i_stream_read() - Don't create empty snapshots

This allows the read() implementation to read data into the existing
memarea. Otherwise a new memarea might have to be created because the old
one is referenced by the snapshot.

imap: Process title wrongly shows connections are "corked"

The flush callback in ostream-file always corks the connection, so the
process title needs to be delayed until it's no longer in that callback.
Add a 0-timeout to update the process title.

lib-lua: Rewrite arg checking macros to use STMT_{START,END}

This makes it safer to use.  Additionally, this commit adds some newlines to
the macro definition to make it more readable.

login-proxy: Use persistent istream buffers

Constantly freeing and allocating the memory is a bit slow, but because
Dovecot allocates all memory with calloc() the memory cleaing is especially
slow. With this change proxying lots of data in a plaintext connection
takes about 50% less CPU. The downside is that it uses about 4 kB more
memory per istream (8 kB total, for both client and server connections),
but that shouldn't be too bad for proxies since they don't use much memory
otherwise.

lib-mail: test-istream-qp-decoder.c - Free input_data_limited

lib-http: http-client-request - Fix payload assertions in http_client_request_send_more().

When the request payload is finished, both req->payload_input and
req->payload_output could be NULL, so the assertions on those being not NULL
need to happen after the check for req->payload_finished.

This particularly causes problems with the
blocking http_client_request_send/finish_payload() API, which constantly
modifies req->payload_input and sets it to NULL to finish the output.

This caused a panic:

Panic: file http-client-request.c: line 1232 (http_client_request_send_more): assertion failed: (req->payload_input != NULL)

lib-http: test-http-payload - Add test for blocking client output payload.

lib-http: test-http-payload - Implement reference counting for client request.

lib-http: Reformat http-client-request.c.

notify: Free notify_mail_txn when a plugin does not define mail_transaction_commit

lib-mail: Add tests for message-size functions

Integrate testing of header and body size to existing tests and add new
tests specifically for message-size.

lib-mail: Extend quoted-printable encoding tests

lib-mail: Extend quoted-printable decoding tests

lib-mail: qp-encoder: Ensure trailing white space is followed by printable

In case a qp-encoded line ends with space or tab append a soft line
break to prevent white space being cut off by decoding instance.

lib-mail: test-message-parser - Convert to signed when calculating variance

Satisfies runtime analyser, broken in 6b60e5ed490

lib-mail: message-decoder - Fix CTE parser to accept only syntaxically valid values

lib-mail: test-rfc822-parser - Add tests for content-type full parsing

lib-mail: message-decoder - Constify message_decoder_parse_cte parameter

lib-mail: rfc822-parser - Fix content-type parser to accept only valid values

imap: Fix potential hang if client disconnects with pipelined ambiguous commands

For example if client pipelines FETCH+LOGOUT commands and disconnects during
a large FETCH output, the LOGOUT command is processed as waiting for
unambiguity. This code path however doesn't detect a client disconnection,
and input IO handler is removed so it can't detect it either. So the imap
process hangs.

imap: Move disconnected-check inside client_continue_pending_input()

This way all of its callers don't have to check if the client is
disconnected.

lib-storage: Update comments about mail_search_args_init() and refcount handling

doveadm: Add timestamp prefixes for debug output

But still allow overriding from env by setting LOG_STDERR_TIMESTAMP.

lib-dict: dict_iterate() - Fix segfault with DICT_ITERATE_FLAG_NO_VALUE

Broken by cf0d196c2b373a37bc1ab4e10fde89fb61089f3c

dict-cdb: Fix to use new dict.iterate() API

Forgot in 65b7f04f945781cd042f5ad2f6f104f532143ee7

m4: size_t_signed.m4 - use static assertion instead of run test

a small step towards cross-compile-ability.

lib-index: Improve debug logging

lib-index: Handle rapidly rotating transaction logs without unnecessary fsck

lib-index: mail_index_reopen_if_changed() - Add reopened_r parameter

lib-index: mail_index_sync_map() - Move corruption handling to caller

lib-index: mail_index_map_latest_sync() - Minor refactoring

lib-index: Split off mail_index_map_latest_sync()

lib-index: mail_index_sync_map() - Always return -1 on I/O failures

Even though with force=FALSE in theory it would be possible to work around
it, but more likely it will just cause another I/O error. This simplifies
the code for the following changes.

lib-index: Move calling mail_index_sync_map_want_index_reopen() to mail_index_map()

lib-index: Split off mail_index_sync_map_want_index_reopen()