lib-oauth2: Don't crash when http response has no payload

lib-oauth2: Remove obsolete files.

lib-oauth2: Refactor oauth request code.

Use one parameterized function instead of three copy-paste functions.

lib-oauth2: Add client_id and client_secret to introspect request

auth: Fix deinitialization of multiple passdbs.

lib: Use uintptr_t in PTR_OFFSET and POINTER_CAST

Use uintptr_t instead of pointers.

Fixes clang 6.0 warning: arithmetic on a null pointer treated as a cast from integer to pointer is a GNU extension

lib-http: http-client-connection - Create function for obtaining client settings reliably.

This fixes and prevents segfaults occurring when settings are needed while the
connection is detached. In that case, the shared client context settings need
to be used rather than the client settings. Before, the attachment of a peer was
assumed for obtaining the settings when it actually could be absent in rare
cases, causing a NULL dereference.

lib-http: http-client-connection - Make sure the request timeout is stopped when no more request are pending.

lib-http: http-client-connection - Descend event from client context rather than client.

The connection is potentially switched between clients often causing the
client event prefix to make no sense.

fts: Fix buffer overflow when reading oversized fts header

lib-storage: Fix buffer overflow when reading oversized hdr-pop3-uidl header

lib-program-client: Run local client tests with valgrind --trace-children=no.

Before, valgrind was omitted entirely.

lib-program-client: test-program-client-local: Properly deallocate all streams for big I/O test.

core: Update README.md to fix broken RFC links

lib: Panic on most epoll_ctl() failures

Anything except ENOSPC or ENOMEM points to a bug in code. Getting core dump
from those helps debugging.

auth: Add client_secret setting

auth: Fix for processing oauth2 responses with 4xx HTTP status.

lib-oauth2: Provide a unit test for the JSON response payload parser.

lib-oauth2: Fix assert panic occurring while skipping ignored object and array fields.

Fixed by using json_parse_skip(), rather than json_parse_skip_next(). The latter
is not suitable for skipping a value that is already partially parsed by
json_parse_next().

Panic was:

Panic: file json-parser.c: line 668 (json_parse_skip_next): assertion failed: (parser->state == JSON_STATE_OBJECT_COLON || parser->state == JSON_STATE_OBJECT_VALUE || parser->state == JSON_STATE_ARRAY_VALUE || parser->state == JSON_STATE_ARRAY_NEXT)

lib-oauth2: Fix asynchronous parsing of JSON response payload.

The problem was caused by the fact that req->field_name was reset in the
beginning of oauth2_parse_json(), which is continuously called when more payload
can be read from the input stream. This leads to corruption of the parser state
machine each time parsing is continued.

To fix this issue, the field_name is now reset only when the parsing commences.

lib: json-parser: Add unit test on skipping various object member fields.

This both tests skipping fields based on their member key and based on their
value types; i.e., after calling json_parse_next() for the object member value.

lib: json-parser: Add support for skipping a value that is already partially parsed.

Adds json_parse_skip(), which skips the remainder of the value parsed earlier by
json_parse_next(). This is needed when values need to be skipped by their value
type rather than their object member key.

lib-storage: pop3c - Copy SSL settings correctly

When attempting to use pop3c with immediate SSL, it would
crash due to invalid memory access during connection setup.
Also the SSL mode is not copied so SSL handshake is not attempted
at later stage.

Was broken in 01435c38e7 and ebcf7d6c92

auth: Fix processing of wrong password for oauth2 password grant

doc: Add Solr 7.7 configuration files

The schema for 7.7 is based on work by Daniel Miller <dmiller@amfes.com>.

fts-solr: Add rawlog support

fts-solr: Use fts_solr_settings struct in solr_connection_init()

doveadm: server-connection - Remove redundant ssl verification

Certificate validation is done by lib-ssl-iostream already,
don't do it here again.

Fixes ssl_client_require_valid_cert=no for doveadm sync

doveadm: Make sure SSL settings are always available

lib-ssl-iostream: Add comment about using ssl_iostream_check_cert_validity

lib-ssl-iostream: Add comment about verifying certs in callbacks

lib-ssl-iostream: Call ssl_iostream_check_cert_validity as default

Unless callback is specified, call ssl_iostream_check_cert_validity
instead of ssl_iostream_cert_match_name to make sure we perform
same checks consistently.

doveadm-server: Load SSL settings

Otherwise operations that might use ssl can lead
into invalid memory access.

auth: Add caching to passdb-oauth.

auth: Add support for oauth2 password grant

lib-oauth2: Implement password grant authentication.

lib-oauth2: Take http_client_request_url_str in use for oauth2 requests.

lib-http: Expose origin_url of the struct http_client_request

submission-login: Only overwrite XCLIENT fields in the client when a value is assigned.

Before, omitted fields in the XCLIENT command would cause the values in the
client to be reset to the equivalent of zero.

lib-smtp: Mark default as unreached in smtp_client_command_abort

Satisfies static analyzers

lib-smtp: smtp-client-command - Avoid calling the callback for the DATA command during submission.

This causes a race condition in which the command object is already freed when
it is returned from smtp_client_command_data_submit(). This scenario occurs when
reading data for the first BDAT command fails.

lib-smtp: smtp-client - Send correct size value for BDAT command when the data lacks CR.

The addition of CR was ignored in the size specification because the original
unaltered stream was used for the size calculations.

lib: istreams - Don't lose IO pending state when unsetting and setting io

This makes sure that the pending state stays even after io_remove() when
io_add_istream() is again called.

lib: Fix i_stream_set_input_pending() when IO is set later

After i_stream_set_io() is called to set the IO, it should already be marked
as pending.

This fixes at least running imaptest with SSL.

lib: Add io_is_pending()

lib-index: Add mail_index_append_finish_uids_full()

lib-index: mail_index_append_finish_uids() cleanup: remove unnecessary if check

It was pretty confusing, and it was always TRUE.

doveadm: Use doveadm_get_ssl_settings

doveadm: dsync - use mail_storage_settings_init_ssl_client_settings

lib-storage: mail-user - Use mail_storage_settings_init_ssl_client_settings

mail-storage: Add mail_storage_settings_init_ssl_client_settings

Simplifies following commits

doveadm: Use master service SSL settings

lib-smtp: client: Fix dead assignment in smtp_client_command_pipeline_is_open().

Found by scan-build.

lib-smtp: command: Move main loop from sub-function to smtp_client_command_send_more() itself.

This reduces code indent in smtp_client_command_do_send_more() (the
sub-function) and it turns the inifite for loop into a nice conditional
while loop.

lib-smtp: test-smtp-client-errors: Test early DATA command success and error replies.

Early success for the DATA command is treated as a protocol error, while early
failure is allowed. Both situations are tested in a new scenario for the
test-smtp-client-errors unit test.

lib-smtp: client: Fix handling of non-blocking command payload stream.

By inference, this fixes the handling of non-blocking transaction payload as
well. No io was created when the payload stream returned no data.

lib-smtp: test-smtp-client-errors: Add test scenario for premature success replies.

Such replies are sent immediately along with the reply of the previous command.
So, the reply is sent before the corresponding command is even submitted. This
tests whether the client handles this erroneous situation correctly.

lib-smtp: test-smtp-payload: Add option to test payload exchange with small socket buffers.

This is not part of the normal `make check` procedure, since using small socket
buffers makes the test extremely slow.

lib-smtp: client: Allow receiving replies before command data stream is sent completely.

This avoids unnecessary problems with servers that reply somewhat early to DATA
and BDAT commands. For one, early failure replies are now handled properly.
Also, race conditions at the client between sending the closing CRLF.CRLF and
receiving the DATA reply are no longer causing problems.

lib-smtp: client: Put moving a command from the queue to the wait list in a separate function.

lib-smtp: client: Put determining the status of the command pipeline in a separate function.

lib-smtp: client: Put sending the command line in a separate function.

lib-smtp: client: Don't put connection in TRANSACTION state unless there's a transaction.

Fixes hang occurring when connection is ready before transaction is started.

quota: Rename quota_set_resource() error_r to client_error_r

Don't pass on the error from dict_init() to client, though.

imap-acl: Rename error_r sent to client as client_error_r

lib-imap-urlauth: Rename error_r sent to clients as client_error_r

lib-imap-storage: Rename error_r sent to clients as client_error_r

imap,lib-storage: Rename error_r sent to clients as client_error_r

submission-login: proxy: Fix omission of spaces between XCLIENT command parameters.

It would send for example:

> XCLIENT ADDR=10.0.1.2PORT=39074

The other end will obviously not accept this.

--
Commit message modified by Stephan Bosch

lib-smtp: client: BDAT command: Make sure the message contains CRLF consistently.

Before, only messages sent using DATA command guaranteed consistent CRLF,
because these are sent using o_stream_dot(), which does that internally. For the
BDAT command, the message was sent as-is, which is not always accepted by MTAs.

lib-smtp: client: BDAT command: Ensure data stream max buffer size is appropriate when stream size is unknown.

When stream size is unknown, the chunk size are determined by what can be
buffered in the data input stream immediately. If it's maximum buffer size is
(much) smaller than the maximum chunk size, the maximum chunk size is never
achieved.

lib-smtp: server: Fix forwarding a multi-line reply.

A multi-line reply had the '-' on the first line stripped upon sending, which
makes clients see two separate responses rather than just one. This was caused
by the fact that forwarded replies had the last_line field not set properly,
in which case the '-' was substituted on the first line, rather than the last.
The fix makes a forwarded reply indistinguishable from a normally created reply
by also allowing for amending the reply with additional lines using
smtp_server_reply_add_text().

lib-smtp: test-smtp-reply: Test whether parsed valid replies can be written back to the original input.

In some cases, the parser mangles the input a little to substitute invalid
characters. In those cases, the expected output is stated explicitly.

lib-smtp: Rename test-smtp-reply-parser.c to test-smtp-reply.c.

Encoding tests will also be included, making the old name confusing.

global: hash_table_iterate_deinit(NULL) is a no-op

@@
expression E;
@@

- if (E != NULL) {
-  hash_table_iterate_deinit(&E);
- }
+ hash_table_iterate_deinit(&E);

lib: hash_table_iterate_deinit(NULL) should be a no-op

global: hash_table_destroy(NULL) is a no-op

@@
expression E;
@@

- if (hash_table_is_created(E))
-  hash_table_destroy(&E);
+ hash_table_destroy(&E);

lib: hash_table_destroy(NULL) should be a no-op

lib-http: client: Fix panic occurring at connection failure.

In http_client_peer_connection_failed_pool(), all linked queues are notified
about the connection failure through http_client_queue_connection_failure().
That function can internally link and unlink peers to the queue, including the
calling one. This means that the peer->queues array can be modified while it is
iterated in the array_foreach() loop. The problem is fixed by making a local
copy of the peer->queues array.

lib-http: client: Fix handling of servers with several alternative IP addresses.

This also addresses an assert failure occurring with parallel clients:

Panic: file http-client-queue.c: line 518 (http_client_queue_connection_failure): assertion failed: (queue->cur_peer == peer)

driver-mysql: Avoid double-closing MySQL connection

Fixes double-free

lib-storage: pop3c - Use mail_user_init_ssl_client_settings

lib-imap-client: Drop unused fields from settings

auth: passdb-imap - Adapt to imap-client API change

lib-storage: imapc - Use mail_user_ssl_settings

lib-imap-client: Use iostream ssl settings directly

Prevents custom SSL CAs and certificate verification disabling
until fixed by subsequent commits.

auth: Use master service ssl settings for http client in policy checks

lib-master: When duplicating SSL settings set empty values NULL

Otherwise default CA is not used for client connections.

Broken in 30dca954

doc: Update example config about `ssl_client_require_valid_cert`

lib-storage: Copy all relevant TLS settings

Not just ca path and dir

lib-storage: Add all client ssl settings to mail storage settings

lib-master: Add new setting `ssl_client_require_valid_cert`

This controls whether TLS certificates are verified
for TLS CLIENT connections.

lib-ssl-iostream: If certificate check fails, suggest checking ssl ca settings

lib-ssl-iostream: Always fall back to default CAs for client contexts

When creating a client context, we always try to load the default
CA, if no CA settings have been provided. This makes it also possible
to allow invalid certs without specifying ssl_client_ca settings,
and also makes dovecot trust system store by default for outgoing
connections.

lib-iostream-ssl: Use default CA locations with client context

If no CA settings are provided, fall back to default CA
settings from openssl library.

NEWS: Add v2.3.5

(cherry picked from commit 622d67fdf0a51c5c3b0114603f62afc5651642a9)

fs-posix: fs_read_stream() - Don't close file's fd

This is especially important with newly created files, because they may
still be accessed after reading. The next file access attempt after
fs_read_stream() might cause the file to be recreated and crash.

Fixes:
Panic: file fs-posix.c: line 252 (fs_posix_create): assertion failed: (file->temp_path == NULL)

lib: test-istream-seekable - Add asserts to make sure blocking state changes at EOF

lib-storage: mail_get_*stream*() - Assert that returned streams are blocking

Several callers already rely on them being blocking. Making these asserts
explicit makes sure that any bugs are caught early.

lib: istream-seekable - Change stream to be blocking=TRUE after reaching EOF

After EOF is reached, the stream is now fully read into file or memory.
read()s can no longer return 0, so blocking=TRUE can be used.

Some callers were reusing the seekable stream in places that required
blocking=TRUE.

Fixes at least with imapsieve vnd.dovecot report extension:
Panic: file ostream.c: line 427 (o_stream_nsend_istream): assertion failed: (instream->blocking)