Released v2.3.6

NEWS: Add news for 2.3.6

NEWS: Update news with missing entries from other branches

fts-solr: Add soft_commit setting

soft_commit=yes|no: send softCommit to the solr server, default yes is backwards compatible behaviour
If setting to no autoSoftCommit on solr should be set to something reasonable (e.g. 60 seconds)
in file solrconfig.xml

fts-solr: Add batch_size configuration option

batch_size: configure the number of emails sent in single requests to solr, default 1000

fts-solr: Only increment ctx->mails_since_flush after flush

Otherwise it gets wrongly increment before flush.

lib-smtp: smtp-server-cmd-auth - Fix AUTH response error handling so that it stops reading more input.

Otherwise, it may try to read more data from the stream as the next AUTH
response, which causes an assert crash in the command parser later on. Even when
the parser finds no input from the stream, it will advance its state
towards AUTH response parsing, which is a problem when the next command is
subsequently being parsed.

Panic was:

Panic: file smtp-command-parser.c: line 438 (smtp_command_parse_next): assertion failed: (!parser->auth_response || parser->state.state == SMTP_COMMAND_PARSE_STATE_INIT || parser->state.state == SMTP_COMMAND_PARSE_STATE_ERROR)

submission-login: client-authenticate - Fix crash occurring when client disconnects during authentication.

submission-login: Remove unused client->pending_starttls.

lib: json - Escape invalid UTF-8 as unicode bytes

This prevents dovecot from crashing if invalid UTF-8 input
is given.

lib-smtp: smtp-client - Fix sending of duplicate QUIT command.

The command name comparison function was broken after the command was sent. Made
the function robust against addition/removal of CRLF to the command line.

lib-smtp: client: Fix infinite loop in XCLIENT command interaction with server.

The state regarding the fact that the XCLIENT command was already sent was not
recorded. So, after the HELO handshake, the client would send a new XCLIENT
command.

lib-smtp: client: command: Add debug message showing what commands are being sent to the server.

global: Use array_push_front

Re-run of 70540d8b3e0799113fa4c47e3b778efb4679f24f due to
bad spatch usage

global: Rename array_first and array_last to array_front and back

This is more consistent with other languages

global: Use array_pop_front

Re-run of 9b726934956ed9ca02077a82f7b2a1d74b7c9146 due to
bad spatch usage.

global: Use array_pop_back

Re-run of 48c70592eb36b1263ad63e3c1dca8a0b5aff09ba due to
wrong spatch usage.

global: Use array_push_back instead of array_append

global: Really change array_idx(A, 0) to array_first(A)

Was only partially done in 27b2b51943e0f9440483abeae4c9f5805b236db9

global: Use array_last instead of array_idx

@@
expression E;
@@

-array_idx(E, array_count(E) - 1)
+array_last(E)

@@
expression E;
@@

-array_idx_modifiable(E, array_count(E) - 1)
+array_last_modifiable(E)

global: Use array_pop_back

@@
expression A;
@@

-array_delete(A, array_count(A)-1, 1)
+array_pop_back(A)

And manually fixing the few missed ones

global: Use array_pop_front

@@
expression A;
@@

-array_delete(A, 0, 1)
+array_pop_front(A)

global: Use array_push_front

@@
expression A,I;
@@

-array_insert(A, 0, I, 1)
+array_push_front(A, I)

global: Use array_push_back

@@
expression A,I;
@@

-array_append(A, I, 1)
+array_push_back(A, I)

global: Use array_first instead of array_idx

@@
expression A;
@@

-array_idx(A, 0)
+array_first(A)

@@
expression A;
@@

-array_idx_modifiable(A, 0)
+array_first_modifiable(A)

lib: array - Add helpers for dealing with some common array usecases

Adds macros for accessing first and last item, pushing and popping
and also adding/removing first item.

Note that pop and shift do not return item.

lib: array - Fix asserts to work correctly on 32-bit systems

lib-oauth2: Don't crash when http response has no payload

lib-oauth2: Remove obsolete files.

lib-oauth2: Refactor oauth request code.

Use one parameterized function instead of three copy-paste functions.

lib-oauth2: Add client_id and client_secret to introspect request

auth: Fix deinitialization of multiple passdbs.

lib: Use uintptr_t in PTR_OFFSET and POINTER_CAST

Use uintptr_t instead of pointers.

Fixes clang 6.0 warning: arithmetic on a null pointer treated as a cast from integer to pointer is a GNU extension

lib-http: http-client-connection - Create function for obtaining client settings reliably.

This fixes and prevents segfaults occurring when settings are needed while the
connection is detached. In that case, the shared client context settings need
to be used rather than the client settings. Before, the attachment of a peer was
assumed for obtaining the settings when it actually could be absent in rare
cases, causing a NULL dereference.

lib-http: http-client-connection - Make sure the request timeout is stopped when no more request are pending.

lib-http: http-client-connection - Descend event from client context rather than client.

The connection is potentially switched between clients often causing the
client event prefix to make no sense.

fts: Fix buffer overflow when reading oversized fts header

lib-storage: Fix buffer overflow when reading oversized hdr-pop3-uidl header

lib-program-client: Run local client tests with valgrind --trace-children=no.

Before, valgrind was omitted entirely.

lib-program-client: test-program-client-local: Properly deallocate all streams for big I/O test.

core: Update README.md to fix broken RFC links

lib: Panic on most epoll_ctl() failures

Anything except ENOSPC or ENOMEM points to a bug in code. Getting core dump
from those helps debugging.

auth: Add client_secret setting

auth: Fix for processing oauth2 responses with 4xx HTTP status.

lib-oauth2: Provide a unit test for the JSON response payload parser.

lib-oauth2: Fix assert panic occurring while skipping ignored object and array fields.

Fixed by using json_parse_skip(), rather than json_parse_skip_next(). The latter
is not suitable for skipping a value that is already partially parsed by
json_parse_next().

Panic was:

Panic: file json-parser.c: line 668 (json_parse_skip_next): assertion failed: (parser->state == JSON_STATE_OBJECT_COLON || parser->state == JSON_STATE_OBJECT_VALUE || parser->state == JSON_STATE_ARRAY_VALUE || parser->state == JSON_STATE_ARRAY_NEXT)

lib-oauth2: Fix asynchronous parsing of JSON response payload.

The problem was caused by the fact that req->field_name was reset in the
beginning of oauth2_parse_json(), which is continuously called when more payload
can be read from the input stream. This leads to corruption of the parser state
machine each time parsing is continued.

To fix this issue, the field_name is now reset only when the parsing commences.

lib: json-parser: Add unit test on skipping various object member fields.

This both tests skipping fields based on their member key and based on their
value types; i.e., after calling json_parse_next() for the object member value.

lib: json-parser: Add support for skipping a value that is already partially parsed.

Adds json_parse_skip(), which skips the remainder of the value parsed earlier by
json_parse_next(). This is needed when values need to be skipped by their value
type rather than their object member key.

lib-storage: pop3c - Copy SSL settings correctly

When attempting to use pop3c with immediate SSL, it would
crash due to invalid memory access during connection setup.
Also the SSL mode is not copied so SSL handshake is not attempted
at later stage.

Was broken in 01435c38e7 and ebcf7d6c92

auth: Fix processing of wrong password for oauth2 password grant

doc: Add Solr 7.7 configuration files

The schema for 7.7 is based on work by Daniel Miller <dmiller@amfes.com>.

fts-solr: Add rawlog support

fts-solr: Use fts_solr_settings struct in solr_connection_init()

doveadm: server-connection - Remove redundant ssl verification

Certificate validation is done by lib-ssl-iostream already,
don't do it here again.

Fixes ssl_client_require_valid_cert=no for doveadm sync

doveadm: Make sure SSL settings are always available

lib-ssl-iostream: Add comment about using ssl_iostream_check_cert_validity

lib-ssl-iostream: Add comment about verifying certs in callbacks

lib-ssl-iostream: Call ssl_iostream_check_cert_validity as default

Unless callback is specified, call ssl_iostream_check_cert_validity
instead of ssl_iostream_cert_match_name to make sure we perform
same checks consistently.

doveadm-server: Load SSL settings

Otherwise operations that might use ssl can lead
into invalid memory access.

auth: Add caching to passdb-oauth.

auth: Add support for oauth2 password grant

lib-oauth2: Implement password grant authentication.

lib-oauth2: Take http_client_request_url_str in use for oauth2 requests.

lib-http: Expose origin_url of the struct http_client_request

submission-login: Only overwrite XCLIENT fields in the client when a value is assigned.

Before, omitted fields in the XCLIENT command would cause the values in the
client to be reset to the equivalent of zero.

lib-smtp: Mark default as unreached in smtp_client_command_abort

Satisfies static analyzers

lib-smtp: smtp-client-command - Avoid calling the callback for the DATA command during submission.

This causes a race condition in which the command object is already freed when
it is returned from smtp_client_command_data_submit(). This scenario occurs when
reading data for the first BDAT command fails.

lib-smtp: smtp-client - Send correct size value for BDAT command when the data lacks CR.

The addition of CR was ignored in the size specification because the original
unaltered stream was used for the size calculations.

lib: istreams - Don't lose IO pending state when unsetting and setting io

This makes sure that the pending state stays even after io_remove() when
io_add_istream() is again called.

lib: Fix i_stream_set_input_pending() when IO is set later

After i_stream_set_io() is called to set the IO, it should already be marked
as pending.

This fixes at least running imaptest with SSL.

lib: Add io_is_pending()

lib-index: Add mail_index_append_finish_uids_full()

lib-index: mail_index_append_finish_uids() cleanup: remove unnecessary if check

It was pretty confusing, and it was always TRUE.

doveadm: Use doveadm_get_ssl_settings

doveadm: dsync - use mail_storage_settings_init_ssl_client_settings

lib-storage: mail-user - Use mail_storage_settings_init_ssl_client_settings

mail-storage: Add mail_storage_settings_init_ssl_client_settings

Simplifies following commits

doveadm: Use master service SSL settings

lib-smtp: client: Fix dead assignment in smtp_client_command_pipeline_is_open().

Found by scan-build.

lib-smtp: command: Move main loop from sub-function to smtp_client_command_send_more() itself.

This reduces code indent in smtp_client_command_do_send_more() (the
sub-function) and it turns the inifite for loop into a nice conditional
while loop.

lib-smtp: test-smtp-client-errors: Test early DATA command success and error replies.

Early success for the DATA command is treated as a protocol error, while early
failure is allowed. Both situations are tested in a new scenario for the
test-smtp-client-errors unit test.

lib-smtp: client: Fix handling of non-blocking command payload stream.

By inference, this fixes the handling of non-blocking transaction payload as
well. No io was created when the payload stream returned no data.

lib-smtp: test-smtp-client-errors: Add test scenario for premature success replies.

Such replies are sent immediately along with the reply of the previous command.
So, the reply is sent before the corresponding command is even submitted. This
tests whether the client handles this erroneous situation correctly.

lib-smtp: test-smtp-payload: Add option to test payload exchange with small socket buffers.

This is not part of the normal `make check` procedure, since using small socket
buffers makes the test extremely slow.

lib-smtp: client: Allow receiving replies before command data stream is sent completely.

This avoids unnecessary problems with servers that reply somewhat early to DATA
and BDAT commands. For one, early failure replies are now handled properly.
Also, race conditions at the client between sending the closing CRLF.CRLF and
receiving the DATA reply are no longer causing problems.

lib-smtp: client: Put moving a command from the queue to the wait list in a separate function.

lib-smtp: client: Put determining the status of the command pipeline in a separate function.

lib-smtp: client: Put sending the command line in a separate function.

lib-smtp: client: Don't put connection in TRANSACTION state unless there's a transaction.

Fixes hang occurring when connection is ready before transaction is started.

quota: Rename quota_set_resource() error_r to client_error_r

Don't pass on the error from dict_init() to client, though.

imap-acl: Rename error_r sent to client as client_error_r

lib-imap-urlauth: Rename error_r sent to clients as client_error_r

lib-imap-storage: Rename error_r sent to clients as client_error_r

imap,lib-storage: Rename error_r sent to clients as client_error_r

submission-login: proxy: Fix omission of spaces between XCLIENT command parameters.

It would send for example:

> XCLIENT ADDR=10.0.1.2PORT=39074

The other end will obviously not accept this.

--
Commit message modified by Stephan Bosch

lib-smtp: client: BDAT command: Make sure the message contains CRLF consistently.

Before, only messages sent using DATA command guaranteed consistent CRLF,
because these are sent using o_stream_dot(), which does that internally. For the
BDAT command, the message was sent as-is, which is not always accepted by MTAs.

lib-smtp: client: BDAT command: Ensure data stream max buffer size is appropriate when stream size is unknown.

When stream size is unknown, the chunk size are determined by what can be
buffered in the data input stream immediately. If it's maximum buffer size is
(much) smaller than the maximum chunk size, the maximum chunk size is never
achieved.

lib-smtp: server: Fix forwarding a multi-line reply.

A multi-line reply had the '-' on the first line stripped upon sending, which
makes clients see two separate responses rather than just one. This was caused
by the fact that forwarded replies had the last_line field not set properly,
in which case the '-' was substituted on the first line, rather than the last.
The fix makes a forwarded reply indistinguishable from a normally created reply
by also allowing for amending the reply with additional lines using
smtp_server_reply_add_text().

lib-smtp: test-smtp-reply: Test whether parsed valid replies can be written back to the original input.

In some cases, the parser mangles the input a little to substitute invalid
characters. In those cases, the expected output is stated explicitly.