lib-ntlm: Check buffer length on responses

Add missing check for buffer length.

If this is not checked, it is possible to send message which
causes read past buffer bug.

Broken in c7480644202e5451fbed448508ea29a25cffc99c

auth: mech-rpa - Fail on zero len buffer

pop3: Use separate search queries for expunging and setting \Seen flags

Using a single shared search query causes mail prefetching to behave
inefficiently. Especially lazy_expunge plugin could have done refcount
prefetch for non-deleted mails as well.

pop3: Split off pop3_search_build_seqset()

pop3: Minor optimization to unexpected client disconnections

There's no need to build deleted messages seqset if it's not used.

dict: When client is disconnected, make sure its input IO is removed

Just in case it takes a while to fully unreference the client, make sure its
input callback won't be called rapidly.

dict: Fix deinitializing dict iteration if client disconnects

If the client's ostream was full at the disconnection time, the iteration
wasn't aborted. Instead, the connection was kept forever and its input
callback was kept being called rapidly, causing 100% CPU usage.

dict: Split off cmd_iterate_flush_finish()

lmtp: lmtp-commands - Explicity prohibit empty RCPT path.

The empty path <""> will yield an empty username.

lib-smtp: smtp-address - Only produce a <> address in smtp_address_clone() when that is the input.

It also produced an effective null address when the localpart was empty.

lib-smtp: smtp-address - Don't recognize an address with empty localpart as <>.

Depending on context, the addresses <""@domain.tld> and <""> are potentially
valid non-null addresses.

lib-smtp: smtp-address - Don't return NULL from smtp_address_clone*() unless the input is NULL.

lib-smtp: test-smtp-server-errors - Add tests for large series of empty and bad commands.

lib-smtp: smtp-server-connection - Hold a command reference while executing a command.

This fixes a use-after-free problem at the end of
smtp_server_connection_handle_command().

lib-smtp: smtp-server-command - Perform initial command execution in separate function.

lib-smtp: smtp-server-command - Guarantee that non-destroy hooks aren't called for an ended command.

lib-smtp: test-smtp-server-errors - Add tests for VRFY and NOOP commands with invalid parameters.

lib-smtp: Add tests for smtp_string_parse() and smtp_string_write().

lib-smtp: smtp-syntax - Return 0 for smtp_string_parse() with empty input.

This is what the current users of this function actually expect.

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_ehlo_line_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_xtext_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_string_parse().

lib-smtp: smtp-server-cmd-vrfy - Restructure parameter parsing.

lib-smtp: Reformat smtp-server-cmd-vrfy.c.

lib-smtp: Reformat smtp-server-cmd-noop.c.

lib-smtp: Reformat smtp-syntax.c.

lib-smtp: Reformat smtp-syntax.h.

auth: test-mech - Remove auth-token-secret.dat after test suite

auth: mech-digest-md5 - Do not read past buffer on right trim

If the string does not have comma at the end, do not progress
the pointer past buffer end.

auth: test-mech - Fix memory leaks

Forgotten in f6bb82a222e7973e9f9b7056dfe015fe3d8632f7

lib-index: Index rebuilding lost fields in cache

Regression caused by 5f6d2134690e4b84d38d556e3086668e32f30b50

lib-index: Fix setting initial last_used for fields in mail_[always_]cache_fields

These fields had last_used=0 until the field was accessed. If cache was
purged before this access, the field was dropped. Fixed by assuming
(last_used=0, decision!=NO) is still the first time the field is being
used. This also causes it to trigger mail_cache_decision_changed event.

lib-index: mail_cache_decision_add() - Add priv helper variable

lib-index: Make mail_cache_decision_to_string() public

auth: auth_request_finished event - policy_result=delayed didn't work

It was returned as "ok" instead of "delayed".

lib-http: test-http-client-errors: "reply payload" test - Make server announce that connection is closed.

This prevents race condition between connection closure and client trying to reuse the connection.

lib-http: test-http-client-errors: "reply payload" test - Fix name of server context struct.

auth: test-mech - Rewrote test

auth: test-mock - Add credentials lookup support

auth: test - Export passdb mock settings

auth: Move auth_request_fail_on_nuls to auth-request.c

Where is belongs to

lib-sasl: dsasl-client - Check for NULs in server response

If server response unexpectedly contains embedded NULs, fail
authentication.

auth: mech - Remove redundant NUL checks

Partially reverts ce7a61301cb233647c447dd917d5df1184d02317

The check is moved to higher up in call chain.

auth: mech - Add MECH_SEC_ALLOW_NULS flag

Prevent embedded NULs for any mechs that do not have this flag

auth: test-mech - Use auth_request_initial/continue testing

This way the embedded nul checks actually get executed.

auth: oauth2 - Set username after parsing

Otherwise we might mistakenly set username despite the
token being malformed.

lib-fs: Don't hide errors when iteration calls fs_set_error() multiple times

The last error is returned by fs_iter_deinit(). The other errors are
logged directly.

lib-http: http-server-response - Fix dead assignment in http_server_response_send_real().

Found by Clang scan-build.

lib-http: test-http-client-errors: Emit error for unexpected request payload in "retry payload" test.

lib-http: test-http-client-errors - Correct response payload length in "retry payload" test.

lib-http: test-http-client-errors - Emit an error message for bad responses.

Makes debugging issues with this unit test easier.

auth: Remove the check for NULs in mech-rpa

It was wrongly added for rpa, as it's a binary protocol.

lib-http: test-http-payload - Increase client progress timeout to 30 s.

This makes the SSL test a little less brittle.

lib-http: http-server-ostream - Remove dangerous assertions in http_server_ostream_wait_begin().

lib-http: http-server-connection - Fix result of http_server_connection_next_response().

Return _OUTPUT_BLOCKED only when the output fd is blocked.

lib-http: http-client-connection - Avoid calling http_client_request_send_more() directly.

Get it called from http_client_connection_output() later.

lib-http: test-http-client-errors - Make "retry payload" test more reliable.

lib-http: http-client-request - Fix return value of http_client_request_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking.

lib-http: http-server-response - Fix return value of http_server_response_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking or when the payload output stream
buffer has no data to be sent.

lib: ostream-wrapper - Return flush status from o_stream_wrapper_continue().

lib: connection_input_resume() - Set added IO as having pending input

This makes sense, because when the connection is halted it might already
have input pending in the istream. So doing this always automatically
can prevent unexpected hangs. It shouldn't be harmful to do this even if
there's no input pending.

lmtp: Don't add "detail" field to events if it's empty

lda: Add protocol=lda to the root lda event

lib-smtp: Fix adding "protocol" field to smtp_server_* events

The server connection always had its own parent event instead of using
smtp_server.event.

lib-lda: mail-deliver - Add "error" field to the mail_delivery_finished event.

lib-lda: mail-deliver - Add MAIL_DELIVER_ERROR_REJECTED.

This is not used yet, but useful for future expansion.

lib-lda: mail-deliver - Move common part of the error handling to mail_deliver() itself.

Before, much of that was handled by the respective callers (LDA and LMTP).

lda: main - Rename error variables in lda_do_deliver().

lmtp: lmtp-local - Perform actual (default) delivery in a separate function.

lib-lda: mail-deliver - Properly parse Message-ID header.

lib-storage: mail - Add mail_get_message_id().

It is a convenience function that reads and parses the Message-ID.

lib-ssl-iostream: Indicate that password might be wrong when decrypting key

lib-ssl-iostream: Copy key password correctly

OpenSSL failed to decrypt key because the password context
was copied instead of the password.

Broken in e98de01b564

auth: policy - Fix crash with auth_policy_check_after_auth=no and delay_until

The auth policy lookup context must not be allocated from stack, because it
is used in a timeout created by delay_until.

Fixes:
Panic: file auth-request.c: line 292 (auth_request_success_continue): assertion failed: (request->state == AUTH_REQUEST_STATE_MECH_CONTINUE)

doveadm: Cork the print ostream immediately after creating

This avoids making many tiny write()s to stdout.

stats: Rename 'name' to 'metric_name' in metric { } blocks

There was a decent amount of confusion about what what the 'name' setting
meant.  In short,

metric foo {
...
}

was equivalent to:

metric {
name = foo
...
}

Unfortunately, this was often misunderstood as "the name of the *event* we
are interested in".  To avoid this confusion, we rename the setting to
'metric_name'.  So, from now on, if you want to specify the name inside the
metric block (instead of before the '{'), you must use:

metric {
metric_name = fo
...
}

lib-master: master_service_ssl_settings_get() - assert that SSL settings actually exist

lib-http: test-http-client-errors - Add tests for retrying requests with payload.

lib-http: test-http-client-errors - Add support for server connection init/deinit functions.

lib-http: test-http-payload - Add support for testing with small TCP socket buffers.

lib-http: test-http-payload - Initialize common client and server settings at one place.

lib-http: http-server-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-server-response - Make return value of http_server_response_send*() indicate whether all is sent.

lib-http: http-server-ostream - Handle finished request as a separate event.

While waiting in the flush ioloop, the request will not be destroyed, in which
case the ioloop will potentially never end. This is fixed by notifying the
wrapper output stream about the parent output stream going away, which
interrupts the ioloop in the process.

lib-http: http-server-ostream - Make sure request payload input stream is destroyed before blocking.

lib-http: http-server-response - Fix sending payload input streams that are seeked beyond 0.

lib-http: http-client-request - Properly reset payload state upon retry/redirect.

lib-http: http-client-request - Put shared code from http_client_request_resubmit/redirect() in new function.

lib-http: http-client-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-client-connection - Set output flush pending when http_client_request_send() returns 0.

lib-http: http-client-request - Make return value of http_client_request_send*() indicate whether all is sent.

lib-http: http-client-connection - Remove useless cork/uncork from http_client_connection_continue_request().

lib-http: http-client-connection - Fix race condition between finishing output stream and response.

lib-http: http-client-request - Fix sending payload input streams that are seeked beyond 0.

lib: ostream-wrapper - Allow parent output being closed in wrapper_ostream_continue().

This happens when wrapper_ostream_output_destroyed() is called while waiting in
flush wait loop.

lib: ostream-wrapper - Properly manage parent output events for blocking operation.

The problem was exposed by a panic occurring in src/lib-http/test-http-payload unit test:

Panic: file ostream-wrapper.c: line 291 (wrapper_ostream_flush_wait): assertion failed: (io_loop_have_ios(ioloop) || io_loop_have_immediate_timeouts(ioloop))

lib-http: Reformat test-http-client-errors.c.

lib-http: Reformat test-http-payload.c.

lib-http: Reformat http-client-request.c.

lib-ssl-iostream: Add missing set name to ssl_proxy_ctx_get_pkey_ec_curve_name

It was forgotten in 934a5e7cdb3105a07e2b1dec5916f4abfb3ee2a1