lib-mail: message-parser - Truncate excessively long MIME boundaries

RFC 2046 requires that the boundaries are a maximum of 70 characters
(excluding the "--" prefix and suffix). We allow 80 characters for a bit of
extra safety. Anything longer than that is truncated and treated the same
as if it was just 80 characters.

lib-mail: message-parser - Minor code cleanup to finding the end of boundary line

lib-mail: message-parser - Optimize appending new part to linked list

lib-mail: message-parser - Optimize updating children_count

lib-mail: message-parser - Change message_part_append() to do all work internally

lib-mail: message-parser - Add a message_part_finish() helper function

lib-mail: Move message_parser_init_from_parts() handling to its own file

This helps to see what code they have in common.

lib-mail: test-message-parser - Test that children_count is correct

lib-mail: test-message-parser - Add another test for boundary matching

lib-storage: mail_search_args_init() - Expand "*" in SEARCH_SEQSET

This is now required by the IMAP MOVE code to correctly handle
"MOVE * folder".

imap: imap_search_seqset_iter_next() - Assert-crash if iteration doesn't progress

This can be done easily with seq_range_array_remove_seq_range(). This is
cleaner to use than invert+intersect. I originally didn't notice that
this function existed.

lib: Add unit test for seq_range_array_remove_range()

lib-storage: mail_search_args_init() - Fix converting UIDSET * to SEQSET on empty mailbox

The "*" caused seq=0 to be added to the seqset. This could have caused
unexpected issues.

Fixes at least UID MOVE on empty mailbox:
Panic: file seq-range-array.c: line 471 (seq_range_array_invert): assertion failed: (range[0].seq1 >= min_seq)

Before 1a5d89d2bfa031903e88af9aff7eafc1b373d521 this assert-crash didn't
happen, but it went to infinite loop.

auth: test-mech - Add tests for RPA and NTLM bug

lib-ntlm: Check buffer length on responses

Add missing check for buffer length.

If this is not checked, it is possible to send message which
causes read past buffer bug.

Broken in c7480644202e5451fbed448508ea29a25cffc99c

auth: mech-rpa - Fail on zero len buffer

pop3: Use separate search queries for expunging and setting \Seen flags

Using a single shared search query causes mail prefetching to behave
inefficiently. Especially lazy_expunge plugin could have done refcount
prefetch for non-deleted mails as well.

pop3: Split off pop3_search_build_seqset()

pop3: Minor optimization to unexpected client disconnections

There's no need to build deleted messages seqset if it's not used.

dict: When client is disconnected, make sure its input IO is removed

Just in case it takes a while to fully unreference the client, make sure its
input callback won't be called rapidly.

dict: Fix deinitializing dict iteration if client disconnects

If the client's ostream was full at the disconnection time, the iteration
wasn't aborted. Instead, the connection was kept forever and its input
callback was kept being called rapidly, causing 100% CPU usage.

dict: Split off cmd_iterate_flush_finish()

lmtp: lmtp-commands - Explicity prohibit empty RCPT path.

The empty path <""> will yield an empty username.

lib-smtp: smtp-address - Only produce a <> address in smtp_address_clone() when that is the input.

It also produced an effective null address when the localpart was empty.

lib-smtp: smtp-address - Don't recognize an address with empty localpart as <>.

Depending on context, the addresses <""@domain.tld> and <""> are potentially
valid non-null addresses.

lib-smtp: smtp-address - Don't return NULL from smtp_address_clone*() unless the input is NULL.

lib-smtp: test-smtp-server-errors - Add tests for large series of empty and bad commands.

lib-smtp: smtp-server-connection - Hold a command reference while executing a command.

This fixes a use-after-free problem at the end of
smtp_server_connection_handle_command().

lib-smtp: smtp-server-command - Perform initial command execution in separate function.

lib-smtp: smtp-server-command - Guarantee that non-destroy hooks aren't called for an ended command.

lib-smtp: test-smtp-server-errors - Add tests for VRFY and NOOP commands with invalid parameters.

lib-smtp: Add tests for smtp_string_parse() and smtp_string_write().

lib-smtp: smtp-syntax - Return 0 for smtp_string_parse() with empty input.

This is what the current users of this function actually expect.

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_ehlo_line_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_xtext_parse().

lib-smtp: smtp-syntax - Do not allow NULL return parameters for smtp_string_parse().

lib-smtp: smtp-server-cmd-vrfy - Restructure parameter parsing.

lib-smtp: Reformat smtp-server-cmd-vrfy.c.

lib-smtp: Reformat smtp-server-cmd-noop.c.

lib-smtp: Reformat smtp-syntax.c.

lib-smtp: Reformat smtp-syntax.h.

auth: test-mech - Remove auth-token-secret.dat after test suite

auth: mech-digest-md5 - Do not read past buffer on right trim

If the string does not have comma at the end, do not progress
the pointer past buffer end.

auth: test-mech - Fix memory leaks

Forgotten in f6bb82a222e7973e9f9b7056dfe015fe3d8632f7

lib-index: Index rebuilding lost fields in cache

Regression caused by 5f6d2134690e4b84d38d556e3086668e32f30b50

lib-index: Fix setting initial last_used for fields in mail_[always_]cache_fields

These fields had last_used=0 until the field was accessed. If cache was
purged before this access, the field was dropped. Fixed by assuming
(last_used=0, decision!=NO) is still the first time the field is being
used. This also causes it to trigger mail_cache_decision_changed event.

lib-index: mail_cache_decision_add() - Add priv helper variable

lib-index: Make mail_cache_decision_to_string() public

auth: auth_request_finished event - policy_result=delayed didn't work

It was returned as "ok" instead of "delayed".

lib-http: test-http-client-errors: "reply payload" test - Make server announce that connection is closed.

This prevents race condition between connection closure and client trying to reuse the connection.

lib-http: test-http-client-errors: "reply payload" test - Fix name of server context struct.

auth: test-mech - Rewrote test

auth: test-mock - Add credentials lookup support

auth: test - Export passdb mock settings

auth: Move auth_request_fail_on_nuls to auth-request.c

Where is belongs to

lib-sasl: dsasl-client - Check for NULs in server response

If server response unexpectedly contains embedded NULs, fail
authentication.

auth: mech - Remove redundant NUL checks

Partially reverts ce7a61301cb233647c447dd917d5df1184d02317

The check is moved to higher up in call chain.

auth: mech - Add MECH_SEC_ALLOW_NULS flag

Prevent embedded NULs for any mechs that do not have this flag

auth: test-mech - Use auth_request_initial/continue testing

This way the embedded nul checks actually get executed.

auth: oauth2 - Set username after parsing

Otherwise we might mistakenly set username despite the
token being malformed.

lib-fs: Don't hide errors when iteration calls fs_set_error() multiple times

The last error is returned by fs_iter_deinit(). The other errors are
logged directly.

lib-http: http-server-response - Fix dead assignment in http_server_response_send_real().

Found by Clang scan-build.

lib-http: test-http-client-errors: Emit error for unexpected request payload in "retry payload" test.

lib-http: test-http-client-errors - Correct response payload length in "retry payload" test.

lib-http: test-http-client-errors - Emit an error message for bad responses.

Makes debugging issues with this unit test easier.

auth: Remove the check for NULs in mech-rpa

It was wrongly added for rpa, as it's a binary protocol.

lib-http: test-http-payload - Increase client progress timeout to 30 s.

This makes the SSL test a little less brittle.

lib-http: http-server-ostream - Remove dangerous assertions in http_server_ostream_wait_begin().

lib-http: http-server-connection - Fix result of http_server_connection_next_response().

Return _OUTPUT_BLOCKED only when the output fd is blocked.

lib-http: http-client-connection - Avoid calling http_client_request_send_more() directly.

Get it called from http_client_connection_output() later.

lib-http: test-http-client-errors - Make "retry payload" test more reliable.

lib-http: http-client-request - Fix return value of http_client_request_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking.

lib-http: http-server-response - Fix return value of http_server_response_send*().

Make sure 1 is returned when all that can be sent is sent. It must not return 0
when the payload input stream is blocking or when the payload output stream
buffer has no data to be sent.

lib: ostream-wrapper - Return flush status from o_stream_wrapper_continue().

lib: connection_input_resume() - Set added IO as having pending input

This makes sense, because when the connection is halted it might already
have input pending in the istream. So doing this always automatically
can prevent unexpected hangs. It shouldn't be harmful to do this even if
there's no input pending.

lmtp: Don't add "detail" field to events if it's empty

lda: Add protocol=lda to the root lda event

lib-smtp: Fix adding "protocol" field to smtp_server_* events

The server connection always had its own parent event instead of using
smtp_server.event.

lib-lda: mail-deliver - Add "error" field to the mail_delivery_finished event.

lib-lda: mail-deliver - Add MAIL_DELIVER_ERROR_REJECTED.

This is not used yet, but useful for future expansion.

lib-lda: mail-deliver - Move common part of the error handling to mail_deliver() itself.

Before, much of that was handled by the respective callers (LDA and LMTP).

lda: main - Rename error variables in lda_do_deliver().

lmtp: lmtp-local - Perform actual (default) delivery in a separate function.

lib-lda: mail-deliver - Properly parse Message-ID header.

lib-storage: mail - Add mail_get_message_id().

It is a convenience function that reads and parses the Message-ID.

lib-ssl-iostream: Indicate that password might be wrong when decrypting key

lib-ssl-iostream: Copy key password correctly

OpenSSL failed to decrypt key because the password context
was copied instead of the password.

Broken in e98de01b564

auth: policy - Fix crash with auth_policy_check_after_auth=no and delay_until

The auth policy lookup context must not be allocated from stack, because it
is used in a timeout created by delay_until.

Fixes:
Panic: file auth-request.c: line 292 (auth_request_success_continue): assertion failed: (request->state == AUTH_REQUEST_STATE_MECH_CONTINUE)

doveadm: Cork the print ostream immediately after creating

This avoids making many tiny write()s to stdout.

stats: Rename 'name' to 'metric_name' in metric { } blocks

There was a decent amount of confusion about what what the 'name' setting
meant.  In short,

metric foo {
...
}

was equivalent to:

metric {
name = foo
...
}

Unfortunately, this was often misunderstood as "the name of the *event* we
are interested in".  To avoid this confusion, we rename the setting to
'metric_name'.  So, from now on, if you want to specify the name inside the
metric block (instead of before the '{'), you must use:

metric {
metric_name = fo
...
}

lib-master: master_service_ssl_settings_get() - assert that SSL settings actually exist

lib-http: test-http-client-errors - Add tests for retrying requests with payload.

lib-http: test-http-client-errors - Add support for server connection init/deinit functions.

lib-http: test-http-payload - Add support for testing with small TCP socket buffers.

lib-http: test-http-payload - Initialize common client and server settings at one place.

lib-http: http-server-connection - Return 0 from flush callback when there is more payload to be sent.

lib-http: http-server-response - Make return value of http_server_response_send*() indicate whether all is sent.

lib-http: http-server-ostream - Handle finished request as a separate event.

While waiting in the flush ioloop, the request will not be destroyed, in which
case the ioloop will potentially never end. This is fixed by notifying the
wrapper output stream about the parent output stream going away, which
interrupts the ioloop in the process.

lib-http: http-server-ostream - Make sure request payload input stream is destroyed before blocking.

lib-http: http-server-response - Fix sending payload input streams that are seeked beyond 0.