dict: Remove unnecessary o_stream_flush()

Added recently by 89e4b2e7fbd17548f3c99fa66368c9b0bc8eb775

doveadm-dict: Add missing dict_deinit

Fixes event leak when set is missing parameter.

dict: Parse handshake using handshake_args

This ensures the input is properly tab unescaped, also
simplifies the handshake function.

dict: Remove obsolete check as getenv() is no longer used for getting dicts

dict: Use connection API

dict: Use connection struct

Prepares for moving into connection API

dict: Create connection with struct master_connection instead of fd

Prepares for moving into connection.c struct

fts: Fix buffer overflow when reading oversized fts header

lib-storage: Fix buffer overflow when reading oversized hdr-pop3-uidl header

fts: Add fts_enforced=body

Similar to "no", this doesn't enforce FTS indexing for header searches.
Similar to "yes", on FTS lookup failure it won't fallback to reading all
mails.

sdbox: Add "sdbox" event category

2cd16e24fb442a066c6c3051c1042c1091b927bb only added it to the "dbox" alias.

lmtp: Add mail_user_settings to struct client

lib-storage: Add mailbox_keywords_merge()

lib-storage: Add mailbox_search_mail_detach()

This allows keeping the struct mail open even after the mail_search_context
that created it is freed.

lib-storage: Move tracking mails to mail_search_context from index-specific code

This makes the next commit much easier to implement.

lib-storage: Move index_mail.search_mail to mail_private struct

lib-mail: istream-header-filter: Fix HEADER_FILTER_ADD_MISSING_EOH with callback

If mail already had EOH and callback returned matched=TRUE in the EOH
callback (e.g. adding more headers), the callback was called a second
time for the EOH.

Currently there doesn't seem to be any existing code that was affected by
this bug.

lib: Add test for backtrace-string

lib: Add libunwind support for getting backtrace

This actually resolves symbols to readable names
making the backtrace useful.

auth-request: Call auth_request_passdb_lookup_end() for all return paths of auth_request_handle_passdb_callback()

Fixes: Panic: file auth-request.c: line 367 (auth_request_unref):
assertion failed: (array_count(&request->authdb_event) == 0)
The panic happens when auth request results in PASSDB_RESULT_USER_DISABLED.

coccinelle: Add all semantic patches used in the past to a new dir

This commit merely imports the semantic patches without providing any
additional tooling to apply them.  It also includes macros.h header used by
coccinelle to properly handle some of the more complex macros we have.

auth: Make db_oauth2_callback debug print human readable

lib-oauth2: Don't crash when http response has no payload

ipc-server: Reconnect on socket input error.

ipc-server: Change reconnect timeout to 10 seconds.

ipc: Terminate IPC process with master.

ipc: Introduce ipc_groups_disconnect_all()

lib-ssl-iostream: Minor assert cleanup.

If stream->closed is TRUE then stream->stream_errno != 0 as well. And here
we really want to be sure that stream_errno isn't 0, so make the assert
reflect that.

config: reproducible output from settings-get.pl

If the same source gets built twice ('build same source on different
hosts at different times') the resulting files may differ.
Fix this by sorting the hash keys before usage.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

lib-oauth2: Remove obsolete files.

lib-oauth2: Refactor oauth request code.

Use one parameterized function instead of three copy-paste functions.

lib-http: client: Fix segfault crash sometimes happening while running sub-ioloop in request callback.

The connection was not completely disconnected before calling the callback.
Running a sub-ioloop means that timeouts and ios that haven't been destroyed yet
for the connection can be triggered, causing all kinds of issues. Therefore, it
is important to disconnect before calling the request callbacks. The fix therefore
consists of calling http_client_connection_disconnect() before calling
http_client_connection_retry_requests() in
http_client_connection_abort_temp_error().

This also amends the test suite to account for these changes, as it is now
unclear which requests will actually succeed.

lib-http: client: Abort pending requests at connection destroy rather than disconnect.

This is needed for subsequent changes.

lib-http: client: Implement the no_auto_retry setting in http_client_request_retry().

Before, it was implemented in http_client_connection_retry_requests(), but that
would not work after http_client_connection_disconnect().The peer is detached
from the connection there, which makes conn->peer->client->set unavailable.
Instead, we use req->client->set for each request individually to determine
whether it should be retried or not.

lib-storage: mail-storage-service: Fix failure prefix composition in mail_storage_service_lookup().

It produced a prefix without the required ": " suffix and in one case it
produced a spurious comma.

lib-storage: Fix -Wimplicit-fallthrough compiler warning

lib-smtp: smtp-server-reply - Fix dead assignment in smtp_server_reply_get_path_len().

Problem found by Clang scan-build.

lib-smtp: test-smtp-payload: Implement connection reuse.

Makes the test as a whole faster and it tests an important aspect of connection
management (which, in fact, we currently don't use).

lib-smtp: smtp-server-cmd-rcpt - Use smtp_server_recipient_reply() to submit the default success reply.

lib-smtp: smtp-server-recipient - Enforce <path> prefix in forwarded reply.

This is mainly for concistency, but it also prevents exposing addresses that
are supposed to be only visible to the backend. Also, this implicitly adds the
<path> prefix to the reply when it is missing, provided it is not an RCPT
success reply.

lib-smtp: smtp-server-reply - Add smtp_server_reply_replace_path().

Replaces or adds a <path> prefix to the reply text.

lib: str - Add str_replace().

lib: buffer - Add buffer_replace().

lib: buffer - Improve header comment for buffer_insert() and buffer_delete().

lib-smtp: smtp-server-reply - Add smtp_server_reply_prepend_text().

lib-smtp: smtp-server-reply - Add smtp_server_reply_get_status().

lib-smtp: smtp-server-reply - Support changing the reply status and enhanced code.

lib-smtp: smtp-server-reply - Assign reply status and enhanced code in a separate function.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_get_reply() and use it.

lib-smtp: smtp-server-recipient - Add hook for the submission of a DATA/BDAT/BURL command reply.

lib-smtp: smtp-server-cmd-data - Call smtp_server_transaction_last_data() earlier for the DATA command.

Makes sure rcpt->cmd is set before replies are being submitted.

lib-mstp: smtp-server-recipient - Make smtp_server_recipient_call_hooks() private rather than static.

lib-smtp: smtp-server-transaction - Allow calling smtp_server_transaction_last_data() more than once.

lib-smtp: smtp-server-transaction - Allow calling smtp_server_transaction_last_data() when all recipients failed.

lib-smtp: smtp-server-command - Add hook for the submission of individual replies.

lib-smtp: smtp-server-command - Make removal of hook optional for smtp_server_command_call_hooks().

submission: Use the new recipient reply wrapper functions.

lmtp: lmtp-proxy - Use the new recipient reply wrapper functions.

lmtp: lmtp-local - Use the new recipient reply wrapper functions.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_reply_forward().

This acts as a wrapper around smtp_server_reply_index_forward().

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_is_replied().

This is a convenience wrapper around smtp_server_command_is_replied().

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_reply().

This is a convenience wrapper around smtp_server_reply_index(). This implicitly
adds the <path> prefix to the reply (when it is not an RCPT success reply).

lib-smtp: smtp-server-cmd-rcpt - Add smtp_server_cmd_is_rcpt().

lmtp: lmtp-proxy - Remove useless proxy->pending_data_cmd.

lmtp: lmtp-proxy - Replace cmd parameter with recipient for lmtp_proxy_handle_reply().

lmtp: lmtp-local - Remove cmd parameter from lmtp_local_open_raw_mail().

lmtp: lmtp-local - Remove cmd parameter from lmtp_local_rcpt_fail_all().

lmtp: lmtp-local - Remove cmd parameter from lmtp_local_rcpt_reply_overquota().

lib-smtp: smtp-server-command - Fix segfault occurring in smtp_server_command_get_reply().

Can occur when not all replies are submitted yet.

auth: Fix deinitialization of multiple passdbs.

lib-oauth2: Add client_id and client_secret to introspect request

core: Update README.md to fix broken RFC links

stats: default settings can be static

Nothing has a reason to access this structure outside of this source file.

stats: no need for void cast of a void return value

client_{reader,writer}_create() return void, therefore there is no return
value to discard.

lmtp: Replace i_info() with e_info().

lmtp: Replace i_error() with e_error().

lmtp: proxy: Use client.event for SMTP client connection.

lmtp: local: Use rcpt.event as mail_*user's parent event.

lmtp: Add username to recipient event.

lmtp: Add client.event.

lib-smtp: smtp-submit - Rename event setting to event_parent.

lib-smtp: smtp-server - Rename event setting to event_parent.

lib-smtp: smtp-client - Rename event setting to event_parent.

lib-http: http-client - Rename event setting to event_parent.

auth: Add missing log prefix to "userdb cache expired" debug line

auth: Use request event for messages after lookup has ended

Otherwise the prefix is going to be wrong, and we cannot use
the authdb_event here because the authdb event is wrong
at this point.

auth: Ensure authdb_event returns event

We don't want nasty crashes due to lack of event.

master: test-master-login-auth - Add request reconnect test.

master: test-master-login-auth - Add request disconnect test.

master: test-master-login-auth - Add support for retrying requests.

master: test-master-login-auth - Run the auth request in a separate function.

lib-master: master-login-auth - Make sure connection is disconnected upon error.

master: test-auth-client - Add handshake reconnect test.

master: test-auth-client - Add handshake disconnect test.

master: test-auth-client - Add support for retrying handshakes.

master: test-auth-client - Run the auth client in a separate function.

master: test-auth-client - Fix duplicate server connection deinit.

lib-auth: auth-client-connection - Make sure connection is disconnected upon error.

master: test-auth-master - Add userdb lookup reconnect test.

master: test-auth-master - Add userdb lookup disconnect test.