mail-lua: Handle transaction commit error writing metadata

lib-lua: Fix bracing in table helper macros

Was left broken in c304bc76

mail-lua: Implement mailbox metadata API

Adds methods for accessing and manipulating mailbox metadata

 * user:metadata_get("key", "key", ..) - returns value for keys
 * user:metadata_set("key", "value") - sets value for key
 * user:metadata_unset("key", "value") - unsets key
 * user:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

 * mailbox:metadata_get("key", "key", ..) - returns value for keys
 * mailbox:metadata_set("key", "value") - sets value for key
 * mailbox:metadata_unset("key", "value") - unsets key
 * mailbox:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

User metadata is stored under /(private|shared)/vendor/vendor.dovecot/pvt/server to
mailbox INBOX, and is accessible with mailbox metadata methods with INBOX.

Also mail lua exports constants to simplify usage

dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT
"vendor/vendor.dovecot/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
"vendor/vendor.dovecot/pvt/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT_SERVER
"vendor/vendor.dovecot/pvt/server/"

mail-lua: Properly refcount user object

Prevents user object from going away unexpectedly, and makes
sure it gets released correctly.

mail-lua: Use userdata for mailbox pointer

Makes it possible to unref mailbox on exit

lib-lua: Fix assigment helper macros

The macro names were conflicting with the table values.

lib-storage: Fix NO-FS-VALIDATION in mail_location

The setting wasn't being preserved properly, so it was just ignored.

lib: event_filter_unref(NULL) is already a no-op

lib-http: Fix comment typo

doveadm: Add body.preview as a fetch field

Keep body.snippet as a fetch field for backward compatitibility reasons

RFC has changed SHOULD length of preview from 100 to 200

RFC draft has changed from SNIPPET to PREVIEW

The older SNIPPET command will remain for now - it is mostly the same
as the new PREVIEW code, so it's essentially an alias (the only
difference between the two versions is the SNIPPET/PREVIEW identifier
text).

dict: Remove unnecessary o_stream_flush()

Added recently by 89e4b2e7fbd17548f3c99fa66368c9b0bc8eb775

doveadm-dict: Add missing dict_deinit

Fixes event leak when set is missing parameter.

dict: Parse handshake using handshake_args

This ensures the input is properly tab unescaped, also
simplifies the handshake function.

dict: Remove obsolete check as getenv() is no longer used for getting dicts

dict: Use connection API

dict: Use connection struct

Prepares for moving into connection API

dict: Create connection with struct master_connection instead of fd

Prepares for moving into connection.c struct

fts: Add fts_enforced=body

Similar to "no", this doesn't enforce FTS indexing for header searches.
Similar to "yes", on FTS lookup failure it won't fallback to reading all
mails.

sdbox: Add "sdbox" event category

2cd16e24fb442a066c6c3051c1042c1091b927bb only added it to the "dbox" alias.

auth-request: Call auth_request_passdb_lookup_end() for all return paths of auth_request_handle_passdb_callback()

Fixes: Panic: file auth-request.c: line 367 (auth_request_unref):
assertion failed: (array_count(&request->authdb_event) == 0)
The panic happens when auth request results in PASSDB_RESULT_USER_DISABLED.

coccinelle: Add all semantic patches used in the past to a new dir

This commit merely imports the semantic patches without providing any
additional tooling to apply them.  It also includes macros.h header used by
coccinelle to properly handle some of the more complex macros we have.

auth: Make db_oauth2_callback debug print human readable

ipc-server: Reconnect on socket input error.

ipc-server: Change reconnect timeout to 10 seconds.

ipc: Terminate IPC process with master.

ipc: Introduce ipc_groups_disconnect_all()

lib-ssl-iostream: Minor assert cleanup.

If stream->closed is TRUE then stream->stream_errno != 0 as well. And here
we really want to be sure that stream_errno isn't 0, so make the assert
reflect that.

config: reproducible output from settings-get.pl

If the same source gets built twice ('build same source on different
hosts at different times') the resulting files may differ.
Fix this by sorting the hash keys before usage.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

lib-http: client: Fix segfault crash sometimes happening while running sub-ioloop in request callback.

The connection was not completely disconnected before calling the callback.
Running a sub-ioloop means that timeouts and ios that haven't been destroyed yet
for the connection can be triggered, causing all kinds of issues. Therefore, it
is important to disconnect before calling the request callbacks. The fix therefore
consists of calling http_client_connection_disconnect() before calling
http_client_connection_retry_requests() in
http_client_connection_abort_temp_error().

This also amends the test suite to account for these changes, as it is now
unclear which requests will actually succeed.

lib-http: client: Abort pending requests at connection destroy rather than disconnect.

This is needed for subsequent changes.

lib-http: client: Implement the no_auto_retry setting in http_client_request_retry().

Before, it was implemented in http_client_connection_retry_requests(), but that
would not work after http_client_connection_disconnect().The peer is detached
from the connection there, which makes conn->peer->client->set unavailable.
Instead, we use req->client->set for each request individually to determine
whether it should be retried or not.

lib-storage: mail-storage-service: Fix failure prefix composition in mail_storage_service_lookup().

It produced a prefix without the required ": " suffix and in one case it
produced a spurious comma.

lib-storage: Fix -Wimplicit-fallthrough compiler warning

lib-smtp: test-smtp-payload: Implement connection reuse.

Makes the test as a whole faster and it tests an important aspect of connection
management (which, in fact, we currently don't use).

auth: Add missing log prefix to "userdb cache expired" debug line

auth: Use request event for messages after lookup has ended

Otherwise the prefix is going to be wrong, and we cannot use
the authdb_event here because the authdb event is wrong
at this point.

auth: Ensure authdb_event returns event

We don't want nasty crashes due to lack of event.

master: test-master-login-auth - Add request reconnect test.

master: test-master-login-auth - Add request disconnect test.

master: test-master-login-auth - Add support for retrying requests.

master: test-master-login-auth - Run the auth request in a separate function.

lib-master: master-login-auth - Make sure connection is disconnected upon error.

master: test-auth-client - Add handshake reconnect test.

master: test-auth-client - Add handshake disconnect test.

master: test-auth-client - Add support for retrying handshakes.

master: test-auth-client - Run the auth client in a separate function.

master: test-auth-client - Fix duplicate server connection deinit.

lib-auth: auth-client-connection - Make sure connection is disconnected upon error.

master: test-auth-master - Add userdb lookup reconnect test.

master: test-auth-master - Add userdb lookup disconnect test.

master: test-auth-master - Add support for retrying userdb lookups.

master: test-auth-master - Add passdb lookup reconnect test.

master: test-auth-master - Add passdb lookup disconnect test.

master: test-auth-master - Add support for retrying passdb lookups.

lib-auth: auth-master - Create ioloop before connecting to the auth service.

lib-auth: auth-master - Make sure connection is disconnected upon error.

auth-policy: Emit event when report finishes

auth: db-lua - Add method for creating request event

This is needed to make sure that correct event is used when
prefix logging is wanted.

auth: mech-gssapi - Fix compile problem.

auth-policy: Move result logging to auth policy code

Removes duplicate and also unnecessary logging of result

auth: Use request event for logging in generic logging

auth: Use event logging for subsys mech

Automated change

sed -i -e 's/auth_request_log_\(.*\)(\(.*\), AUTH_SUBSYS_MECH,/e_\1(\2->mech_event,/' *.c

Whitespace fixing done with custom script

auth: Use event logging for subsys db

Done with automated change

sed -i -e 's/auth_request_log_\(.*\)(\(.*\), AUTH_SUBSYS_DB,/e_\1(\2->authdb_event,/' *.c

Followed by coccinelle

@@
expression E;
@@

-E->authdb_event
+authdb_event(E)

and some manual cleanup

Whitespace fixing done with custom script

auth: Add events for passdb/userdb lookups

auth: userdb - add userdb_result_to_string

auth: passdb - Add passdb_result_to_string

auth: auth-worker - Add event

auth-policy: Use events

auth-policy: Use dedicated pool

Otherwise memory gets released too early.

auth-policy: Move callback to helper function

auth: Emit event when auth request is finished

auth: Add mechanism event

auth: Split creation of log identifier from get_log_prefix()

auth: Update dummy_set

Add auth_verbose, was forgotten in
b484ab4b55b0d5341f2f4dd98a655a75f0bf1275

master: test-master-login-auth - Add test for parallel requests.

lib-master: master-login-auth - Fix hang when auth server returns multiple replies at once.

input_args() should return 1 to continue reading input, while 0 stops it.

master: test-auth-client - Add test for parallel requests.

master: test-auth-client - Add progress timeout.

lib-master: master-login-auth - Name auth finished event same way as the others

So change auth_master_client_login_finished to
auth_master_client_login_finished.

lib-auth: Fix hang when auth server returns multiple replies at once

input_line() should return 1 to continue reading input, while 0 stops it.

Broken by a91862deade9dd12275f939f2716b5f56633f89e

master: test-auth-client - Drop useless local variable.

This addresses a scan-build report.

lib-auth: auth-client - Emit named events.

lib-auth: auth-client - Add support for event API and use it for logging.

lib-auth: auth-client - Add optional reason argument to auth_client_request_abort().

It is not actually used yet in this commit.

lib-auth: auth-client - Use the connection API.

lib-auth: auth-client - Free the request in a separate function.

lib-auth: auth-client - Rename auth_server_connection* to auth_client_connection*.

lib-auth: Move struct auth_client_request from auth-client-request.c to auth-client-private.h.

lib-auth: Move content of auth-client-request.h to auth-client-private.h.

lib-auth: Move remainder of auth-server-connection.h to auth-client-private.h.

lib-auth: Move struct auth_server_connection from auth-server-connection.h to auth-client-private.h.

lib-auth: Rename auth-server-connection.c to auth-client-connection.c.

doveadm: doveadm-auth-server - Remove useless include for auth-server-connection.h.

doveadm: doveadm-auth - Remove useless include for auth-server-connection.h.

lib: connection - Add vfunc called when the connection becomes ready after handshake.

master: Add unit test for auth-client.

lib-auth: auth-client - Add ability to configure the connect timeout.

This is currently only useful and required for unit tests (the default is just
too long).

lib-auth: auth-client: Do not connect implicitly in auth_client_init().