lib-storage: Don't log error if attachment flags couldn't be set due to missing cache

Ever since 194dcaa65cdd247393633f2daa4b40fd12985440 missing attachment
keywords have been attempted to be automatically added if all the necessary
fields are in dovecot.index.cache. However, if mime.parts wasn't in the
cache an error was unnecessarily logged.

Fixes:
Error: Failed to add attachment keywords: mail_get_parts() failed: Mail field not cached

imap-acl: In case mailbox name is "" set it to INBOX for shared namespaces

To prevent proxying ACL commands with mailbox "" replace it with "INBOX"
when used with shared namespaces.

imapc: Extract imapc_mailbox_name_equals from imapc_untagged_status

imap-acl: Replace mailbox_open_as_admin with mailbox_open_allocated_as_admin

imap-acl: Allow LISTRIGHT replies without opening as admin

As the reply is hardcoded there is no need to proxy the ACL
command to a remote backend in case imapc_feature "acl" is
enabled.

imap-acl: Implement proxying commands to an imapc location for DELETEACL

Before calling imap_acl_cmd_deleteacl in cmd_deleteacl the new code
checks if the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for SETACL

Before calling imap_acl_cmd_setacl in cmd_setacl the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Implement proxying commands to an imapc location for GETACL

Before calling imap_acl_cmd_getacl in cmd_getacl the new code checks if the
command should be proxied and if so, does the proxying.

imap-acl: Extract imap_acl_cmd_deleteacl from cmd_deletacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_setacl from cmd_setacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Extract imap_acl_cmd_getacl from cmd_getacl

This change makes acl_mailbox_open_allocated_as_admin called later which
is necessary for the following proxying IMAP ACL changes.

imap-acl: Implement proxying commands to an imapc location for MYRIGHTS

Introduce the needed changes to proxy imap-acl commands to a remote
backend using imap-client.

Before calling imap_acl_cmd_myrights in cmd_myrights the new code checks if
the command should be proxied and if so, does the proxying.

imap-acl: Add imapc_acl_get_mailbox_error

Allows to retrieve full mailbox error.

imap-acl: Split off imap_acl_cmd_myrights from cmd_myrights

imap-acl: Split acl_mailbox_open_as_admin

This allows easier implementation of the imap-acl proxying.

imap-acl: Add imap_acl_storage with module context

imapc: Add imapc_mail_error_to_resp_text_code to access error msg by enum

imapc: Change function signature prefix to imapc_resp_text_code_parse

imapc: Add imapc_storage_client_unregister_untagged function

imapc: Add imapc_features=acl

In order to allow proxying IMAP ACL commands to a remote backend

lib: test-event-filter-*: Hide details of tests unless they fail

This removes ~14k lines of output from test-lib run.

imap: Send tagged login reply before finalizing user initialization

Broken by 5fc66f182ff6941639d30372b414c1b39ae1e67e

m4, dovecot-config: Add LIBDOVECOT_LUA_INCLUDE

This allows building plugins that use lib-lua against uninstalled Dovecot
source code tree.

lib: event filter - Return invalid chars in the lexer

This way, we leave it up to the parser to figure out whether or not they
make sense.

lib: event filter - Allow '?' in filter language tokens

Without this, it is not possible to use '?' wildcards without quoting the
value.

dict-sql: Support SQL_DB_FLAG_ON_CONFLICT_DO

lib-sql: Add SQL_DB_FLAG_ON_CONFICT_DO for new enough sqlite and pgsql

lib-sql: sqlpool: Implement get_flags() as a wrapper to the real db

lib: test-array - Add more unit tests for array_foreach*()

Make sure that the elem value is as expected after the loop completes.

lib-sql: Add sql_db_vfuncs.get_flags()

dict-sql: Use SQL_DB_FLAG_ON_DUPLICATE_KEY

Instead of hardcoding mysql check.

lib-sql: Add SQL_DB_FLAG_ON_DUPLICATE_KEY flag for MySQL

auth: mech-oauth2 - Iterate fields in safer manner

Static analyser wasn't happy about the previous way.

lib-smtp: smtp-server-recipient - Remove smtp_server_recipient_initialize().

It is no longer needed.

lib-smtp: smtp-server-recipient - Create transaction event early if there is no transaction yet.

This allows having a parent for the recipient event once the recipient is
created, which can precede the creation of the transaction.

lib: Free unused data stack memory once per second while running ioloop

This way if the data stack has grown excessively large temporarily, it
won't permanently waste memory. And if the data stack grows back to the
same large size, re-allocating it once per second doesn't cause performance
problems.

lib: data-stack - Keep the largest unused block in memory after all

This reverts 2da21080dbbe50b4924ac0135c84babfb404dcce, but that alone
doesn't produce working code so there are also some further fixups.

lib-smtp: test-smtp-payload - Double the client progress timeout.

Otherwise, SSL tests can fail on systems with low entropy.

lib-smtp: smtp-client-transaction - Allow destroying connection while transaction still holds reference.

The lifetime of the transaction is controlled by the application and not so much
by the connection. The transaction holds a reference to the connection, so if
the connection is forcibly destroyed it needs, to notify the transaction of this
event.

This fixes:

Panic: file connection.c: line 938 (connection_list_deinit): assertion failed: (conn != list->connections)

lib-smtp: smtp-client-transaction - Properly handle pending failure upon smtp_client_transaction_send_reset().

lib-smtp: smtp-client-connection - Add smtp_client_connection_transactions_fail() and use it.

Use it to always fail the whole transaction first before the individual commands
if possible.

lib-smtp: smtp-client-connection - Split off smtp_client_connection_transactions_fail_reply().

lib-smtp: smtp-client-connection - Always abort all commands upon smtp_client_connection_close().

Before, these would get a disconnect failure, which makes no sense when the
client is causing the disconnect.

lib-smtp: smtp-client-connection - Abort all transactions upon smtp_client_connection_close().

Before, these would get a disconnect failure, which makes no sense when the
client is causing the disconnect.

lib-smtp: test-smtp-payload - Finish client transaction only when it finishes completely.

lib-smtp: Reformat smtp-client-transaction.c.

lib-smtp: Reformat smtp-client-connection.c.

auth: oauth2 - Support passing openid-configuration URL to client on failure

auth: mech-oauth2 - Pass error fields as array

Makes it easier to add fields to it later on.

imap: copy/move: Fix memory leak when no messages were found

doveadm: Delay reading settings until doveadm plugins are loaded

doveadm: Add doveadm_setting_roots_*() API for plugins to register settings

doveadm: Move settings reading code into doveadm-settings.c

This code is now shared between doveadm and doveadm-server.

lib-master: Add master_service_settings_input.extra_modules

This allows specifying more than one module.

lib-master: master_service_exec_config() - Build argv using dynamic array

auth: auth-worker - Respect service_count

If service_count is set, then auth-worker will stop after
given number of requests.

imap: Improve sending internal error to client if initialization fails

The "Internal server error" should be sent using the same ostream that
was created. Also if service_user initialization failed there was no
OK reply to sent to login.

imap: Send initial tagged reply directly using ostream

This simplifies the following commits.

imap: Send initial tagged reply and capability after rawlogs are initialized

This way the initial tagged reply and capability is written to the rawlog.
Broken by 16328738d35370685387ec51d20657265855e770

imap: Split client_add_input_capability() into two functions

imap: Rename struct client_input to imap_login_request

This better indicates what it is about, and causes less confusion with
all the other client_input variables.

pop3: Handle pipelined input via istream-concat

This fixes rawlog_dir to work properly. It didn't log the pipelined input
to rawlog and it may have also caused the connection to hang.

pop3: Move finishing istream to client_create_finish()

imap: Handle pipelined input from imap-hibernate via istream-concat

Similarly to the previous commit, this fixes issues with rawlog.

imap: Handle pipelined input via istream-concat

This fixes rawlog_dir to work properly. It didn't log the pipelined input
to rawlog and it may have also caused the connection to hang.

imap: Move iostream-rawlog creation to client_create_finish()

This allows the caller to modify the istream before rawlog.

lib: Add i_stream_copy_fd()

acl: Fix broken LIST for shared namespaces

Due to the recent changes in the usage of the acl_ignore_namespace
setting shared namespaces where trying to use fast listing too. This
resulted in wrong LIST IMAP command outputs when using acl plugin.

Broken by dc8ecd38a7e54b8bb80ae97712a0d8ad4edcbed3

lib-lua: dlua-compat - Undefine lua_isinteger

It's being defined in compat to return boolean, so undefine it
here to make sure it compiles. Broken in b59e89ebd97fa52de25b8e976a7dfe61f0d8a639

acl: Prevent crashes with acl_ignore_namespace

In case a namespace was ignored for ACLs an crash could occur because of
"Module context acl_storage_module missing". This panic is prevented by this
change.

acl: Move static acl_namespace_is_ignored

lib-program-client: Change program_client_run*() to return enum program_client_exit_status

Their behavior is clearer when result is expressed as enum than int.

lib-program-client: Rename "exit_code" to "exit_status"

exit_code typically refers to the numeric 0..255 value that processes exit
with.

lib-program-client: Move enum program_client_exit_code to public .h file

lib-lua: dlua-dovecot - Ref event on push

Matches with unref on __gc.

lib-lua: test-lua - Use bool for expected_isnum in check_tointegerx_compat

lib-lua: Define lua_isinteger as boolean function

lib-lua: Fix error reporting for script loading

lib-lua: Use dluaL_error for luaL_error

lib-lua: Fix luaL_error usage

lib-lua: Add dluaL_error

lib-lua: dlua-script - Add dlua_pushfstring

Uses full sprintf

lib-lua: dlua-wrapper - Constify extra functions

lib-index, lib-compression: Fix explicit integer wrapping

Using modulo instead of AND wrapped it one number too early.
Luckily these didn't break anything.

lib: abort() on unexpected exit()

This can especially be useful in catching bugs in Lua script that could
unexpectedly exit.

global: Replace exit() with lib_exit()

lib-http: http-client-peer - Fix segfault occurring upon backoff connect.

If peers decide to close and destroy immediately, the iteration in the shared
peer yields an invalid pointer for the next peer to connect. Fixed by preserving
pointer to next peer inside the loop.

lib: event filter - Avoid using event field wildcard matching when not needed

If the right hand side of an event field comparison is not using any
wildcards, we can compare using strcasecmp() instead of the more expensive
wildcard_match_icase().

This wildcard matching avoidance change speeds up matching quite a bit.
When the desired comparison is *not* a wildcard match (i.e., the filter is
'fieldname=abc'), microbenchmarks show at least a 11% speedup in filter
matching speed.  When the comparison includes a wildcard (i.e., the filter
is 'fieldname=abc*'), microbenchmarks show approximately 0.9% filer matching
slowdown.

Since there are so many non-wildcard matches in a typical filter, this is a
very good trade-off.

lib: event filter - Rename EVENT_FILTER_NODE_TYPE_EVENT_FIELD to denote wildcard matching

lib: event filter - Avoid using event name wildcard matching when not needed

If the right hand side of an event name comparison is not using any
wildcards, we can compare using strcmp() instead of the more expensive
wildcard_match().

This wildcard matching avoidance change speeds up matching quite a bit.
When the desired comparison is *not* a wildcard match (i.e., the filter is
'event=abc'), microbenchmarks show at least a 30% speedup in filter matching
speed.  When the comparison includes a wildcard (i.e., the filter is
'event=abc*'), microbenchmarks show approximately 0.4% filer matching
slowdown.

Since there are so many non-wildcard matches in a typical filter, this is a
very good trade-off.

lib: event filter - Rename EVENT_FILTER_NODE_TYPE_EVENT_NAME to denote wildcard matching

lib: Add wildcard_is_literal to check if a mask has * or ?

lib: test-env-util - Make static analyzer happy

lib-dict: dict-lua - Don't yield again until previous one has completed

lib-dict: dict-lua - Use absolute stack positions for arguments

acl: Reinitialize local acl object after creating mailbox

For INDEX layout this is needed to actually get the local mailbox path.
This fixes inheriting ACLs from parent folder for INDEX layouts.

lib: Add unit tests to env-util

lib-index: Use env_put() instead of putenv() directly

configure, lib: Remove workarounds for unsetenv()

It's in POSIX.1-2001 and available on all modern systems.

lib: env_put() - Use setenv() instead of putenv()

It's already in POSIX.1-2001 so it should be available everywhere.