replicator: Move replicator_brain_timeout(()

lib-storage: Optimize behavior when building THREAD tree with empty cache

Although it's possible that Date, Subject or received-date isn't actually
needed for all mails, it's much more efficient behavior to add all of these
to cache at the same time if they're not there already. Otherwise the same
mail could be opened and parsed up to 3 times.

dsync: Improve checking if source and destination are the same location

Prefer checking using the first -n parameter's namespace. Next try
prefix="" if it's created and last fallback to inbox=yes namespace.

dsync: Improve bad namespace configuration related error messages

submission: smtp_server_command_execute() Remove check for null pointer confusing coverity

imapc: Do not include the root node in list if it's the namespace prefix

Otherwise namespace prefix is added to the mailbox tree as a separate
node. Fixes duplicated shared namespace root in mailbox list.

acl: acl_mailbox_exists() - Add missing error handling

Set mailbox storage error to "internal error" when acl_object_get_my_rights() fails (as per contract).

lib-storage: fail_mailbox_exists() - Return not found as a success instead of an error

GETMETADATA sometimes responds with “NO [SERVERBUG] BUG: Unknown internal error returned”,
instead of “NO Mailbox doesn't exist”, depending on the actual configuration.
This can happen with the shared namespace.

login-common: Default director_username_hash to %Lu like everywhere else

This setting has many places where the default is set, and this syncs it
with the others.

lib-storage: mail-duplicate - Fix segfault occurring when user has no configured home directory

Occurred only when a duplicate DB transaction was created.

lib-storage: mail-duplicate - Fix panic occurring when user has no configured home directory.

Panic was:

Panic: file imem.c: line 65 (i_strconcat): assertion failed: (str1 != NULL)

stats: Whitespace cleanup.

doveadm: Fix processing of group-by parameter of doveadm stats add.

lib-smtp: smtp-client-transaction - Always drop MAIL/RCPT state data before calling callbacks.

This prevents problems with callbacks destroying the transaction, the
connection, or commands involved in the transaction. This at least fixes a
segmentation fault occurring in the submission service when STARTTLS fails
during login.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_abort(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_replied(NULL) a no-op.

lib-smtp: smtp-client-transaction - Assert that smtp_client_transaction_rcpt_approved/denied() has non-NULL parameter.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_free(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_abort(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_replied(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_free(NULL) a no-op.

lib-smtp: smtp-client-command - Drop callback before call in smtp_client_command_input_reply().

lib-smtp: smtp-client-command - Make smtp_client_command_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-command - Make smtp_client_command_abort(NULL) a no-op.

lib-smtp: Reformat smtp-client-transaction.c.

lib-smtp: Reformat smtp-client-command.c.

lib-fts: Don't index inline base64 encoded content

lib-smtp: smtp-server-command - Emit smtp_server_command_started event a little later.

This way cmd_*args fields are available for the event.

lib-smtp: smtp-server-command - Add cmd_args and cmd_human_args fields.

This mirrors the identically named fields for the imap service. For SMTP,
though, cmd_human_args == cmd_args.

lib-http: http-client-connection - Fix crash in http_client_connection_server_close().

The conn->peer member is only not NULL when the connection is associated with a
peer object. If it is not, http_client_connection_server_close() will crash.
Fixed by doing the peer->client operations only when there is an associated peer.

lib-http: Reformat http-client-connection.c.

lib: Add unit tests for named events only optimization.

lib: Fix event filtering for unnamed events with optional event name

For example event filter "event=ev_name OR field1=value1" wouldn't previously match
if the event didn't have any name, even if it did have field1=value1.

lib-master: Whitespace cleanup.

auth: passdb-cache - Preserve cached fields when verifying password with worker

lib-smtp: smtp-server-command - Hold a command reference while sending replies.

Fixes segfault at smtp-server-reply.c:652.

lib-smtp: smtp-server-command - Split off smtp_server_command_send_more_replies().

lib-smtp: smtp-server-command - Split off smtp_server_command_send_replies().

plugins/fts: Fix memory leak when searching mail in virtual folder with fts.

configure: Fix version macros to work with devel version

SECURITY.md: Add initial security policy

lib-fts: Fix address tokenizer to handle large input properly

Previously it could have used excessive amounts of memory if the input
didn't contain separator characters.

The fix changes a bit how the address-tokenizer works: Previously large
email addresses were saved as truncated tokens. Now they're skipped
entirely by the address tokenizer. Similarly when searching long email
addresses they're no longer searched as truncated tokens, but instead
simply fed to the parent tokenizer which (likely) searches them in
smaller pieces.

Note that this also sometimes changes the order in which tokens are
returned, e.g. "foo", "example", "foo@example.com", "com" instead of
returning "com" before the email address. This isn't ideal, but fixing it
seems annoyingly complicated and practically it doesn't matter right now.

lib-fts: Implement support for parent tokenizer "streaming"

By default parent tokenizer is further tokenizing the token strings returned
by child tokenizer. When streaming is enabled, the parent tokenizers are
instead tokenizing a stream of data sent by the child tokenizer. This
effectively makes the parent tokenizer return the same tokens as if the
child tokenizer didn't exist (assuming child tokenizer feeds the parent
all the same input).

Arguably this should be the only way tokenizers work, but at least for now
lets keep both ways.

lib-fts: fts-tokenizer - Add comments explaning how it works

lib-fts: test-fts-tokenizer - Add more uniqueness to the long email address

This helps at least with debugging problems.

lib: DOVECOT_PREREQ() - Add micro version

Nowadays APIs can change between micro versions as well.

lib: DOVECOT_PREREQ() - Remove surrounding if checks

The DOVECOT_VERSION_* macros are expected to always exist.

configure: Add DOVECOT_VERSION_MICRO

lib: Fix building with --disable-asserts

The #endif location was wrong.

submission-login: Implicitly login using EXTERNAL mechanism upon MAIL if enabled.

This is a workaround for TLS clients that present a valid client certificate,
yet don't authenticate explicitly. This is enabled by setting:

submission_client_workarounds = implicit-auth-external

submission-login: client-authenticate - Split off cmd_auth_set_master_data_prefix().

login-common: sasl-server - Add support for implicit login.

login-common: sasl-server - Turn private argument of sasl_server_auth_begin() into flag.

lib-master: master-auth - Add support for MAIL_AUTH_REQUEST_FLAG_IMPLICIT flag.

It signals that this login is implicit; no command reply is expected. This is
going to be used by the Submission service to implicitly login a user using the
EXTERNAL SASL mechanism when the first MAIL command is issued. In that case
sending a reply for the implicit AUTH command would break the protocol and this
new flag is used to signal the post-login submission service to not send an
initial reply.

lib-smtp: smtp-server - Add support for suppressing the inital greeting reply.

lib-smtp: smtp-server - Make default command functions public.

lib-smtp: smtp-server-command - Allow overriding commands.

submission-login: client - Explicitly set SMTP server command and auth line limits.

This way, it will always use the same limits as all other login services.

lib-smtp: smtp-command-parser - Make parser suitable for input stream with small buffer.

lib-smtp: smtp-command - Use size_t for command line limits.

lib-smtp: test-smtp-server-errors - Add tests for very long AUTH response lines.

lib-smtp: test-smtp-command-parser - Add test for very long AUTH response line.

lib-smtp: Reformat smtp-command-parser.c.

lib-smtp: Reformat smtp-command-parser.h.

master: Use MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This prevents startup failures if ssl_ca has a large number of certificates.

Broken by 36ff43f1a9aff8594d08f791e77ea13390fd569f

lib-master: Add MASTER_SERVICE_FLAG_DISABLE_SSL_SET

lib-ssl-iostream: Fix assert-crash when OpenSSL returns syscall error without errno

Incomplete fix in f41874b3dec541478a85275698a91f089f537df2

Fixes:
Panic: file istream-openssl.c: line 51 (i_stream_ssl_read_real): assertion failed: (errno != 0)

lib-storage: Improve mailbox_vfuncs.search_next_update_seq() comment

example-config: Remove outdated object-storage conf.d file

dsync: Add back missing -T parameter

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Keep track of every backend mailbox fts index status for virtual folders.

fts: Whitespace cleanup.

lib-storage: Move search matching into mailbox_vfuncs.search_next_match_mail()

lib: Use data stack frame with IO switch and destroy callbacks

lib: Use data stack frame with IO context activate/deactive callbacks

These were running outside the regular ioloop data stack frames, so if the
callback used any data stack it kept increasing memory usage.

This fixes excessive memory usage with old_stats plugin when used with
long-running imap sessions. The memory got filled with UPDATE-SESSION
commands.

lib-storage: When search parses message headers, deinitialize the parsing properly

index_mail_parse_header() was being called only for the actual headers.
This prevented it from being called with hdr=NULL to indicate that the
parsing is finished and should be deinitialized. Move the
index_mail_parse_header() to be called earlier so it's called also with
hdr=NULL.

Not deinitilizing the parsing could have caused assert-crashes later on in
some situations.

Fixes:
Panic: file index-mail-headers.c: line 667 (index_mail_get_raw_headers): assertion failed: (mail->mail.mail.lookup_abort >= MAIL_LOOKUP_ABORT_NOT_IN_CACHE)
Panic: file ../../../src/lib/array.h: line 244 (array_idx_i): assertion failed: (idx < array->buffer->used / array->element_size)
Panic: file index-mail.c: line 1203 (index_mail_parse_body_finish): assertion failed: (!success)

doveadm: Route help/usage messages on stderr rather than stdout.

login-common: Add proxying events

- proxy_session_started: Emitted before connecting to remote
- proxy_session_established: Emitted after connection to remote is established
and user is successfully logged in to the backend.
- proxy_session_finished: Emitted when proxying has ended. Either successfully
or with error.

login-common: Change login proxy message to include IP address

Will be in format "<IP> (<host>)". Host part is optional and not added
if proxy target is an IP address.

login-proxy: Add source_port to proxy event after connection is established

login-common: Add more fields to login proxy event

Adds
- source_ip
- dest_ip
- dest_port
- dest_host
- master_user

login-common: Start proxying after client fields are set

Allows adding more event fields in login_proxy_new().

login-proxy: Add login_proxy_get_ip_str()

Returns proxy IP address as string.

client-common: Add service field to client event

imap: list_send_status() - Fixes LIST-EXTENDED doesn't return STATUS for all folders

Sending LIST .. RETURN (SUBSCRIBED STATUS (...)) did not return STATUS for folders that are not subscribed when they have a child folder that is subscribed as mandated by IMAP RFC

lib-index: Add mail_index_alloc_cache_find()

maildir: Fix crash when closing a mailbox that isn't open

This could have happened at least with virtual plugin.

master: test-auth-client - Check that authorization ID is as expected

master: test-auth-client - Fix authenid check to be assert

It can never be NULL at this point.

lib-dict: dict-lua - Throw Lua error if dict key is invalid or username is missing

This prevents assert-crashes in the C code.

lib-dict: dict_lookup_async() - Add missing assert to check for key prefix and username

lib-master: Prevent read buffer overflow with invalid haproxy header size

This could have happened only for connections from haproxy_trusted_networks,
so it's unlikely to cause any real security issues.

lib-dcrypt: dcrypt_openssl_decrypt_point_password_v1() - Fix crash if pbkdf2 generation fails

imap: Fix handling client initialization error

It should send "OK Logged in" + BYE, not PREAUTH.

Broken by 714ff4342e39e309ff184905cd2f714def6177a3

imap: Move client_add_input() content to calling functions

imap: Move IMAPLOGINTAG environment handling

It can only happen with stdio clients when they don't have CLIENT_INPUT,
so it makes more sense to exist in the calling function.

imap-login: proxy: Don't forward untagged BYE responses to the client

It will just cause confusion, especially when connections are retried.
It could end up looking like:

x login user pass
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
x NO [UNAVAILABLE] Account is temporarily unavailable.

lib-storage: mail_storage_service_lookup() - Fix memory leak when returning -2

This was also visible as event leaks.