lib-http: Reformat http-client-connection.c.

lib: Add unit tests for named events only optimization.

lib: Fix event filtering for unnamed events with optional event name

For example event filter "event=ev_name OR field1=value1" wouldn't previously match
if the event didn't have any name, even if it did have field1=value1.

lib-master: Whitespace cleanup.

auth: passdb-cache - Preserve cached fields when verifying password with worker

lib-smtp: smtp-server-command - Hold a command reference while sending replies.

Fixes segfault at smtp-server-reply.c:652.

lib-smtp: smtp-server-command - Split off smtp_server_command_send_more_replies().

lib-smtp: smtp-server-command - Split off smtp_server_command_send_replies().

plugins/fts: Fix memory leak when searching mail in virtual folder with fts.

configure: Fix version macros to work with devel version

SECURITY.md: Add initial security policy

lib-fts: Fix address tokenizer to handle large input properly

Previously it could have used excessive amounts of memory if the input
didn't contain separator characters.

The fix changes a bit how the address-tokenizer works: Previously large
email addresses were saved as truncated tokens. Now they're skipped
entirely by the address tokenizer. Similarly when searching long email
addresses they're no longer searched as truncated tokens, but instead
simply fed to the parent tokenizer which (likely) searches them in
smaller pieces.

Note that this also sometimes changes the order in which tokens are
returned, e.g. "foo", "example", "foo@example.com", "com" instead of
returning "com" before the email address. This isn't ideal, but fixing it
seems annoyingly complicated and practically it doesn't matter right now.

lib-fts: Implement support for parent tokenizer "streaming"

By default parent tokenizer is further tokenizing the token strings returned
by child tokenizer. When streaming is enabled, the parent tokenizers are
instead tokenizing a stream of data sent by the child tokenizer. This
effectively makes the parent tokenizer return the same tokens as if the
child tokenizer didn't exist (assuming child tokenizer feeds the parent
all the same input).

Arguably this should be the only way tokenizers work, but at least for now
lets keep both ways.

lib-fts: fts-tokenizer - Add comments explaning how it works

lib-fts: test-fts-tokenizer - Add more uniqueness to the long email address

This helps at least with debugging problems.

lib: DOVECOT_PREREQ() - Add micro version

Nowadays APIs can change between micro versions as well.

lib: DOVECOT_PREREQ() - Remove surrounding if checks

The DOVECOT_VERSION_* macros are expected to always exist.

configure: Add DOVECOT_VERSION_MICRO

lib: Fix building with --disable-asserts

The #endif location was wrong.

submission-login: Implicitly login using EXTERNAL mechanism upon MAIL if enabled.

This is a workaround for TLS clients that present a valid client certificate,
yet don't authenticate explicitly. This is enabled by setting:

submission_client_workarounds = implicit-auth-external

submission-login: client-authenticate - Split off cmd_auth_set_master_data_prefix().

login-common: sasl-server - Add support for implicit login.

login-common: sasl-server - Turn private argument of sasl_server_auth_begin() into flag.

lib-master: master-auth - Add support for MAIL_AUTH_REQUEST_FLAG_IMPLICIT flag.

It signals that this login is implicit; no command reply is expected. This is
going to be used by the Submission service to implicitly login a user using the
EXTERNAL SASL mechanism when the first MAIL command is issued. In that case
sending a reply for the implicit AUTH command would break the protocol and this
new flag is used to signal the post-login submission service to not send an
initial reply.

lib-smtp: smtp-server - Add support for suppressing the inital greeting reply.

lib-smtp: smtp-server - Make default command functions public.

lib-smtp: smtp-server-command - Allow overriding commands.

submission-login: client - Explicitly set SMTP server command and auth line limits.

This way, it will always use the same limits as all other login services.

lib-smtp: smtp-command-parser - Make parser suitable for input stream with small buffer.

lib-smtp: smtp-command - Use size_t for command line limits.

lib-smtp: test-smtp-server-errors - Add tests for very long AUTH response lines.

lib-smtp: test-smtp-command-parser - Add test for very long AUTH response line.

lib-smtp: Reformat smtp-command-parser.c.

lib-smtp: Reformat smtp-command-parser.h.

master: Use MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This prevents startup failures if ssl_ca has a large number of certificates.

Broken by 36ff43f1a9aff8594d08f791e77ea13390fd569f

lib-master: Add MASTER_SERVICE_FLAG_DISABLE_SSL_SET

lib-ssl-iostream: Fix assert-crash when OpenSSL returns syscall error without errno

Incomplete fix in f41874b3dec541478a85275698a91f089f537df2

Fixes:
Panic: file istream-openssl.c: line 51 (i_stream_ssl_read_real): assertion failed: (errno != 0)

lib-storage: Improve mailbox_vfuncs.search_next_update_seq() comment

example-config: Remove outdated object-storage conf.d file

dsync: Add back missing -T parameter

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Keep track of every backend mailbox fts index status for virtual folders.

fts: Whitespace cleanup.

lib-storage: Move search matching into mailbox_vfuncs.search_next_match_mail()

lib: Use data stack frame with IO switch and destroy callbacks

lib: Use data stack frame with IO context activate/deactive callbacks

These were running outside the regular ioloop data stack frames, so if the
callback used any data stack it kept increasing memory usage.

This fixes excessive memory usage with old_stats plugin when used with
long-running imap sessions. The memory got filled with UPDATE-SESSION
commands.

lib-storage: When search parses message headers, deinitialize the parsing properly

index_mail_parse_header() was being called only for the actual headers.
This prevented it from being called with hdr=NULL to indicate that the
parsing is finished and should be deinitialized. Move the
index_mail_parse_header() to be called earlier so it's called also with
hdr=NULL.

Not deinitilizing the parsing could have caused assert-crashes later on in
some situations.

Fixes:
Panic: file index-mail-headers.c: line 667 (index_mail_get_raw_headers): assertion failed: (mail->mail.mail.lookup_abort >= MAIL_LOOKUP_ABORT_NOT_IN_CACHE)
Panic: file ../../../src/lib/array.h: line 244 (array_idx_i): assertion failed: (idx < array->buffer->used / array->element_size)
Panic: file index-mail.c: line 1203 (index_mail_parse_body_finish): assertion failed: (!success)

doveadm: Route help/usage messages on stderr rather than stdout.

login-common: Add proxying events

- proxy_session_started: Emitted before connecting to remote
- proxy_session_established: Emitted after connection to remote is established
and user is successfully logged in to the backend.
- proxy_session_finished: Emitted when proxying has ended. Either successfully
or with error.

login-common: Change login proxy message to include IP address

Will be in format "<IP> (<host>)". Host part is optional and not added
if proxy target is an IP address.

login-proxy: Add source_port to proxy event after connection is established

login-common: Add more fields to login proxy event

Adds
- source_ip
- dest_ip
- dest_port
- dest_host
- master_user

login-common: Start proxying after client fields are set

Allows adding more event fields in login_proxy_new().

login-proxy: Add login_proxy_get_ip_str()

Returns proxy IP address as string.

client-common: Add service field to client event

imap: list_send_status() - Fixes LIST-EXTENDED doesn't return STATUS for all folders

Sending LIST .. RETURN (SUBSCRIBED STATUS (...)) did not return STATUS for folders that are not subscribed when they have a child folder that is subscribed as mandated by IMAP RFC

lib-index: Add mail_index_alloc_cache_find()

maildir: Fix crash when closing a mailbox that isn't open

This could have happened at least with virtual plugin.

master: test-auth-client - Check that authorization ID is as expected

master: test-auth-client - Fix authenid check to be assert

It can never be NULL at this point.

lib-dict: dict-lua - Throw Lua error if dict key is invalid or username is missing

This prevents assert-crashes in the C code.

lib-dict: dict_lookup_async() - Add missing assert to check for key prefix and username

lib-master: Prevent read buffer overflow with invalid haproxy header size

This could have happened only for connections from haproxy_trusted_networks,
so it's unlikely to cause any real security issues.

lib-dcrypt: dcrypt_openssl_decrypt_point_password_v1() - Fix crash if pbkdf2 generation fails

imap: Fix handling client initialization error

It should send "OK Logged in" + BYE, not PREAUTH.

Broken by 714ff4342e39e309ff184905cd2f714def6177a3

imap: Move client_add_input() content to calling functions

imap: Move IMAPLOGINTAG environment handling

It can only happen with stdio clients when they don't have CLIENT_INPUT,
so it makes more sense to exist in the calling function.

imap-login: proxy: Don't forward untagged BYE responses to the client

It will just cause confusion, especially when connections are retried.
It could end up looking like:

x login user pass
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
x NO [UNAVAILABLE] Account is temporarily unavailable.

lib-storage: mail_storage_service_lookup() - Fix memory leak when returning -2

This was also visible as event leaks.

lib-index: Fix potential crash with debug logging when looking up cache

lib-index: mail_cache_lookup_iter_next() - Add a warning comment about re-reading fields

mail-crypt: mail_crypt_load_global_private_key() - Drop unnecessary NULL check

lib, global: i_stream_create_chain() - Add max_buffer_size

This makes sure that the istream size can't grow too large and waste memory.

Previously the istream max_buffer_size was dynamically changed to be the
smallest seen max_buffer_size in chained istreams. This mostly worked, but
sometimes the istream-chain's max_buffer_size was requested before even the
first istream was added to it.

Having an explicit max_buffer_size avoids all the problems of it being
dynamic, and there's not really any need for it anyway.

virtual: Fix assert-crash when backend mbox mailbox is deleted while virtual mailbox is open

The code wrongly thought that metadata lookup couldn't fail because it was
already successfully looked up. But the backend storage could still try to
refresh the mailbox to verify whether it still exists or not, and fail if
it was deleted.

This seems to have affected only the mbox mailbox format.

Broken by 710346bcb884b464c8ed128870fdc1999c13dfd3

lib: istream-concat - Add a comment about explicit snapshot function

lib: test-istream-concat - Unref child istreams immediately

This doesn't currently make a difference, since istream-concat keeps them
internally referenced. In case this changes and snapshot handling isn't
fixed similarly to istream-chain, the unit test should now fail.

lib: istream-concat - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: istream-chain - Optimize snapshot handling

lib: istream-chain - Fix snapshot handling when link istream is destroyed

lib: istream-chain - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: Add i_stream_memarea_detach()

lib: test-istream-chain - Use more unique strings for testing

DEBUG checks don't work well if the input repeats the same character.

lib: istream-seekable - Fix crash after write to temp file failed

Fixes:
Panic: file istream-seekable.c: line 230 (read_from_buffer): assertion failed: (*ret_r > 0)

lib: istream-seekable - Don't double-close temp file fd on errors

Closing the fd_input stream already auto-closes the fd.

lib: istream-seekable - Fix crash if writing to temp file fails

lib: i_stream_try_alloc() - Add sanity check asserts

lib-imap-client: test-imapc-client - Increase connect timeout for most tests

The 500ms timeout could have been too short when running with valgrind on an
overloaded system. Increase it to 5 seconds, but keep 500ms for the tests
that expect a timeout.

lib-master: master_login_auth_callback() - Add assert to guard for both errormsg and auth_args being NULL

auth: db-passwd-file - Fix using paths with %% escaped characters but no %variables

full_key might not have been NULL, causing var_expand() to read past the
array and possibly crash.

lib: t_get_bytes_available() - Move code inside DEBUG to avoid dead code warning

lib-index: mail_index_sync_init_expunge_handlers() - Simplify and remove dead code

lib-index: test-mail-index-write - Fix initializing map.hdr_copy_buf

lib-settings: test-settings-parser - Check settings_parser_check() return value

auth: Make sure auth_request_import() doesn't unexpectedly fail

lib: Change i_unreached() to be a function

This allows overriding the function in a Coverity model, so it can
understand that i_unreached() is intended to be unreachable code.

lib: base64 - Add asserts to check max_line_len is in valid range

ipc: Disable connecting to stats

This avoids reconnect errors if stats process crashes.

master: Use relative path for stats_writer_socket_path for chrooted services

This allows login process to reconnect to stats-writer if it gets
disconnected.

stats: Add login/stats-writer socket

lmtp: lmtp-proxy - Use the per-recipient session ID for the "Saved" message.

lmtp: Move session_id field to generic recipient struct.