auth: mech-scram - Fix handling of authzid.

The gs2-header field was not recreated correctly for the final verification.
Fixed by storing the complete gs2-header value instead.

auth: mech-scram - Properly size temporary string buffers.

auth: mech-scram - Restructure message parsing in parse_scram_client_first().

auth: Reformat mech-scram.c.

lib-storage: Return reason string in mailbox_vfuncs.list_index_has_changed()

The callers can use it to log why the list index had changed.

lib-storage: Don't call mailbox_vfuncs.list_index_has_changed() in data stack frame

This will be required by the next change.

lib-storage: mailbox_list_index_view_open() - Log a debug line why index isn't up-to-date

lib-storage: mailbox_list_index_status() - Return failure reason string

Log a debug line if mailbox list index couldn't be used to get the wanted
status information.

auth: userdb-ldap - Avoid early dereferencing

userdb_ldap_iterate_callback() is still invoked after dereferencing
auth_request in userdb_ldap_iterate_deinit().

Normally this happens only on teardown, but it may happens also
in case of auth disconnecting from auth-worker during iteration.
(which shouldn't happen unless the auth process crashes)

var-expand-crypt: Remove dead code

It's correct that dcrypt library shouldn't be deinitialized at plugin
deinit.

login-common: Add more fields to proxy_session_finished

Added disconnect_side, disconnect_reason, idle_secs, bytes_in, bytes_out.

login-common: Split off proxy disconnection prefix to LOGIN_PROXY_KILL_PREFIX

login-common: login_proxy_free_*() - Rename reason to log_msg

This better describes it, since it's the full log message.

dsync: Fix -I max-size to actually be the max-size rather than min-size

The -I max-size parameter was supposed to be used to skip mails that are
larger than max-size. Instead, it skipped mails that were smaller.

man: Add missing parameters to doveadm-sync

dsync: Remove -D parameter that disables syncing mailbox renames

It hasn't been necessary for a long time, and its behavior seems to be
broken.

dsync: Add back various missing parameters

Also add them to the usage string.

Broken by 5676c510bfa9217df05e9b7cb000ae3554d66f22

fts: Don't overwrite INUSE error if indexing times out

lib-storage/index: If mail stream was already opened, do not count it as slow vsize access

imapc storage driver will open the mail stream in some circumstances during search,
so do not consider this as slow vsize.

lib-storage: Split off index_mailbox_vsize_finish_bg()

Simplifies next commit

lib-index: Fix storing cache fields' last_used with 64bit big endian CPUs

maildir: Fix crash at error handling

At this point dest_mail is already NULL. Mainly could happen when running
out of disk space.

login-proxy: Don't send proxying start event for reconnects

Send the event only for the beginning of proxying and add the reconnect counts
as a field for _established and _finished events.

lib: str_parse_intmax() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: switch i_rand_limit() - Replace signed expression with UNSIGNED_MINUS()

Found by code analysis tool

lib: buffer_truncate_rshift_bits() - Replace signed expression with an unsigned equivalent

Found by code analysis tool

lib: bits_rotXYY() - Replace signed expression with UNSIGNED_MINUS() macro for unsigned 2's complement

Found by code analysis tool

bits_is_power_of_two() Replace signed expression with __builtin_popcountl()

Found by code analysis tool

lib: test-bits.c - Removing stray spaces at end of lines

raw-storage: copy the envelope sender instead of referencing it

lib-fs: Add test-fs utility for testing fs drivers

It performs random read/write/delete/iter operations.

replicator: doveadm replicator replicate -f didn't always start full sync

The full sync happened only if the dsync queue was already full. If it
wasn't, dsync was called too early before user->force_full_sync was set.

replicator: Move replicator_brain_timeout(()

lib-storage: Optimize behavior when building THREAD tree with empty cache

Although it's possible that Date, Subject or received-date isn't actually
needed for all mails, it's much more efficient behavior to add all of these
to cache at the same time if they're not there already. Otherwise the same
mail could be opened and parsed up to 3 times.

dsync: Improve checking if source and destination are the same location

Prefer checking using the first -n parameter's namespace. Next try
prefix="" if it's created and last fallback to inbox=yes namespace.

dsync: Improve bad namespace configuration related error messages

submission: smtp_server_command_execute() Remove check for null pointer confusing coverity

imapc: Do not include the root node in list if it's the namespace prefix

Otherwise namespace prefix is added to the mailbox tree as a separate
node. Fixes duplicated shared namespace root in mailbox list.

acl: acl_mailbox_exists() - Add missing error handling

Set mailbox storage error to "internal error" when acl_object_get_my_rights() fails (as per contract).

lib-storage: fail_mailbox_exists() - Return not found as a success instead of an error

GETMETADATA sometimes responds with “NO [SERVERBUG] BUG: Unknown internal error returned”,
instead of “NO Mailbox doesn't exist”, depending on the actual configuration.
This can happen with the shared namespace.

login-common: Default director_username_hash to %Lu like everywhere else

This setting has many places where the default is set, and this syncs it
with the others.

lib-storage: mail-duplicate - Fix segfault occurring when user has no configured home directory

Occurred only when a duplicate DB transaction was created.

lib-storage: mail-duplicate - Fix panic occurring when user has no configured home directory.

Panic was:

Panic: file imem.c: line 65 (i_strconcat): assertion failed: (str1 != NULL)

stats: Whitespace cleanup.

doveadm: Fix processing of group-by parameter of doveadm stats add.

lib-smtp: smtp-client-transaction - Always drop MAIL/RCPT state data before calling callbacks.

This prevents problems with callbacks destroying the transaction, the
connection, or commands involved in the transaction. This at least fixes a
segmentation fault occurring in the submission service when STARTTLS fails
during login.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_abort(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_replied(NULL) a no-op.

lib-smtp: smtp-client-transaction - Assert that smtp_client_transaction_rcpt_approved/denied() has non-NULL parameter.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_rcpt_free(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_abort(NULL) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_replied(NULL, reply) a no-op.

lib-smtp: smtp-client-transaction - Make smtp_client_transaction_mail_free(NULL) a no-op.

lib-smtp: smtp-client-command - Drop callback before call in smtp_client_command_input_reply().

lib-smtp: smtp-client-command - Make smtp_client_command_fail_reply(NULL, reply) a no-op.

lib-smtp: smtp-client-command - Make smtp_client_command_abort(NULL) a no-op.

lib-smtp: Reformat smtp-client-transaction.c.

lib-smtp: Reformat smtp-client-command.c.

lib-fts: Don't index inline base64 encoded content

lib-smtp: smtp-server-command - Emit smtp_server_command_started event a little later.

This way cmd_*args fields are available for the event.

lib-smtp: smtp-server-command - Add cmd_args and cmd_human_args fields.

This mirrors the identically named fields for the imap service. For SMTP,
though, cmd_human_args == cmd_args.

lib-http: http-client-connection - Fix crash in http_client_connection_server_close().

The conn->peer member is only not NULL when the connection is associated with a
peer object. If it is not, http_client_connection_server_close() will crash.
Fixed by doing the peer->client operations only when there is an associated peer.

lib-http: Reformat http-client-connection.c.

lib: Add unit tests for named events only optimization.

lib: Fix event filtering for unnamed events with optional event name

For example event filter "event=ev_name OR field1=value1" wouldn't previously match
if the event didn't have any name, even if it did have field1=value1.

lib-master: Whitespace cleanup.

auth: passdb-cache - Preserve cached fields when verifying password with worker

lib-smtp: smtp-server-command - Hold a command reference while sending replies.

Fixes segfault at smtp-server-reply.c:652.

lib-smtp: smtp-server-command - Split off smtp_server_command_send_more_replies().

lib-smtp: smtp-server-command - Split off smtp_server_command_send_replies().

plugins/fts: Fix memory leak when searching mail in virtual folder with fts.

configure: Fix version macros to work with devel version

SECURITY.md: Add initial security policy

lib-fts: Fix address tokenizer to handle large input properly

Previously it could have used excessive amounts of memory if the input
didn't contain separator characters.

The fix changes a bit how the address-tokenizer works: Previously large
email addresses were saved as truncated tokens. Now they're skipped
entirely by the address tokenizer. Similarly when searching long email
addresses they're no longer searched as truncated tokens, but instead
simply fed to the parent tokenizer which (likely) searches them in
smaller pieces.

Note that this also sometimes changes the order in which tokens are
returned, e.g. "foo", "example", "foo@example.com", "com" instead of
returning "com" before the email address. This isn't ideal, but fixing it
seems annoyingly complicated and practically it doesn't matter right now.

lib-fts: Implement support for parent tokenizer "streaming"

By default parent tokenizer is further tokenizing the token strings returned
by child tokenizer. When streaming is enabled, the parent tokenizers are
instead tokenizing a stream of data sent by the child tokenizer. This
effectively makes the parent tokenizer return the same tokens as if the
child tokenizer didn't exist (assuming child tokenizer feeds the parent
all the same input).

Arguably this should be the only way tokenizers work, but at least for now
lets keep both ways.

lib-fts: fts-tokenizer - Add comments explaning how it works

lib-fts: test-fts-tokenizer - Add more uniqueness to the long email address

This helps at least with debugging problems.

lib: DOVECOT_PREREQ() - Add micro version

Nowadays APIs can change between micro versions as well.

lib: DOVECOT_PREREQ() - Remove surrounding if checks

The DOVECOT_VERSION_* macros are expected to always exist.

configure: Add DOVECOT_VERSION_MICRO

lib: Fix building with --disable-asserts

The #endif location was wrong.

submission-login: Implicitly login using EXTERNAL mechanism upon MAIL if enabled.

This is a workaround for TLS clients that present a valid client certificate,
yet don't authenticate explicitly. This is enabled by setting:

submission_client_workarounds = implicit-auth-external

submission-login: client-authenticate - Split off cmd_auth_set_master_data_prefix().

login-common: sasl-server - Add support for implicit login.

login-common: sasl-server - Turn private argument of sasl_server_auth_begin() into flag.

lib-master: master-auth - Add support for MAIL_AUTH_REQUEST_FLAG_IMPLICIT flag.

It signals that this login is implicit; no command reply is expected. This is
going to be used by the Submission service to implicitly login a user using the
EXTERNAL SASL mechanism when the first MAIL command is issued. In that case
sending a reply for the implicit AUTH command would break the protocol and this
new flag is used to signal the post-login submission service to not send an
initial reply.

lib-smtp: smtp-server - Add support for suppressing the inital greeting reply.

lib-smtp: smtp-server - Make default command functions public.

lib-smtp: smtp-server-command - Allow overriding commands.

submission-login: client - Explicitly set SMTP server command and auth line limits.

This way, it will always use the same limits as all other login services.

lib-smtp: smtp-command-parser - Make parser suitable for input stream with small buffer.

lib-smtp: smtp-command - Use size_t for command line limits.

lib-smtp: test-smtp-server-errors - Add tests for very long AUTH response lines.

lib-smtp: test-smtp-command-parser - Add test for very long AUTH response line.

lib-smtp: Reformat smtp-command-parser.c.

lib-smtp: Reformat smtp-command-parser.h.

master: Use MASTER_SERVICE_FLAG_DISABLE_SSL_SET

This prevents startup failures if ssl_ca has a large number of certificates.

Broken by 36ff43f1a9aff8594d08f791e77ea13390fd569f

lib-master: Add MASTER_SERVICE_FLAG_DISABLE_SSL_SET