lib-mail: rfc822-parser - Add asserts to make sure parser state is correct

lib-dns: Move before lib-master

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

lib-master: Check local_name only if both filter and input have it

Broken in cedc777a1acf830af4cf0b6e9b0f343c81e20adc

login-common: Enable config filtering by local name

Prevents servername misuse.

lib-master: Support validating config filters against requests

Validation will sanitize the input request and drop any fields
that have no filter in config. E.g. if you have a local block
with name, and nothing else, then lip/rip will be dropped
from the request.

config: Add command to request all filters

config: Add config_filter_get_all

Returns all filters

charset-alias: Don't return value from void functions

lib-smtp: server: Fix reporting of XCLIENT capability in EHLO response.

The trusted connection check logic was inverted.

lib-smtp: server: Fix segfault occurring when XCLIENT command is handled.

Occurs only when the application (in this case LMTP) has a
conn_proxy_data_updated() callback. The context parameter was the struct
smtp_server_connection object itself, rather than the application context. This
caused the connection object to be overwritten.

lib-smtp: server: Fix segfault occurring during XCLIENT when no extension fields are configured.

lib-imap-storage: imap-msgpart-url: Perform the check for a proper messagepart URL in imap_msgpart_url_create().

Before, this was an assert in imap_msgpart_url_create(). The actual check was
performed only in imap_msgpart_url_parse(), meaning that
imap_msgpart_url_create() would fail with an assertion when provided with an
inappropriate URL.

This surfaced as a problem for the submission BURL command.

m4: Use -U and -D in cc_fortify

Not just -D. This is to test the same thing
that gets used.

m4: Remove pthread from tests

replication: Don't trigger replication on changes not visible to dsync

For example if there's a write to .cache file, it doesn't require
replication.

lib-storage: Replace mail_transaction_commit_changes.changed with changes_mask

This allows better finding out what changed in the transaction.

lib-storage: Include mail-index.h from mail-storage.h

This makes it a bit more acceptable to use mail-index.h API, without having
to go through the lib-storage layer. This is also needed by the next patch
to avoid duplicating the same enum in both lib-index and lib-storage layer.

lib-storage: Remove mailbox_transaction_context.nontransactional_changes

Nothing cares about them. It was only set for POP3 UIDL change with
Maildir. In theory dsync replication would want to replicate such a change,
but it doesn't actually support changing UIDLs for existing mails. Other
mailbox formats don't support it anyway.

lib-index: Add mail_index_transaction_commit_result.changes_mask

This can be used to determine what type of changes were committed in a
transaction.

lib-index: Cleanup - return bool in log_append_keyword_updates()

Simplifies the next commit.

lmtp: local: Don't deliver more than once to the same recipient.

Duplicate RCPT TO commands for local recipients are now mostly ignored,
by repeating the reply for the first instance of that RCPT TO command.

lmtp: Add recipient type to struct lmtp_recipient.

lmtp: Move common recipient handling code to separate file.

lib-smtp: server: Use smtp_server_reply_submit_duplicate() in smtp_server_reply_allv().

This is more efficient, since it doesn't need to compose new content for each
reply.

lib-smtp: server: Add function that allows submitting duplicate replies.

The smtp_server_reply_submit_duplicate() function submits a new reply at the
specified index with content duplicated from an existing earlier reply.

lib-smtp: server: Move allocation of command replies to a separate function.

lib-smtp: server: Put reply content in a separate struct.

This allows duplicate replies to share content for a multi-reply command.

lib-smtp: server: Allow part of the replies to be already sent in smtp_server_reply_allv().

This is not something observed to happen in existing code, but it is best to
deal with this properly, as it could happen in the future.

lib-smtp: server: transaction: Add function that finds duplicate recipients.

Duplicate means that both the path and parameters are equal.

lib-smtp: server: Add RCPT parameters directly in smtp_server_transaction_add_rcpt().

This makes more sense. Before, these were added to the recipient in
smtp-server-cmd-rcpt.c, after the recipient was added.

lib-smtp: params: Add function that allows checking whether RCPT parameters are equal.

lib-smtp: params: Add functions to evaluate any extra (non-standard) MAIL and RCPT parameters.

These allow looking up the parameter based on its name.

lib-smtp: address: Consistently allow address values to be NULL.

If the address pointer is NULL or the localpart field is NULL or empty, it
signifies that it is the NULL address "<>".

In the case of smtp_address_equals(), this also likely fixes crashes at places
where it may be used to compare "<>".

lib-smtp: address: Rename 'poo' to 'pool' in declaration of smtp_address_detail_parse().

quota: Warn when quota check is blocked by background quota calculation

This was previously double logged as "Quota transaction has failed
earlier" error.

quota: Remove "Failed to set quota transaction limits" error

This error adds nothing that helps the user to debug a problem.

quota-count: Remove extra "quota-count failed:" from error_r

example-config: Add mail_attachment_detection_options

doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

notify: Ignore flag and keywords update during saving

They are part of the saving event

*-login: Fix clients linked list corruption with SSL connections

This could have resulted in infinite loops or some of the clients being
skipped for some operations.

push-notification: PUSH_NOTIFICATION_USER_CONTEXT is now required

Satisfies static analyzers

fts-lucene: Add and use FTS_LUCENE_USER_CONTEXT_REQUIRE

Satisfies static analyzers

welcome: WELCOME_CONTEXT is now required

Satisfies static analyzers

expire: DOVEADM_EXPIRE_MAIL_CMD_CONTEXT is now required

Satisfied static analyzers

virtual: Contexts are now required or checked

Satisfies static analyzers

quota: Add and use QUOTA_USER_CONTEXT_REQUIRE

Satisfies static analyzers

imap-zlib: Context is now required

Satisfies static analyzers

lazy-expunge: Fix context checking

Was not done properly in 462a3d92adcde4bfa9a575875bd8ae740b89ce9e

mail-crypt: Add and use MAIL_CRYPT_USER_CONTEXT_REQUIRE

Satisfies static analyzers

fts-solr: Add and use FTS_SOLR_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Fix ACL_CONTEXT check

Was incorrect in 3131b3878de3245db7552234e66d437e8fde9351

acl: Add and use ACL_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Add and use ACL_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: imapc - Ensure search ctx is not NULL

Satisfies static analyzers

lib-storage: Add and use MAIL_STORAGE_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use MAIL_THREAD_CONTEXT_REQUIRE

Satisfies static analyzers

lib-index: Add and use CACHE_TRANS_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use INDEX_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

mail-log: Contexts are now required or checked

Satisfies static analyzers

old-stats-plugin: Fix context requirements

Fixes Panic: Module context stats_storage_module missing

Broken by 6afdf0b6fce26c5492d5e56f6f16fb8a4d869566

pop3-migration-plugin: Fix context requirements

Fixes Panic: Module context pop3_migration_storage_module missing

Broken by a8703ce24540b7efaa51a8c7d3c72e72727f9789

last-login: Contexts are now required or checked

Satisfies static analyzers

mail-crypt: Contexts are now required or checked

Satisfies static analyzers

old-stats: Contexts are now required or checked

Satisfies static analyzers

quota-clone: Contexts are now required or checked

Satisfies static analyzers

zlib: Contexts are now required or checked

Satisfies static analyzers

mailbox-alias: Contexts are now required or checked

Satisfies static analyzers

mail-filter: Contexts are now required or checked

Satisfies static analyzers

notify: Contexts are now required or checked

Satisfied static analyzers

pop3-migration: Contexts are now required or checked

Satisfies static analyzers

quota: Contexts are now required or checked

Satisfied static analyzers

apparmor: Ensure auser is not NULL

Satisfies static analyzers

lazy-expunge: Contexts are now required or checked

Satisfied static analyzers

fts: Contexts are now required or checked

Satisfied static analyzer

snarf: If sstorage is NULL, do not allocate box

Old code would continue if sstorage was NULL.

Found by static analyzer

snarf: Contexts are now required or checked

Satisfies static analyzers

expire: Contexts are now required or checked

Satisfied static analyzers

trash: Ensure quser is not NULL

Satisfies static analyzers

acl: Contexts are now required or checked

Satisfies static analyzers

replication: Check ruser for NULL

Satisfies static analyzers

imap-old-stats-plugins: Check suser for NULL

Satisfies static analyzers

lib-sql: SQL_DB_CACHE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: MBOX_LIST_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_LIST_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-lda: Require context in mail-deliver

Satisfies static analyzers

lib: Add MODULE_CONTEXT_REQUIRE

This will panic instead of return NULL. Should satisfy static
analyzers when used.

lib-storage: Generate snippet while saving new mails

lib-storage: Make index_mail_want_cache() global

lib-storage: move snippet generation to mail-save-finish

This is necessary because some storage backends (most notably sdbox) do
not allow getting the mail stream before the mail is fully written out.
(See written_to_disk in sdbox-file.h.)

If we could avoid getting the stream to generate a snippet we could
leave this where it is.

doveadm dump: Show body.snippet in human-readable form

imap: Don't set storage callbacks before namespaces are created

This fixes sending untagged OK/NO notifications from storage (e.g. lock
waits/override notifications). It was broken by
e031d9aaae59a9f79710dc1138b76b69272615a3

imap: Add client_create_finish() to finish namespace creation.

imap: When running standalone, delay initializing namespaces until PREAUTH is sent

Most importantly this makes the code paths similar for standalone and
non-standalone clients, which is needed by the following commits.

global: Flip MAIL_STORAGE_SERVICE_FLAG_DISALLOW_ROOT to ..._ALLOW_ROOT

lib-storage: Flip disallow_root in service_drop_privileges()

master: Flip disallow_root in drop_privileges()

lib: Add restrict_access_flags enum to use with restrict_access[_by_env]()

Swap parameter locations in the functions to make sure plugins are
updated to use the new api.