doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

notify: Ignore flag and keywords update during saving

They are part of the saving event

*-login: Fix clients linked list corruption with SSL connections

This could have resulted in infinite loops or some of the clients being
skipped for some operations.

push-notification: PUSH_NOTIFICATION_USER_CONTEXT is now required

Satisfies static analyzers

fts-lucene: Add and use FTS_LUCENE_USER_CONTEXT_REQUIRE

Satisfies static analyzers

welcome: WELCOME_CONTEXT is now required

Satisfies static analyzers

expire: DOVEADM_EXPIRE_MAIL_CMD_CONTEXT is now required

Satisfied static analyzers

virtual: Contexts are now required or checked

Satisfies static analyzers

quota: Add and use QUOTA_USER_CONTEXT_REQUIRE

Satisfies static analyzers

imap-zlib: Context is now required

Satisfies static analyzers

lazy-expunge: Fix context checking

Was not done properly in 462a3d92adcde4bfa9a575875bd8ae740b89ce9e

mail-crypt: Add and use MAIL_CRYPT_USER_CONTEXT_REQUIRE

Satisfies static analyzers

fts-solr: Add and use FTS_SOLR_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Fix ACL_CONTEXT check

Was incorrect in 3131b3878de3245db7552234e66d437e8fde9351

acl: Add and use ACL_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Add and use ACL_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: imapc - Ensure search ctx is not NULL

Satisfies static analyzers

lib-storage: Add and use MAIL_STORAGE_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use MAIL_THREAD_CONTEXT_REQUIRE

Satisfies static analyzers

lib-index: Add and use CACHE_TRANS_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use INDEX_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

mail-log: Contexts are now required or checked

Satisfies static analyzers

old-stats-plugin: Fix context requirements

Fixes Panic: Module context stats_storage_module missing

Broken by 6afdf0b6fce26c5492d5e56f6f16fb8a4d869566

pop3-migration-plugin: Fix context requirements

Fixes Panic: Module context pop3_migration_storage_module missing

Broken by a8703ce24540b7efaa51a8c7d3c72e72727f9789

last-login: Contexts are now required or checked

Satisfies static analyzers

mail-crypt: Contexts are now required or checked

Satisfies static analyzers

old-stats: Contexts are now required or checked

Satisfies static analyzers

quota-clone: Contexts are now required or checked

Satisfies static analyzers

zlib: Contexts are now required or checked

Satisfies static analyzers

mailbox-alias: Contexts are now required or checked

Satisfies static analyzers

mail-filter: Contexts are now required or checked

Satisfies static analyzers

notify: Contexts are now required or checked

Satisfied static analyzers

pop3-migration: Contexts are now required or checked

Satisfies static analyzers

quota: Contexts are now required or checked

Satisfied static analyzers

apparmor: Ensure auser is not NULL

Satisfies static analyzers

lazy-expunge: Contexts are now required or checked

Satisfied static analyzers

fts: Contexts are now required or checked

Satisfied static analyzer

snarf: If sstorage is NULL, do not allocate box

Old code would continue if sstorage was NULL.

Found by static analyzer

snarf: Contexts are now required or checked

Satisfies static analyzers

expire: Contexts are now required or checked

Satisfied static analyzers

trash: Ensure quser is not NULL

Satisfies static analyzers

acl: Contexts are now required or checked

Satisfies static analyzers

replication: Check ruser for NULL

Satisfies static analyzers

imap-old-stats-plugins: Check suser for NULL

Satisfies static analyzers

lib-sql: SQL_DB_CACHE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: MBOX_LIST_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_LIST_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-lda: Require context in mail-deliver

Satisfies static analyzers

lib: Add MODULE_CONTEXT_REQUIRE

This will panic instead of return NULL. Should satisfy static
analyzers when used.

lib-storage: Generate snippet while saving new mails

lib-storage: Make index_mail_want_cache() global

lib-storage: move snippet generation to mail-save-finish

This is necessary because some storage backends (most notably sdbox) do
not allow getting the mail stream before the mail is fully written out.
(See written_to_disk in sdbox-file.h.)

If we could avoid getting the stream to generate a snippet we could
leave this where it is.

doveadm dump: Show body.snippet in human-readable form

imap: Don't set storage callbacks before namespaces are created

This fixes sending untagged OK/NO notifications from storage (e.g. lock
waits/override notifications). It was broken by
e031d9aaae59a9f79710dc1138b76b69272615a3

imap: Add client_create_finish() to finish namespace creation.

imap: When running standalone, delay initializing namespaces until PREAUTH is sent

Most importantly this makes the code paths similar for standalone and
non-standalone clients, which is needed by the following commits.

global: Flip MAIL_STORAGE_SERVICE_FLAG_DISALLOW_ROOT to ..._ALLOW_ROOT

lib-storage: Flip disallow_root in service_drop_privileges()

master: Flip disallow_root in drop_privileges()

lib: Add restrict_access_flags enum to use with restrict_access[_by_env]()

Swap parameter locations in the functions to make sure plugins are
updated to use the new api.

lib: Flip drop_setuid_root in restrict_access_settings

lib-program-client: Remove extra drop_setuid_root flag copy

lib-storage: Unless LAYOUT=index, don't rebuild list index on missing INBOX

lib-storage: mailbox_list_index_handle_corruption() - Lock mailbox list while rebuilding

This guards against simultaneous mailbox create/delete/rename.

lib-storage: mailbox_list_index_handle_corruption() - Move actual handling to its own function

lib-ssl-iostream: Use SSL_CTX_set_ecdh_auto macro

This macro is same for 1.0.2 and 1.1.0 and libressl.

imap: If snippet is not available return NIL

imap: Fix FETCH SNIPPET

1) _BUFFERED flag wasn't set, which caused a missing space before the "SNIPPET".
2) It caused \Seen flag to be added to the mail

imap: Don't enforce sending SNIPPET reply as literal

Also change it to use "cur_str" since the reply is never very long.

imap: Add parenthesis to FETCH SNIPPET (FUZZY text) response

Otherwise it violates the RFC 3501 text about FETCH responses.

charset-alias: Fix keyvalues iteration

charset-alias-plugin.c:113:27: error: comparison between pointer and zero
character constant [-Werror=pointer-compare]
  for (i = 0; keyvalues[i] != '\0'; i++) {
                           ^~
charset-alias-plugin.c:113:14: note: did you mean to dereference the pointer?
  for (i = 0; keyvalues[i] != '\0'; i++) {

charset-alias: Cleanup whitespace

Remove \r from end of lines and remove trailing whitespace.

charset-alias-plugin

lmtp: local: Use recipient index in lmtp_local_rcpt_reply_overquota().

When used during the DATA command, it should send a reply for the correct
recipient. During the RCPT command there is only one reply due. Added assert
that checks this.

lmtp: local: Add explicit cmd parameter to lmtp_local_rcpt_reply_overquota().

Using the RCPT cmd is only valid for the RCPT command and not when quota excess
is detected during DATA. That would cause a segmentation fault, since
rcpt->rcpt.rcpt_cmd == NULL.

lmtp: local: Make local variable for rcpt->rcpt.rcpt_cmd in lmtp_local_rcpt_check_quota().

lmtp: local: Fix segfault occurring when quota is exceeded.

lib-smtp: client: Fix ignoring invalid certificate from server.

Although it initially allowed the invalid certificate, it would still fail later
on while reading/writing the SSL streams.

auth: Set correct context type when bypassing reporting in auth_success

Broken in 41ff6e6a4a085786d4c15a58c7c50a28e2110c3f

auth: Add policy check configuration options

Allows disabling before/after auth checks, or reporting.

auth: Use correct username is auth policy requests

When doing master authentication as first, use
the username of the user, not master user, for policy lookup.

lib-ssl-iostream: Assert-crash if input stream has IO already set

lib: Add i_stream_get_root_io() and use it to deduplicate code

lib-smtp: Recreate connection IO after streams change

This fixes hangs after STARTTLS.

Originally by Stephan Bosch

lib: Add connection_streams_changed()

Originally by Stephan Bosch

doveadm: client: Set IO only after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

lib-imap-client: Fix IO after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

replication: Don't send notification for changes done by dsync transactions

lib-storage: Set mailbox_transaction_context.flags earlier

Set it in index_transaction_init() so plugins' transaction_begin() methods
see it after calling super.transaction_begin().

old-stats: Set process dumpable during stats gathering

/proc/self/io is not accessible otherwise

lib: Add restrict_access_get/set_dumpable

lib: Clarify restrict_access_allow_coredumps

lib-index: Fix assert-crash with lock_method=dotlock

The dotlock wasn't deleted in all code paths. Fix this by simplifying
the unlocking to be done the same way with and without dotlock.

Fixes:
Panic: file mail-cache.c: line 624 (mail_cache_lock_file): assertion failed: (cache->dotlock == NULL)

lib-storage: Lock mailbox_list for mailbox create/delete/rename

This is only required for mailbox creation to fix a race condition with
LAYOUT=index: If INBOX doesn't exist it will rescan the mailboxes to
find out if there are any missing ones. If INBOX creation isn't locked,
it's possible that the first process hasn't finished creating INBOX
before the second process find it and attempts to open it.

The delete and rename locking are probably useful to guard against race
conditions when clients intentionally issues create/delete/rename commands
concurrently.

lib-storage: Add mailbox_list_[un]lock()

lib-storage: mailbox_delete() - Fix cleanup in error handling

If removing index deletion mark failed, box->deleting wasn't set to FALSE
and the mailbox was left opened.

lib-storage: mailbox_rename() - Use source storage for errors

It was documented to use source storage for errors, but some of the errors
were set to destination storage.

lib-storage: mail_storage_lock_create() - add support for dotlocks

lib-storage: Change mail_user_lock_file_create() to use mail_storage_lock_create()