lib-storage: Add and use MAIL_STORAGE_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use MAIL_THREAD_CONTEXT_REQUIRE

Satisfies static analyzers

lib-index: Add and use CACHE_TRANS_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use INDEX_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

mail-log: Contexts are now required or checked

Satisfies static analyzers

auth: db-lua - Do not assert-crash if given parameter was not auth_request

Use luaL_error instead that will back out more gracefully.

Fixes Panic: file db-lua.c: line 279 (auth_lua_check_auth_request): assertion failed: (lua_istable(script->L, arg))

auth: db-lua - Use luaL_error correctly

lib-index: Fix removal of forced cache decisions from existing cache files

The forced-flags are written to the cache file when the file is created.
They were also read back, and the force-flag was preserved even when the
configuration was removed.

lib-index: Fix adding forced cache decisions to existing cache files

If a field already existed in the cache file, the cache decision from the
file was always used. This caused force-decisions to be ignored.

submission: Enable verbose reporting of relay server certificate problems.

lib: cast {,CONST_}PTR_OFFSET's offset argument to size_t

This fixes build on 32-bit systems where the addition may cause integer
promotion to an integer type larger than uintptr_t.

gcc 6.3.0 warning:

file-cache.c: In function 'file_cache_write':
macros.h:25:3: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
  ((void *) (((uintptr_t) (ptr)) + (offset)))

lib-smtp: client: Assign only connection settings during connection initialization.

Due to some copy-paste mistake, some global client settings were assigned
instead.

lib-smtp: client: Always use per-connection settings in connection.

Some part of the connection code referred to global client settings.

lib-smtp: client: Properly allow per-connection SSL configuration.

Although this was already partially possible, the connection was still always
using the global client SSL context.

lib-smtp: client: Fix segfault occurring in connection when SSL certificate is invalid.

The connection is using its own local SSL settings to determine whether an
invalid certificate is allowed. However, these local settings were not properly
initialized.

imapc: Fix deleting mailbox

Broken by f8f30bd27e41e1041a8de0b97f35d7d75e0a412e

lib-http: test-http-payload: Initialize http_context in test_client_create_clients().

Fixes complaint from scan-build.

lib-smtp: address: Remove useless local variable initialization in smtp_address_clone().

Fixes complaint from scan-build.

imap: support for FETCH SNIPPET

old-stats-plugin: Fix context requirements

Fixes Panic: Module context stats_storage_module missing

Broken by 6afdf0b6fce26c5492d5e56f6f16fb8a4d869566

pop3-migration-plugin: Fix context requirements

Fixes Panic: Module context pop3_migration_storage_module missing

Broken by a8703ce24540b7efaa51a8c7d3c72e72727f9789

global: don't cast NULL to void *

NULL is guaranteed to be a void * thanks to
dd6043c05e32a8e8db1233ed711a2c74d1477a89.

auth: passdb-cache - Verify credentials with worker when enabled

auth: Expose auth_request_verify_plain_callback_finish

auth-worker: Support PASSW request

This will attempt to verify given credentials.

auth-worker: Add auth_worker_auth_request_new

Replaces worker_auth_request_new, moves in
check for username and service. Simplifies code.

auth: passdb-blocking - Expose passdb_blocking_auth_worker_reply_parse

Enables sharing code with passdb cache

last-login: Contexts are now required or checked

Satisfies static analyzers

mail-crypt: Contexts are now required or checked

Satisfies static analyzers

old-stats: Contexts are now required or checked

Satisfies static analyzers

quota-clone: Contexts are now required or checked

Satisfies static analyzers

zlib: Contexts are now required or checked

Satisfies static analyzers

mailbox-alias: Contexts are now required or checked

Satisfies static analyzers

mail-filter: Contexts are now required or checked

Satisfies static analyzers

notify: Contexts are now required or checked

Satisfied static analyzers

pop3-migration: Contexts are now required or checked

Satisfies static analyzers

quota: Contexts are now required or checked

Satisfied static analyzers

apparmor: Ensure auser is not NULL

Satisfies static analyzers

lazy-expunge: Contexts are now required or checked

Satisfied static analyzers

fts: Contexts are now required or checked

Satisfied static analyzer

snarf: If sstorage is NULL, do not allocate box

Old code would continue if sstorage was NULL.

Found by static analyzer

snarf: Contexts are now required or checked

Satisfies static analyzers

expire: Contexts are now required or checked

Satisfied static analyzers

trash: Ensure quser is not NULL

Satisfies static analyzers

acl: Contexts are now required or checked

Satisfies static analyzers

replication: Check ruser for NULL

Satisfies static analyzers

imap-old-stats-plugins: Check suser for NULL

Satisfies static analyzers

lib-sql: SQL_DB_CACHE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: MBOX_LIST_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_LIST_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-lda: Require context in mail-deliver

Satisfies static analyzers

lib: Add MODULE_CONTEXT_REQUIRE

This will panic instead of return NULL. Should satisfy static
analyzers when used.

imapc: Fix sending initial FETCH after reconnection SELECTs mailbox

Move sending the FETCH when the SELECT returns tagged OK reply instead of
delaying it until mailbox is next synced. Most importantly this allows
sending the FETCH before any retried commands that are also sent after
SELECT receives tagged reply.

imapc: gmail-migration: Fetch X-GM-MSGID for new mails as well

I'm not sure why it was originally restricted only for the initial FETCH.
Fetching GUIDs for new mails can be just as useful.

imapc: Move imapc_mailbox_fetch_state*() to imapc-mailbox.c

Mainly to make the next commit smaller.

imapc: Handle untagged UIDVALIDITY immediately

This is part of the changes to fix mailbox resyncing after reconnect.

imapc: If mailbox select fails, rollback any changes done to it

Required by the following changes that start adding changes immediately
after SELECT. If the initial syncing doesn't finish successfully, these
changes need to be reverted.

imapc: Keep "selected" state TRUE only while mailbox is successfully SELECTed

imapc: Fix leaking mail_index_view on delayed expunge handling

Fixes:
Panic: Leaked view for index (in-memory index): Opened in imapc-mailbox.c:47

lib-imap-client: Avoid "Unknown tag" errors for aborted commands

If mailbox is closed before all command replies were received, the commands
were aborted but they'll still receive the replies from server. Remember
the aborted commands' tag numbers so they can be ignored.

lib-imap-client: Fix reason text when unselecting mailbox aborts commands

lib-imap-client: Add asserts for reconnect_command_count

lib-imap-client: Delay sending more commands while SELECT is running

lib-imap-client: After reconnection send retried commands last

Previously only SELECT was sent before others. This allows sending more
commands on reconnection before the retried commands.

lmtp: local: Don't deliver more than once to the same recipient.

Duplicate RCPT TO commands for local recipients are now mostly ignored,
by repeating the reply for the first instance of that RCPT TO command.

lmtp: Add recipient type to struct lmtp_recipient.

lmtp: Move common recipient handling code to separate file.

lib-smtp: server: Use smtp_server_reply_submit_duplicate() in smtp_server_reply_allv().

This is more efficient, since it doesn't need to compose new content for each
reply.

lib-smtp: server: Add function that allows submitting duplicate replies.

The smtp_server_reply_submit_duplicate() function submits a new reply at the
specified index with content duplicated from an existing earlier reply.

lib-smtp: server: Move allocation of command replies to a separate function.

lib-smtp: server: Put reply content in a separate struct.

This allows duplicate replies to share content for a multi-reply command.

lib-smtp: server: Allow part of the replies to be already sent in smtp_server_reply_allv().

This is not something observed to happen in existing code, but it is best to
deal with this properly, as it could happen in the future.

lib-smtp: server: transaction: Add function that finds duplicate recipients.

Duplicate means that both the path and parameters are equal.

lib-smtp: server: Add RCPT parameters directly in smtp_server_transaction_add_rcpt().

This makes more sense. Before, these were added to the recipient in
smtp-server-cmd-rcpt.c, after the recipient was added.

lib-smtp: params: Add function that allows checking whether RCPT parameters are equal.

lib-smtp: params: Add functions to evaluate any extra (non-standard) MAIL and RCPT parameters.

These allow looking up the parameter based on its name.

lib-smtp: address: Consistently allow address values to be NULL.

If the address pointer is NULL or the localpart field is NULL or empty, it
signifies that it is the NULL address "<>".

In the case of smtp_address_equals(), this also likely fixes crashes at places
where it may be used to compare "<>".

lib-smtp: address: Rename 'poo' to 'pool' in declaration of smtp_address_detail_parse().

lmtp: local: Fix segfault occurring when quota is exceeded.

Always link krb5 when gssapi is requested

Since krb5_free_context is defined in libkrb5, not libgssapi, it must be
linked, even when gssapi is found.
krb5-config --libs gssapi alone will not provide -lkrb5.
Also, krb5-config --version ANYTHING will always return 0 (at least with
Heimdal).

lib: Use uintptr_t in PTR_OFFSET and POINTER_CAST

Use uintptr_t instead of pointers.

Fixes clang 6.0 warning: arithmetic on a null pointer treated as a cast from integer to pointer is a GNU extension

lib-storage: Set keyword based on attachment presence when saving

If attachment is detected, use $HasAttachment, if not
use $HasNoAttachment

lib-storage: Add attachment detection settings

lib-mail: Add message_part_has_attachment

imapc: Fix imap_features=no-msn-updates to not fail on SELECT

The initial EXISTS reply shouldn't be ignored, only the following ones.

lib-master: Copy settings_parser_get_error() string so it's usable as error_r

Also convert t_strdup()s in master_service_settings_read() into p_strdup()s
using service->set_pool.

lib-http: queue: Update the correct timout while dropping a request from the delay queue.

The absolute request timeout rather than the delay timeout was updated for the
removal of the request from the delay queue.

*-login: Fix clients linked list corruption with SSL connections

This could have resulted in infinite loops or some of the clients being
skipped for some operations.

auth: Ensure crypt schemes match with samples

auth: Fix crypt scheme detection

Broken by 1ebb6094e5105ba7ef521a0177c42d3ea81243f0

imap-login: Simplify ID handling code

imap-login: Rewrite ID parameter handling to be less fragile

There's no longer two places that need to be kept in sync.

imap-login: Move ID command handling to its own file.

lib-mail: mail-html2text - Validate UCS4 codepoint

Fixes: Panic: file unichar.c: line 160 (uni_ucs4_to_utf8_c): assertion failed: (uni_is_valid_ucs4(chr))

doveadm dump: Fix imapzlib to handle input traffic

This has been broken with newer Dovecot versions for a while now.

ostream-zlib: Ignore missing finish if parent stream is ignoring errors

This fixes panic with imap_zlib plugin when client enables the IMAP COMPRESS
extension and disconnects:

Panic: file ostream-zlib.c: line 36 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0)

doveadm: Add NOREPLICATE error when "noreplicate" user flag is used

It will be only understood if -U flag has been used

replicator: Remove user from replication if NOREPLICATE error is returned

lib/lib-test: restore DOVECOT_SRAND feature in DEBUG builds

Add a deterministic PRNG, an ability to force its use, and an
ability to re-use the same sequence later.

Since proper random numbers have been forced into use, making
reproducable tests isn't quite as easy as it used to be, it's 3 steps
rather than 2. When seeing an intermittent test failure:
 - rerun the tests with environmental variable DOVECOT_SRAND=kiss
 - upon seeing a new failure case, note the seed logged at the failure
 - debug using DOVECOT_SRAND=<that number>

In non-DEBUG builds, there's no trace of this code, and the
randomisation that is an inherent part of many tests remains
non-reproduceable.

Works with all of the RNG preferences, getrandom/urandom/arc4.

Signed-off-by: Phil Carmody <phil@dovecot.fi>