mail-crypt: Contexts are now required or checked

Satisfies static analyzers

old-stats: Contexts are now required or checked

Satisfies static analyzers

quota-clone: Contexts are now required or checked

Satisfies static analyzers

zlib: Contexts are now required or checked

Satisfies static analyzers

mailbox-alias: Contexts are now required or checked

Satisfies static analyzers

mail-filter: Contexts are now required or checked

Satisfies static analyzers

notify: Contexts are now required or checked

Satisfied static analyzers

pop3-migration: Contexts are now required or checked

Satisfies static analyzers

quota: Contexts are now required or checked

Satisfied static analyzers

apparmor: Ensure auser is not NULL

Satisfies static analyzers

lazy-expunge: Contexts are now required or checked

Satisfied static analyzers

fts: Contexts are now required or checked

Satisfied static analyzer

snarf: If sstorage is NULL, do not allocate box

Old code would continue if sstorage was NULL.

Found by static analyzer

snarf: Contexts are now required or checked

Satisfies static analyzers

expire: Contexts are now required or checked

Satisfied static analyzers

trash: Ensure quser is not NULL

Satisfies static analyzers

acl: Contexts are now required or checked

Satisfies static analyzers

replication: Check ruser for NULL

Satisfies static analyzers

imap-old-stats-plugins: Check suser for NULL

Satisfies static analyzers

lib-sql: SQL_DB_CACHE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: MBOX_LIST_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_LIST_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-storage: INDEX_STORAGE_CONTEXT now requires context

Satisfies static analyzers

lib-lda: Require context in mail-deliver

Satisfies static analyzers

lib: Add MODULE_CONTEXT_REQUIRE

This will panic instead of return NULL. Should satisfy static
analyzers when used.

imapc: Fix sending initial FETCH after reconnection SELECTs mailbox

Move sending the FETCH when the SELECT returns tagged OK reply instead of
delaying it until mailbox is next synced. Most importantly this allows
sending the FETCH before any retried commands that are also sent after
SELECT receives tagged reply.

imapc: gmail-migration: Fetch X-GM-MSGID for new mails as well

I'm not sure why it was originally restricted only for the initial FETCH.
Fetching GUIDs for new mails can be just as useful.

imapc: Move imapc_mailbox_fetch_state*() to imapc-mailbox.c

Mainly to make the next commit smaller.

imapc: Handle untagged UIDVALIDITY immediately

This is part of the changes to fix mailbox resyncing after reconnect.

imapc: If mailbox select fails, rollback any changes done to it

Required by the following changes that start adding changes immediately
after SELECT. If the initial syncing doesn't finish successfully, these
changes need to be reverted.

imapc: Keep "selected" state TRUE only while mailbox is successfully SELECTed

imapc: Fix leaking mail_index_view on delayed expunge handling

Fixes:
Panic: Leaked view for index (in-memory index): Opened in imapc-mailbox.c:47

lib-imap-client: Avoid "Unknown tag" errors for aborted commands

If mailbox is closed before all command replies were received, the commands
were aborted but they'll still receive the replies from server. Remember
the aborted commands' tag numbers so they can be ignored.

lib-imap-client: Fix reason text when unselecting mailbox aborts commands

lib-imap-client: Add asserts for reconnect_command_count

lib-imap-client: Delay sending more commands while SELECT is running

lib-imap-client: After reconnection send retried commands last

Previously only SELECT was sent before others. This allows sending more
commands on reconnection before the retried commands.

lmtp: local: Don't deliver more than once to the same recipient.

Duplicate RCPT TO commands for local recipients are now mostly ignored,
by repeating the reply for the first instance of that RCPT TO command.

lmtp: Add recipient type to struct lmtp_recipient.

lmtp: Move common recipient handling code to separate file.

lib-smtp: server: Use smtp_server_reply_submit_duplicate() in smtp_server_reply_allv().

This is more efficient, since it doesn't need to compose new content for each
reply.

lib-smtp: server: Add function that allows submitting duplicate replies.

The smtp_server_reply_submit_duplicate() function submits a new reply at the
specified index with content duplicated from an existing earlier reply.

lib-smtp: server: Move allocation of command replies to a separate function.

lib-smtp: server: Put reply content in a separate struct.

This allows duplicate replies to share content for a multi-reply command.

lib-smtp: server: Allow part of the replies to be already sent in smtp_server_reply_allv().

This is not something observed to happen in existing code, but it is best to
deal with this properly, as it could happen in the future.

lib-smtp: server: transaction: Add function that finds duplicate recipients.

Duplicate means that both the path and parameters are equal.

lib-smtp: server: Add RCPT parameters directly in smtp_server_transaction_add_rcpt().

This makes more sense. Before, these were added to the recipient in
smtp-server-cmd-rcpt.c, after the recipient was added.

lib-smtp: params: Add function that allows checking whether RCPT parameters are equal.

lib-smtp: params: Add functions to evaluate any extra (non-standard) MAIL and RCPT parameters.

These allow looking up the parameter based on its name.

lib-smtp: address: Consistently allow address values to be NULL.

If the address pointer is NULL or the localpart field is NULL or empty, it
signifies that it is the NULL address "<>".

In the case of smtp_address_equals(), this also likely fixes crashes at places
where it may be used to compare "<>".

lib-smtp: address: Rename 'poo' to 'pool' in declaration of smtp_address_detail_parse().

lmtp: local: Fix segfault occurring when quota is exceeded.

Always link krb5 when gssapi is requested

Since krb5_free_context is defined in libkrb5, not libgssapi, it must be
linked, even when gssapi is found.
krb5-config --libs gssapi alone will not provide -lkrb5.
Also, krb5-config --version ANYTHING will always return 0 (at least with
Heimdal).

lib: Use uintptr_t in PTR_OFFSET and POINTER_CAST

Use uintptr_t instead of pointers.

Fixes clang 6.0 warning: arithmetic on a null pointer treated as a cast from integer to pointer is a GNU extension

lib-storage: Set keyword based on attachment presence when saving

If attachment is detected, use $HasAttachment, if not
use $HasNoAttachment

lib-storage: Add attachment detection settings

lib-mail: Add message_part_has_attachment

imapc: Fix imap_features=no-msn-updates to not fail on SELECT

The initial EXISTS reply shouldn't be ignored, only the following ones.

lib-master: Copy settings_parser_get_error() string so it's usable as error_r

Also convert t_strdup()s in master_service_settings_read() into p_strdup()s
using service->set_pool.

lib-http: queue: Update the correct timout while dropping a request from the delay queue.

The absolute request timeout rather than the delay timeout was updated for the
removal of the request from the delay queue.

*-login: Fix clients linked list corruption with SSL connections

This could have resulted in infinite loops or some of the clients being
skipped for some operations.

auth: Ensure crypt schemes match with samples

auth: Fix crypt scheme detection

Broken by 1ebb6094e5105ba7ef521a0177c42d3ea81243f0

imap-login: Simplify ID handling code

imap-login: Rewrite ID parameter handling to be less fragile

There's no longer two places that need to be kept in sync.

imap-login: Move ID command handling to its own file.

lib-mail: mail-html2text - Validate UCS4 codepoint

Fixes: Panic: file unichar.c: line 160 (uni_ucs4_to_utf8_c): assertion failed: (uni_is_valid_ucs4(chr))

doveadm dump: Fix imapzlib to handle input traffic

This has been broken with newer Dovecot versions for a while now.

ostream-zlib: Ignore missing finish if parent stream is ignoring errors

This fixes panic with imap_zlib plugin when client enables the IMAP COMPRESS
extension and disconnects:

Panic: file ostream-zlib.c: line 36 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0)

doveadm: Add NOREPLICATE error when "noreplicate" user flag is used

It will be only understood if -U flag has been used

replicator: Remove user from replication if NOREPLICATE error is returned

lib/lib-test: restore DOVECOT_SRAND feature in DEBUG builds

Add a deterministic PRNG, an ability to force its use, and an
ability to re-use the same sequence later.

Since proper random numbers have been forced into use, making
reproducable tests isn't quite as easy as it used to be, it's 3 steps
rather than 2. When seeing an intermittent test failure:
 - rerun the tests with environmental variable DOVECOT_SRAND=kiss
 - upon seeing a new failure case, note the seed logged at the failure
 - debug using DOVECOT_SRAND=<that number>

In non-DEBUG builds, there's no trace of this code, and the
randomisation that is an inherent part of many tests remains
non-reproduceable.

Works with all of the RNG preferences, getrandom/urandom/arc4.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: client protocol: Recognize empty initial response field as an absent initial response for older clients.

Particularly, Exim sends an empty initial response field in the AUTH request for
an authentication command that has no initial response. Originally, Dovecot
allowed this, but this was recently changed so that the EXTERNAL SASL mechanism
works properly from ManageSieve. This commit makes it allowed again for older
authentication clients to send an empty initial response field for an
authentication command that has no initial response part. Sending '=' for an
empty initial response is still allowed in general.

auth: client protocol: Record minor version for authentication client connection.

lib-http: test-http-client: Free the ssl_iostream_context cache.

lib-http: test-http-payload: Added test with clients using shared global context.

lib-http: client: Implicitly switch ioloop for global shared client context.

If the new ioloop is NULL, close the shared client context. In that case all
shared hosts, peers and idle connetions are closed and destroyed. The context
just remains as a container for settings and shared context. This is only
allowed when there are no clients left.

lib-http: client: Use merged DNS settings from all clients connected to a shared context for DNS lookups.

lib-http: client: Base forcing shared context debug logging on the settings of the context itself and each associated client.

lib-http: client: Register client objects in the associated client shared context.

lib-http: client: Call switching ioloop for shared peer from shared client context.

Before, it was called from the client peer.

lib-http: client: Set req->client to NULL once the request is destroyed.

The http_client_request_destroy() function does not free the request
immediately, as long as it is still referenced. It can still be referenced by a
connection that has sent it and is waiting for a reply (payload). In the mean
time the actual client can be gone, so we want to make sure nothing is pointing
to that anymore.

This change adds a few extra assertions to make sure nothing tries to use a
NULL client later on. Some direct references to req->client are replaced with a
local client variable if there is one.

lib-http: client: Merge socket buffer size settings with settings from shared context.

While using the default global context, per-client socket buffer size settings were ignored.

lib-http: client: Merge max_idle_time_msecs setting with setting from shared context.

While using the default global context, per-client max_idle_time_msecs setting was ignored.

lib/printf-format-fix: fix rejection of "%.0f" as a valid string

Sometimes you want to calculate in floats, but don't want the decimals
printed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

log: Prevent LOG_TYPE_COUNT in client_log_ctx

Makes static analyzers happy

dsync: Set brain->failed to TRUE when UIDVALIDITY changes

This happens if UIDVALIDITY changes during stateful sync.

Fixes Panic: doveadm: file dsync-brain-mailbox.c: line 377 (dsync_brain_sync_mailbox_deinit): assertion failed: (brain->failed)

Updated copyright notices to include the year 2018.

doveadm: Unref header search context after use

Fixes memory leak, found by valgrind

global: Rename timing API to stats-dist API

The API wasn't really about timings specifically, but about statistics in
general. The new stats service was already using it for tracking statistics
for non-timing related numbers.

submission: EHLO command: Remove obsolete pending_ehlo handling.

This was used to wait with sending an EHLO reply until the proxy connection to the relay server completes.
The previous commit made this functionality obsolete, since command input handling is blocked entirely until the proxy connection is ready.

submission: Block server input handling until proxy connection to relay server completes.

This makes sure we are aware of the full extent of the backend server's capabilities, before we start handling commands.
Before, only EHLO commands were blocked this way, but this did not account for MAIL/RCPT parameters, which are equally dependent.
Fixes problems with clients that send no EHLO after AUTH, like Thunderbird.

lib-smtp: server: Add APIs for halting and resuming connection command handling.

Also adds function to start the connection in a pending (halted) state. This way the greeting can already be sent (over SSL if needed), while deferring command handling until some external activity is completed.

lib-smtp: server: Prevent calling smtp_server_connection_login() after smtp_server_connection_start().

Added assertion.

lib-smtp: server: Protect smpt_server_connection_start() from being called multiple times.

lib-smtp: server: Delay handling initial input (from login service) until after smtp_server_connection_start().

Instead, it is now handled in normal io callback.

lib-smtp: server: Remove implicit smtp_server_connection_start() from smtp_server_connection_login().

lib-smtp: server: Moved smtp_server_connection_start() after smtp_server_connection_login().

Also fixes an indent problem in the header comment implicitly.

lib-smtp: server: Moved ssl_start argument from smtp_server_connection_start() to smtp_server_connection_create().

This frees smtp_server_connection_start() for general use.

dsync: Add per-mailbox sync lock that is always used.

Both importing and exporting gets the lock before they even sync the
mailbox. The lock is kept until the import/export finishes. This guarantees
that no matter how dsync is run, two dsyncs can't be working on the same
mailbox at the same time.

This lock is in addition to the optional per-user lock enabled by the -l
parameter. If the -l parameter is used, the same lock timeout is used for
the per-mailbox lock. Otherwise 30s timeout is used.

This should help to avoid email duplication when replication is enabled for
public namespaces, and maybe in some other rare situations as well.