ssl-iostream: ssl_iostream_destroy(NULL) should be a no-op

global: start relying on iostream_proxy_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  iostream_proxy_unref(&E);
- }
+ iostream_proxy_unref(&E);

lib: iostream_proxy_unref(NULL) should be a no-op

global: start relying on str_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  str_free(&E);
- }
+ str_free(&E);

lib: str_free(NULL) should be a no-op

lib/randgen - warn when DOVECOT_SRAND is not able to be used

As suggested by Jeff, it's friendly to warn if we're unable to act
upon the request for reproduceable random numbers because we're not
built for that.

Note, this deliberately permits a blank string, so that you can
silence the warning by prefixing a command with an empty
  DOVECOT_SRAND=
which is taken as an explicit attempt to disable use of the feature.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/randgen - always print the DOVECOT_SRAND seed, not just on fatals

Devs might want to reproduce "working" pathways that show slight
misbehaviour, not just crashing ones. The later print upon a crash/
fatal is left in, as the heads of logs can become separated from the
tails of logs quite easily, it's only one extra line per run.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib/randgen - use KISS as intended, not as originally posted to sci.crypt

The original KISS, as posted to sci.crypt, had a SHR3 component with
short cycles. The buggy version contradicted Marsaglia's original
cycle length claim, and it had already been fixed in KISS11, so it's
fair to assume this was always the intended implementation.

For details see G. Rose "KISS: A Bit Too Simple".

Whilst dealing with that issue, fix seeding so w and z can't both
be short (length 2) cycles, as also pointed out in the Rose paper.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

doveadm: dsync: Switch ioloop for input/output streams while making TCP connection.

This task is performed in a sub-ioloop, and when returning from that ioloop, the
output stream would sometimes still have an object on the sub-ioloop that was
just destroyed.

lib-ssl-iostream: openssl: Make verbose logging robust against i_debug() writing to stream itself.

In dsync, i_debug() is overridden to write to the SSL stream itself through a
multiplexed data stream. So, during the i_debug() call all kinds of things can
happen to the persisted error string in the stream, which caused problems.

lib-http: client: Make sure all ioloop objects are created on the ioloop that the client/context is switched to.

lib-dns: Allow setting the ioloop that the dns_lookup/dns_client is started on.

lib: connection: Allow switching to a specific ioloop.

lib: ostream: Allow switching to a specific ioloop.

lib: istream: Allow switching to a specific ioloop.

lib: iostream: Record the ioloop that the iostream was last switched to.

lib: ioloop: Add functions for adding/moving timeouts and ios to a specific ioloop.

imap-login: Fix copyright notice in imap-login-cmd-id.c.

lib-auth: Remove request after abort

Otherwise the request will still stay in hash table
and get dereferenced when all requests are aborted
causing an attempt to access free'd memory.

Found by Apollon Oikonomopoulos <apoikos@debian.org>

Broken in 1a29ed2f96da1be22fa5a4d96c7583aa81b8b060

submission: Properly handle omission of required authentication for relay connection.

Particularly, do not forward the 530 error to the client. Instead, log the
problem and close the client connection with an internal error.

lib-smtp: server: Fix overwriting a previously submitted reply.

The submitted flag was not reset, nor was the replies_submitted counter
decreased. This caused assertion failures.

lib-http: client: Assert that req->client != NULL in http_client_request_send_error().

Applies when blocking payload output API is being used.
Addresses a report by scan-build.

lib-smtp: client: Fix timeout leak sometimes occurring at unexpected remote disconnect.

While disconnected, newly submitted commands are queued, yet scheduled for
immediate failure. The timeout used for that was not cleaned up.

lib-program-client: Make an explicit enum for the exit code.

Before, the meaning of the code was confusing, since the actual program returns
a different set of values.

lib-program-client: local: Add test for big data I/O.

lib-program-client: Document the purpose of the use_dotstream setting.

lib-program-client: Add comments to program_input/program_output functions.

lib-program-client: Flush/finish the output stream after o_stream_send_istream().

There may still be data in the output stream buffer. Failing to flush this
leads to truncated output. For the output towards the program o_stream_finish()
is used, since there may be an ostream_dot in between (or something else for
future features).

lib-program-client: remote: Don't change exit_code in program_client_remote_disconnect() when program_input is already NULL.

When the program_input is NULL, the stream is finished, meaning that the
exit_code is set based on the return code. There can be a program_input for
remote streams, even when the program produces no output.

lib-program-client: Simplify cleanup of dot input stream in program_client_program_input().

lib-program-client: Restructure reading input from program to simplify handling of dot input stream.

lib-program-client: Use reliable means of checking for input stream EOF.

lib-program-client: Remove check for -2 returned from i_stream_read_more().

The stream must have space for at least 1 byte.

lib-program-client: Remove useless stream eof check.

It also looks to be problematic.

lib-imap-client: continue imapc operation on parsing errors.

lib-smtp: client: Fix ignoring invalid certificate from server.

Although it initially allowed the invalid certificate, it would still fail later
on while reading/writing the SSL streams.

lib-storage: Fix adding body.snippet to cache

Unless body.snippet was in mail_always_cache_fields, it didn't get added to
the cache file.

lib-storage: Add comment to how mail_cache_field_can/want_add() is used

lib-index: Update comments for mail_cache_decision_*()

lib-auth: Fix memory leak in auth_client_request_abort()

This caused memory leaks when authentication was aborted. For example
with IMAP:

a AUTHENTICATE PLAIN
*

Broken by 9137c55411aa39d41c1e705ddc34d5bd26c65021

lib: i_stream_read_more() - assert it can't return -2

lib-index: Write forced cache decision changes immediately to cache file

When mail_always/never_cache_fields doesn't match the current caching
decisions in the cache file, write the updated decisions to the file.

lib-index: Code cleanup for reading caching decisions

No functional changes.

lib-index: Finish fixing removal of forced cache decisions from existing cache files

6ef2504d020461b0f480766c41596595a4300023 didn't fix it for already known
fields.

lib-storage: Rename .vsize.lock file to dovecot-vsize.lock

.vsize.lock can break maildir++ because it looks like a maildir folder,
so rename it to dovecot-vsize.lock.

Introduced in 9963bef6

push-notification: PUSH_NOTIFICATION_USER_CONTEXT is now required

Satisfies static analyzers

fts-lucene: Add and use FTS_LUCENE_USER_CONTEXT_REQUIRE

Satisfies static analyzers

welcome: WELCOME_CONTEXT is now required

Satisfies static analyzers

expire: DOVEADM_EXPIRE_MAIL_CMD_CONTEXT is now required

Satisfied static analyzers

virtual: Contexts are now required or checked

Satisfies static analyzers

quota: Add and use QUOTA_USER_CONTEXT_REQUIRE

Satisfies static analyzers

imap-zlib: Context is now required

Satisfies static analyzers

lazy-expunge: Fix context checking

Was not done properly in 462a3d92adcde4bfa9a575875bd8ae740b89ce9e

mail-crypt: Add and use MAIL_CRYPT_USER_CONTEXT_REQUIRE

Satisfies static analyzers

fts-solr: Add and use FTS_SOLR_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Fix ACL_CONTEXT check

Was incorrect in 3131b3878de3245db7552234e66d437e8fde9351

acl: Add and use ACL_USER_CONTEXT_REQUIRE

Satisfies static analyzers

acl: Add and use ACL_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: imapc - Ensure search ctx is not NULL

Satisfies static analyzers

lib-storage: Add and use MAIL_STORAGE_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use MAIL_THREAD_CONTEXT_REQUIRE

Satisfies static analyzers

lib-index: Add and use CACHE_TRANS_CONTEXT_REQUIRE

Satisfies static analyzers

lib-storage: Add and use INDEX_LIST_CONTEXT_REQUIRE

Satisfies static analyzers

mail-log: Contexts are now required or checked

Satisfies static analyzers

auth: db-lua - Do not assert-crash if given parameter was not auth_request

Use luaL_error instead that will back out more gracefully.

Fixes Panic: file db-lua.c: line 279 (auth_lua_check_auth_request): assertion failed: (lua_istable(script->L, arg))

auth: db-lua - Use luaL_error correctly

lib-index: Fix removal of forced cache decisions from existing cache files

The forced-flags are written to the cache file when the file is created.
They were also read back, and the force-flag was preserved even when the
configuration was removed.

lib-index: Fix adding forced cache decisions to existing cache files

If a field already existed in the cache file, the cache decision from the
file was always used. This caused force-decisions to be ignored.

submission: Enable verbose reporting of relay server certificate problems.

lib: cast {,CONST_}PTR_OFFSET's offset argument to size_t

This fixes build on 32-bit systems where the addition may cause integer
promotion to an integer type larger than uintptr_t.

gcc 6.3.0 warning:

file-cache.c: In function 'file_cache_write':
macros.h:25:3: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
  ((void *) (((uintptr_t) (ptr)) + (offset)))

lib-smtp: client: Assign only connection settings during connection initialization.

Due to some copy-paste mistake, some global client settings were assigned
instead.

lib-smtp: client: Always use per-connection settings in connection.

Some part of the connection code referred to global client settings.

lib-smtp: client: Properly allow per-connection SSL configuration.

Although this was already partially possible, the connection was still always
using the global client SSL context.

lib-smtp: client: Fix segfault occurring in connection when SSL certificate is invalid.

The connection is using its own local SSL settings to determine whether an
invalid certificate is allowed. However, these local settings were not properly
initialized.

imapc: Fix deleting mailbox

Broken by f8f30bd27e41e1041a8de0b97f35d7d75e0a412e

lib-http: test-http-payload: Initialize http_context in test_client_create_clients().

Fixes complaint from scan-build.

lib-smtp: address: Remove useless local variable initialization in smtp_address_clone().

Fixes complaint from scan-build.

imap: support for FETCH SNIPPET

old-stats-plugin: Fix context requirements

Fixes Panic: Module context stats_storage_module missing

Broken by 6afdf0b6fce26c5492d5e56f6f16fb8a4d869566

pop3-migration-plugin: Fix context requirements

Fixes Panic: Module context pop3_migration_storage_module missing

Broken by a8703ce24540b7efaa51a8c7d3c72e72727f9789

global: don't cast NULL to void *

NULL is guaranteed to be a void * thanks to
dd6043c05e32a8e8db1233ed711a2c74d1477a89.

auth: passdb-cache - Verify credentials with worker when enabled

auth: Expose auth_request_verify_plain_callback_finish

auth-worker: Support PASSW request

This will attempt to verify given credentials.

auth-worker: Add auth_worker_auth_request_new

Replaces worker_auth_request_new, moves in
check for username and service. Simplifies code.

auth: passdb-blocking - Expose passdb_blocking_auth_worker_reply_parse

Enables sharing code with passdb cache

last-login: Contexts are now required or checked

Satisfies static analyzers

mail-crypt: Contexts are now required or checked

Satisfies static analyzers

old-stats: Contexts are now required or checked

Satisfies static analyzers

quota-clone: Contexts are now required or checked

Satisfies static analyzers

zlib: Contexts are now required or checked

Satisfies static analyzers

mailbox-alias: Contexts are now required or checked

Satisfies static analyzers

mail-filter: Contexts are now required or checked

Satisfies static analyzers

notify: Contexts are now required or checked

Satisfied static analyzers

pop3-migration: Contexts are now required or checked

Satisfies static analyzers

quota: Contexts are now required or checked

Satisfied static analyzers

apparmor: Ensure auser is not NULL

Satisfies static analyzers

lazy-expunge: Contexts are now required or checked

Satisfied static analyzers

fts: Contexts are now required or checked

Satisfied static analyzer

snarf: If sstorage is NULL, do not allocate box

Old code would continue if sstorage was NULL.

Found by static analyzer