lib: Use best available random number generator

The best available method is used from short list of
getrandom, arc4random or reading /dev/urandom

lib: Replace rand.c with i_rand function

Replacement for rand

lib: Replace rand_set_seed with srand

Makes following commits easier, and also
makes sure that rand() will get seeded when
used by other libraries.

lib-test: Remove rand state dump

It's not possible after next commit

configure: Check for getrandom

lib: lib-signals: Removed explicit notification of ioloop change through lib_signals_reset_ioloop() in favor of implicit method.

Before, if the ioloop changed, the application had to explicitly notify lib-signals using lib_signals_reset_ioloop().
This is error-prone and requires doing this all over the Dovecot code base.
Now, lib-signals registers an ioloop switch callback that deals with this implicitly.
The application can detach lib-signals from the ioloop explicitly if delayed signal handling is not required/desired in the new ioloop.
Specific delayed signal handlers can be exempt from this automated behavior using a flag, meaning that such signal handlers need to be moved between ioloops explicitly.

lib-storage: convert dbox-multi to use container_of

lib-storage: convert dbox-single to use container_of

lib-storage: convert dbox-common to use container_of

lib-storage: convert cydir to use container_of

lib-storage: convert shared to use container_of

lib-storage: convert raw to use container_of

lib-storage: convert imapc to use container_of

lib-storage: convert pop3c to use container_of

lib-storage: convert mbox to use container_of

lib-storage: convert maildir to use container_of

lib: introduce container_of

This is a simple but type safe implementation.

lib-storage: rename IMAPC_CONTEXT to IMAPC_SEARCHCTX

auth: Rename overlooked "original_username" after c3e50b

In c3e50b854dec3f9a51dbaecf2ee56197125a003f "original_username" field got renamed to "original-username".

doveadm-server: http: Fixed crash occurring when disconnecting a client at server deinit.

*-login: Cache director_username_hash between KICK-DIRECTOR-HASH commands

This should make the kicking much faster, which is important when director
is moving thousands of users.

lib-mail: Make sure mail_user_hash() won't return 0 as the hash.

It doesn't seem to actually happen, but this makes sure of it.

doveadm-fs: Fix argument handling

If argument contains - and needs to be passed to doveadm-fs
then it needs -- to make sure getopt won't choke on it, and
due to this, we need to use getopt in doveadm-fs too, to make
sure -- gets removed.

doveadm-dict: Convert to new parameter handling

Fixes problems with negative numbers as parameters

doveadm: Make sure positional arguments end up in right place

Otherwise -- is placed into wrong place and breaks command line
reparsing in legacy functions.

init: Execute /etc/default/dovecot on init, if it exists

init: Execute /etc/sysconfig/dovecot on init, if it exists

Helps users set `ulimit`, `DAEMON` etc. without having to touch the init.d script.

auth: cache: don't log password mismatch twice

If auth cache is enabled and the last auth was successful dovecot assumes the
password has been changed and invalidates the cache which results in
double logging of the same password mismatch.
This also applies to expired negative cache entries.

dsync: Ignore missing remote mailbox when doing unidirectional sync

If there are some folders on remote system that
are being ignored by remote brain, do not error out.

lib-storage: Fix INBOX notifications to set correct events

This fixes IMAP NOTIFY so it doesn't send STATUS notifications to INBOX when
it doesn't have to.

lib-storage: List index notify cleanup - move code to separate functions

No functional changes. In preparation for the next commit.

lib-storage: Remove INBOX notification checks if mailbox events aren't requested

Nothing would be done with the results of those checks.

Note that MAILBOX_LIST_NOTIFY_UIDVALIDITY can be handled using mailbox list
index, even for INBOX with mailbox_list_index_include_inbox=no.

lib-storage: Optimize INBOX notifications with mailbox_list_index_include_inbox=yes

There's no need for special INBOX checks in that case, because INBOX is
tracked in the mailbox list index the same as any other mailbox.

pop3-migration: Strip away invalid header lines.

If there's no ":" in the header, remove it. Fixes matching mails with
Zimbra.

example-config: Update mail_temp_dir comment

pop3-migration: Fail if all IMAP mails were matched by size, but POP3 had extra mails

This makes the handling same as what happens when the same situation happens
and the last mails were matched by headers. That's an error, unless
pop3_migration_ignore_*_uidls=yes.

pop3-migration: Add pop3_migration_ignore_extra_uidls=yes setting

notify-status: Provide access to all easy fields

lib: Preallocate output space for base64 encoding

lib: Reduced conditional logic in base64_encode

lib: Fix MAX_BASE64_ENCODED_SIZE macro

lib: optimize nearest_power

Instead of looping over each bit of a size_t, we can use a closed form
expression.

lib-compression: Fix assert in i_stream_zlib_seek

Also fix same bug in i_stream_bzlib_seek, i_stream_lz4_seek, i_stream_lzma_seek.

db-oauth2: Add some debugging

lib-http: client: Improved absolute request timeout error message.

Now mentions that it is the absolute timeout.
Provides the request statistics also provided for the regular attempt timeout message.

sdbox: Don't open mail files when expunging

It was done when mail_attachment_fs was non-empty (and default is
non-empty), even though mail_attachment_dir was empty.

lib-storage: mail_storage_set_critical() - don't free old error_string too early

It may be used in one of the parameters.

imap: Add debug logging for [un]hibernation

The logs should now clearly say when a client was hibernated and when/why
it was was unhibernated.

quota dict: Log when quota is recalculated if mail_debug=yes

director: Run director/host changing doveadm commands only after ring is synced

If the ring sync is still pending, the doveadm command may become reverted.
This doesn't fully prevent problems caused by sending doveadm commands
simultaneously to multiple directors, but it should prevent issues when
only a single director is used for doveadm commands.

It would have been nice to enable this also for HOST/DIRECTOR-LIST commands,
but they don't support returning a ring timeout error without changing the
protocol. It's a bit too much effort to change that for now.

director: doveadm HOST-* commands now wait for ring sync before returning OK

This should make it easier for tests and maybe for scripts in general, so
they won't think the command failed when it just takes a while to finish.

director: Cleanup - Doveadm commands now return enum doveadm_director_cmd_ret

director: Cleanup - Move all doveadm commands into an array.

mdbox: Use mail_storage_set_index_error() instead of poorly duplicating it

lib-storage: Add mail_storage_set_index_error()

lib-storage: index_mail_set_cache_corrupted() - Don't reset internal error string

It's already set correctly by the earlier functions.

lib-storage: mail_set_mail_cache_corrupted() - set also internal error string

lib-storage: mailbox_set_index_error() - Set internal error string to index's error

lib-storage: Fix error logging after mail_storage_set_internal_error()

The function doesn't actually set the last_internal_error and it also
doesn't update last_error_is_internal, so calling
mail_storage_get_last_internal_error() afterwards could be returning an
error for some different older error.

Since there's no parameter to set the internal error string, just reset
last_error_is_internal=FALSE.

lib-index: Avoid opening .log.2 file if .log was reset

After a reset there's no point in trying to read the older log files.
This avoids trying to open .log.2 at least for newly created mailboxes
when trying to lookup log file sequence 1 (since due to some bug/feature
the log files start from sequence 2).

log: Log a warning for each service that still has processes at shutdown

This makes it clearer which services are causing log process to hang, and
also which processes may have their logging discarded afterwards.

log: Include PID in prefix for internal log messages.

master: Log "Processes aren't dying after reload" only when signals are sent

This required moving the warning after the "Sent SIG.. to .. processes"
warnings, which is a little bit annoying. However, now it's at least not
unnecessarily logging the warning when it's not doing anything about the
processes.

master: Improve killing processes when they don't die after reload

The old behavior was:
1. Send SIGTERM to all processes, except log
2. Send SIGTERM to all processes, including log
3. Send SIGKILL to all processes, including log

The new behavior is now:
1. Send SIGTERM to all processes, except log
2. Send SIGKILL to all processes, except log

Only after there aren't any processes left except log, send SIGTERM to it.
If that doesn't work, send SIGKILL.

pop3-migration: Try to assign UIDLs based on dovecot.index.cache

Add the UIDLs to (imapc) mailbox cache after they've been assigned.
Try to read them from the cache on the next sync to avoid reading
mails' headers.

This can be disabled with pop3_migration_skip_uidl_cache=yes, just in case
there's some kind of a problem with it.

pop3-migration: Delete unnecessary POP3 order checking code

Nothing is actually using the result.

lib-storage: Support LISTINDEX= to disable it

lib-settings: Escape comma in section name.

Comma is valid symbol in encoded non-ascii section names, so it
shouldn't be used as splitting symbol in section name.

quota plugin: restructure quota_root_get_rule_limits()

If the user has unlimited quota, we have no reason to find the real
mailbox name.

apparmor: Call super deinit function

Otherwise user won't get properly deinitialized, forgotten in
a7a0f3196b2b97577ebd9e804507d58e67508fcf

lib-storage: Call mail_cache_close_mail() when mail is closed

Fixes caching problems with INDEX=MEMORY

lib-index: Add mail_cache_close_mail() to smartly drop cached data with INDEX=MEMORY

Instead of reseting the entire transaction buffer when 256 kB is reached,
just drop mails have have been marked closed with mail_cache_close_mail().
If that's not enough, continue deleting forcibly until the buffer is below
256 kB.

This is especially important when mail_prefetch_count>0 and INDEX=MEMORY.
In that case there can be multiple mails that are being added to cache
and used later on. If they were dropped from cache too early, the work
would have to be done all over again.

doveadm: Actually use resolved IP address(es) in director flush

It left the IP variable unitialized which caused host parameter
to be left empty causing flush all. Flushing with IP address
was not affected.

doveadm-server: Deinitialize print on connection destroy

Otherwise print remains initialized and can break when reusing the service.

director: Fix rapid reconnection on failed outgoing connections

last_network_failure wasn't set, which caused a failed outgoing connection
to immediately reconnect to it. This resulted in rapid logging of
connect() errors.

global: Add/change switch case "fall through" comments

These fix warnings with gcc 7's -Wimplicit-fallthrough

lib: Add missing parenthesis to timeout_add()'s msecs parameter checks

This caused wrong results when the msecs parameter contained e.g. var?1:2

lib: Fix compiler warning about mixing boolean with multiplication

doveadm mcp keypair generate: Fix -f parameter

virtual: Make sure sync_mailbox_idx isn't used uninitialized

Changing its indexes to start from 1, we can add an assert to check that
it's never the default 0 when we need to use it.

apparmor: Add apparmor plugin

It lets dovecot temporarily switch to a new apparmor
context for a user.

director: Make sure users gets expired even on an idle director

Normally expiring gets done while looking up users, but if nothing is doing
that on an idle director the users won't get expired. This can cause confusion
in "doveadm director status" output.

push-notification plugin: properly terminate strings

Without this fix, if the new message does not contain a from, a subject, and
a snippet the generated JSON will be malformed (the status check at the end
appended a '"' when it shouldn't have).

auth: auth_request_log_unknown_user() to call common auth_request_log_login_failure()

Separate implementation of auth_request_log_unknown_user() is
replaced with call to auth_request_log_login_failure()
NOTE: behavior of the auth_request_log_unknown_user() is changed and
is in line with auth_request_log_password_mismatch()

auth: auth_request_log_password_mismatch() to call common auth_request_log_login_failure()

Separate implementation of auth_request_log_password_mismatch() is
replaced with call to auth_request_log_login_failure()

auth: ldap auth bind password mismatch logging is changed

All unknown user and password mismatch logging is performed in the
same way in both auth_bind = yes and auth_bind = no cases.

auth: Added auth_request_log_login_failure()

New function implementing functionality of auth_request_log_unknown_user() and auth_request_log_password_mismatch()

cassandra: Fix confusing debug logging for paged query results.

Even when caller supported paged queries, the debug output contained
"Paged query has more results, but not supported by the caller".
Clear out the error after sql_result_more() is called, so it won't be
logged.

auth: Do not use strcasecmp to compare mechanisms

This is optimization since strcasecmp is slow

auth: Empty schemes cannot be aliases

Optimizes cases where empty scheme is compared to PLAIN

auth: Use strchr to split encoding and scheme

This is an optimization because usually strchr is faster

auth: Use hash table for schemes

lib: Add strfastcase_hash

Fast case-insensitive hashing which works by masking signed
bytes with 0x20.

lib-index: Fix wrong mail_index_modseq_header automatically

It happens only on the next sync, although that isn't actually guaranteed to
happen. Still, it happens almost always so this should be good enough.

lib-index: Code cleanup - move code to get_modseq_next_offset_at()

In preparation for making the next commit smaller.

lib-index: Add unit tests to mail_transaction_log_file_get_modseq_next_offset() and _get_highest_modseq_at()

lib-index: Add unit test to mail_transaction_update_modseq()

lib-index: Remove tracking of mail_index_modseq_sync.highest_modseq

It's no longer necessary after the previous changes.

lib-index: Fix setting highest_modseq correctly in mail_index_modseq_header

The internally counted ctx->highest_modseq wasn't correct if all of the
records weren't synced. This could have happened for various reasons.
Since the view's current log seq/offset is used for the header, we can
also use the current highest_modseq from the view as well and it's
guaranteed to be correct.

This fixes various potential problems with using QRESYNC and CONDSTORE
extensions. It also fixes potential errors with unhibernating imap
clients, including:

Error: .../dovecot.index.log: Transaction log changed unexpectedly, can't get modseq

lib-index: Update per-flag modseq value a bit more correctly.

This changes the code to be similar to the per-mail modseq updating in
mail_index_modseq_update(). It probably wasn't exactly wrong previously
either, but this change is required for the following commits.