pop3-migration: Fixed crash when not specifying pop3_migration_mailbox setting.

iostream-temp: If write() to temp file fails at any time, move it back to memory.

Similarly to if the write() to temp fails during the initial move attempt.
This way even if write() fails due to out of disk space, it's not visible
to caller. An error message is logged in any case.

pop3-migration: Avoid unnecessarily using stream's hdr_size.

Shouldn't change any behavior, except reduce CPU usage a little bit.

imapc: mail_get_stream() shouldn't return cached hdr_size

doveadm: refactor mailbox attribute get/set/unset/list to share more code

doveadm: allow access to server attributes via empty mailbox name

lib-storage: remove attribute accessibility checks

index_storage_attribute_{set,get} should assume that the caller performed
due diligence and checked whether or not the user is allowed to store under
the key.

doveadm: lowercase attribute names before trying to parse them

This now matches what the imap server does.

lib-storage: document mailbox and server attribute handling

lib-http: client: Fixed hang occurring when nested ioloops are used in response callbacks.

To prevent missing disconnect events, i_stream_read() is called once a change in ioloop is detected.
However, if something was actually read into the stream, the input handler was never called.
So, a response could linger in the stream buffer, without being handled, thereby causing the connection to hang indefinitely.
An additional input event could end the hang, but sometimes this doesn't happen before the request times out.

This problem was seen in test-http-payload once in about 10 invocations.
Obox uses nested ioloops, to this applies there.

lib-http: test-http-payload: Fixed problem in nested ioloop test.

The running ioloop was not always stopped properly at the end of the test.
This caused an assert failure in the running ioloop.

lib-http: test-http-payload: Improved logging of nested ioloop tests.

doveadm-auth: Handle unexpected auth "continue" request without crashing.

lib-lda: Cleanup error handling in LMTP client code.

If there are no successful recipients, we'll need to deinit the client.
But at that point we've already called all the callbacks, so the line
parameter to lmtp_client_fail_full() isn't actually used anywhere.
This was confusing static analyzer because global_fail_string was used
as parameter, which could have been NULL and wouldn't have been valid
for the callbacks.

lib-master: Fixed memory leak when IPC server is handling commands.

This mainly meant that when login processes responded to doveadm proxy
list/kick commands memory was leaked.

doveadm: Don't allow doveadm_print_header(title==NULL) anymore.

It's not used anywhere, and if it was used it would have crashed with at
least "tab" backend.

dict-client: Don't crash if dict-server returns broken reply.

Just treat missing <tab>value as empty value.

auth: Make sure auth_request_log_info() doesn't crash when there are no passdbs

auth_request_is_disabled_master_user() could have caused such crash.

auth: Explicitly ignore return value to make static analyzer happier.

Added asserts to make static analyzer happier.

Removed dead code to make static analyzer happier.

lib-storage: Fix potential crash when userdb-returns "key+=value" for a nonexistent setting.

type would have also happened to be initialized to SET_STR for the crash to
happen.

lib-test: Fixed NULL pointer dereference when using --enable-static-checker

pgsql: Fixed clearing sql_commit_result.error_type

error was correctly set to NULL with the earlier memset(), but error_type
may have been garbage. This shouldn't have caused any actual problems.

fts-squat: Fixed memory leak on corrupted uidlist handling

dict-file: Don't leak a lock on temp file creation failure.

lib-imap-urlauth: Don't access freed memory on errors.

imap, pop3: Added rawlog_dir setting to store IMAP/POP3 traffic logs.

This at least partially replaces the "rawlog" post-login binary. For now
the "rawlog" binary supports some parameters, which aren't configurable
for rawlog_dir.

configure: hardening logic is backwards

Before this change, the argument parsing was busted.  The --help string only
compounded the incorrect behavior by suggesting that --disable-hardening
could take a yes/no argument.

                                      | before   | after
        ------------------------------+----------+--------
        <no option>                   | enable   | enable
        --enable-hardening            | disable  | enable
        --enable-hardening=yes        | disable  | enable
        --enable-hardening=no         | enable   | disable
        --disable-hardening           | enable   | disable
        --disable-hardening=yes       | error    | error
        --disable-hardening=no        | error    | error

pop3-migration-plugin: Add to index after successful retry

Also change return value to indicate that the hash
has been assigned to header.

doveconf: Hide any _api_key

plugins: fts - replace i_assert under _expunge_log_subtract with warning (API change)

The helper whose interface is changing currently has no other known
clients (there's little need for it to be exposed at all).

This should never happen, but if it does, just tally the number of times
it happened, and squirt out a warning message after the whole subtract.
If it happens at all, there's no reason not to expect a lot, so only
warn once per file.

In particular - do not assert crash when this is seen - it has been seen
on live test systems where file corruption seems to have occured. As
this can only be associated with corrupt fts indexes, seeing this error
implies that the whole FTS index should be rebuilt for that user.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Limit folder full name only

Before we had limit of 16 levels and 255 bytes per name
which is same as 4096 bytes. Now we limit only the total
length of the name to MAILBOX_LIST_NAME_MAX_LENGTH. For
compability reasons, we are restricting individual component
names to 255 characters.

fs-metawrap: Fixed assert that checks we don't create empty files.

If the entire write failed, offset could be 0.

lib-storage: Fixed accessing user as root when user has no uid.

This shouldn't normally be done, but might as well fix it. Fixes:

Fatal: mail-storage-service: seteuid(4294967295) failed: Invalid argument

lib-test: Added missing va_end() call.

lib-index: Fixed mail_index_modseq_get_next_log_offset() when accessing .log.2

file->sync_offset was set only after header, so sync_highest_modseq was also
same as initial_modseq. The previous code then just returned offset pointing
to sync_offset, which was too early.

lib-index: Make sure new dovecot.index.log files start tracking modseqs.

This will make mail_index_modseq_get_next_log_offset() work correctly even
if modseqs haven't been explicitly enabled.

lib-storage: Code cleanup for mailbox_get_expunge*()

The previous code did actually work as well, but it wasn't very obvious that
it did.

imap: When hibernating, wait for old imap process to cleanup before creating new ones.

This fixes stats errors:

stats: Error: FIFO input error: CONNECT: Duplicate session ID Y7Q6E4U7xO1/AAAB for user testuser service imap
stats: Warning: Couldn't find session ID: Y7Q6E4U7xO1/AAAB

lib-fs: Moved fs_write_stream_abort_parent() to fs-api-private.h

Only fs wrapper drivers are supposed to call it.

fs-randomfail: Fixed assert-crash in fs_write_stream_abort_error()

lib-index: limit mail_index error prints to one per ioloop_time

This is to prevent log flooding.

lib-test: test_expect_errors() now works for the entire log string, not just format parameter

imap-hibernate: Increased imap-master communication timeout from 5s to 30s

Looks like 5s isn't enough in loaded environments. It's also not really a
problem if the timeout is large, it's just going to take a while longer to
restore the connection. When timeout is reached the client would just get
disconnected anyway.

stats: Include PIDs in "Duplicate session ID" errors.

lib-index: mail_index_modseq_get_next_log_offset() shouldn't return offset beyond view's head

This also allows removing the same workaround from dsync code.

imap-acl: acl plugin deinit returns 1 on non-empty

acl: Deinit will return 1 on non-empty

lib: Allow static analyzers to check for t_pop() leaks.

They should be able to detect the missing free() call from code paths
missing a t_pop().

configure: Added --enable-static-checker parameter

imap: Avoid wrongly assert-crashing in client_check_command_hangs()

Fixes assert:

Panic: file imap-client.c: line 837 (client_check_command_hangs): assertion failed: (client->io != NULL)

stats plugin: Don't send any stats before CONNECT was successfully sent.

After stats write failures this fixes warnings like:
Warning: stats: Couldn't find session ID: smqAXQE8pIp/AAAB

lib-stats: stats_connection_send() now returns whether it succeeded or not

doveadm flags: Sync mailbox after committing transaction.

acl-plugin: Adjust to API changes

lmtp: Always read settings before dropping privs

If lmtp is ran explicitly as root, settings were not read.

imap: Fixed assert-crash if un-hibernation failed to initialize user.

master_service_client_connection_destroyed() was also being called in
imap_master_client_destroy() so it was done twice.

Fixes:
Panic: file master-service.c: line 775 (master_service_client_connection_destroyed): assertion failed: (service->total_available_count > 0)

fs-api: Retrieve errno before dest->copy_output is NULL'ed

CID 10144: When aborting output, errno retrieval
is attempted after dest->copy_output has already
been unreffed. Found by coverity.

acl-plugin: Whitespace fixes

acl-plugin: Deinit acl_iter on deinit too

acl-plugin: Make iterators more conforming

The *_next functions return true/false, deinit will
report errors and end result.

lib-storage: Check that UID is set before caching

lib-imap-storage: Check that UID is assigned before caching

zlib-plugin: Check that UID is assigned

When caching, code has to check whether UID is
assigned to avoid reusing cache for different
email since they all have UID = 0 before they
are actually committed.

quota: Flush quota after recalc

Correctly fix issue where the dict commit
is left unfinished.

lib-dcrypt: Avoid infinite loop if istream header is too large.

We'll return an error now instead. We can't just return -2 here, because nothing
was actually being returned to the caller. Attempting to do that would just trigger
an assert:

Panic: file istream.c: line 182 (i_stream_read): assertion failed: (_stream->skip != _stream->pos)

dovecot.service.in: removed ExecStartPre and ExecStopPost default definitions

Additional definitions currently added to dovecot.service.d/ by packaging

dcrypt: Test for stream prefetch

dcrypt: Allow stream prefetch

We might get stream that has already been buffered, so we
must try read it in case buffer is full.

lib: If DEBUG is enabled, use a pointer type for data_stack_frame_t

This allows telling static analyzers to treat t_push() and t_pop() similarly
to malloc()/free() and check for leaks.

lib: Changed t_pop() API to make it a bit more like free()

lib-master: master_service_init_finish() now verifies that t_pop() wasn't leaked

lib: Created data_stack_frame_t type for data_stack_frame

lib: Small code cleanup to data-stack - use explicit data_stack_initialized

This will make it easier to change data_stack_frame's type.

lib: Minor t_push() optimization - use unlikely()

lib: var-expand: Removed var_expand_table_build().

Replaced it with explicit table construction at the one place it was used.
Clang -Wvargargs complained about passing a char argument to va_start().

Fix control flow and T_BEGIN/T_END hygiene

You mustn't goto, break, continue, or return from out of a
T_BEGIN {...} T_END block, as that will lose a t_pop().
This has been seen in the wild: Panic: Leaked t_pop() call

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Do not abort parent of parent

configure.ac: Forgot to invoke DOVECOT_WANT_VPOPMAIL.

It was thereby impossible to enable Vpopmail support.

doveadm-server: Reset error code between calls

stats: Reset nearly all global mail stats

We leave num_connected_sessions alone.

stats: Fix user login counters

Before we would count all users twice,
because the same counters would get increment
in both CONNECT and ADD-USER. Now we do not
increment them at all on ADD-USER.

auth: GSSAPI mechanism: Fix CLang -Wstrict-bool warnings.

The GSS_ERROR() macro yields an integer rather than an actual bool value.
The krb5_kuserok() function returns a krb_boolean type, which is unsigned int rather than a bool.

lib-master: don't leak config path

The config path can already be non-NULL thanks to the default config path
code or the CONFIG_PATH environmental variable.

lib-fs: abort parent in fs_file_write_stream_abort_parent

imap: Track how much time was spent on waiting for locks.

dict-client: In slow query warnings, log time spent in ioloop and lock waits.

Possibly we want to remove the warnings entirely if most of the time has been
spent on lock waits (or alternatively: not spent in ioloop).

lib: Track how much time has been spent on waiting for locks.

lib-fts: Add missing include

imap: Fixed expunge handling when un-hiberanting

Fixes these errors:

Failed to import client state: Message count mismatch after handling expunges
Message UIDs CRC32 mismatch

lib: Changed unlink_directory() API to return error string.

There are many different reasons why it could fail, which a simple errno
can't very clearly indicate.

global: Added uchar_empty_ptr and use it instead of &uchar_nul.

This makes Coverity happier about not treating a char as an array.
For now this is a pointer to a 0, but could as well become a pointer
that crashes if dereferenced. Shouldn't be NULL anyway because clang's
-fsanitize=nonnull-attribute will complain about them.

lib-fs: Fixes to previous fs_write_stream_abort*() changes.

lib-storage: Fixed istream-attachment-extractor error handling.

lib-mail: Clarify istream-attachment-extractor's error handling API usage.

lib-fs: Add fs_write_stream_abort_parent and use it

Will do all the things abort_error does, but leaves
error untouched. You are expected to set one yourself.

lib-fs: Remove fs_write_stream_abort

Do not use fs_write_stream_abort anymore, instead use
fs_write_stream_abort_error to provide upstream some
reason when it's used.

fs-api: Add and use fs_write_stream_abort_error

This lets caller to specify error instead of setting it
with fs_error. Doing it like this lets us percolate the
error upwards.

lib-storage: Added mailbox_recent_flags_expunge_uid()

For storage backends where it's useful.