lib-http server: Require handle_request() to either send a response or reference the request.
This should make it more difficult to accidentally forget to send a
response and cause a hang.

Currently this assert-crashes, although it would have been possible to make
it return some internal error instead also.

lib-http server: Made http_server_request_[un]ref() public.
Also http_server_request_unref() now returns if this was the last reference
or not.

lib-http server: Create a new data stack frame for all the callbacks.

lib-http server: Added http_server_request_get_response()
Also make sure that only a single response can be created for a request.

lib-http server: Removed extra "return;" that was never called.

lib-http server: Removed "bool close" parameters in favor of _close() functions.
Most callers don't want to close the connection so it's an extra parameter
usually. Also it's difficult to remember what the TRUE/FALSE means so it's
easy to cause bugs by copy&pasting the code.

http_server_request_fail() will also now forcibly close the connection if
conn->input_broken is set.

expire plugin: Fixed crash at deinit if expire_dict initialization failed.

imap-urlauth: Error message typofix.
Patch by Jelmer Vernooij

lib-mail: rfc822_parse_dot_atom() didn't return error if "." wasn't followed by ATEXT
It simply skipped over the invalid character and continued.

lib: test-data-stack - add some fatal tests.
Extra caution is necessary as data-stack is such a fundamental component.
All of the brokenness that we add must be undone as soon as possible, or
there will be an endless loop of catastrophic errors. In order to avoid
that, at least try to detect some issues, and abort as quickly as possible.

Alas, due to the reliance of these tests on DEBUG code, if that's not set,
this test is a no-op.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test fatal cases for printf_format_fix
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-lib - add a real fatal test for mempool-alloconly
Crazily huge memory allocation must fail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: permit tests of fatal conditions
Some functions have no mechanism of reporting an error, and mustn't continue,
so fatality is the only way out. (E.g. memory allocation failures.)

This addition is for those situations. Semantics of failure tests are very
different from normal tests:

- The test function must have the following prototype:
   enum fatal_test_state test_fatal_things(int index);
- The index it will be called with starts at 0, and increments each time.
- It must call test_start() at the start of its first call.
- Apart from its final call, it must call a function it expects to trap the
   fatal error handler. If that fails to trap, it must return FATAL_TEST_FAILURE
- After returning FATAL_TEST_FAILURE, it will continue to be called as normal.
- When there are no more tests to perform, it must clean up, call test_end()
   and return FATAL_TEST_FINISHED. It will not be called again.
- If it detects errors in this protocol, it must not i_assert(), as that will
   be treated as an expected fatal, it must return FATAL_TEST_ABORT. It will
   then not be called again. It must not call test_end() in this case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Avoid assert-crash in Maildir++ quota if backend doesn't support control dirs.
We'll delay looking up the control dir until we've checked that the storage
is Maildir.

libressl fix: Fixed compiling with SSL compression disabled.
Patch by Pascal Stumpf

libressl fix: Check for SSL_CTRL_SET_ECDH_AUTO macro instead of OpenSSL version number
Patch by Hanno Böck

mbox: Fixed infinite looping and other incorrectness in istream-raw-mbox.
This was caused by the recent istream invalidation checks in
i_stream_get_data().

last-login plugin: Added missing configure and Makefile entries.

lib-http: http-server-connection - don't resume closed connections
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - only encode in-range 7-bit values
0x01-0x1F and 0x7f-... must be mBASE64 encoded.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject encoded simple ASCII
"Modified BASE64 MUST NOT be used to represent any printing US-ASCII
character which can represent itself."

"The character "&" (0x26) is represented by the two-octet sequence "&-""

Therefore any mBASE64 sequence containing any character between 0x20 and
0x7e is invalid.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject bogus characters in the mUTF7
Only 0x20..0x7e are permitted, as "All other characters (octet values
0x00-0x1f and 0x7f-0xff) are represented in modified BASE64, ...".

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - comprehensive test suite
Several MUST NOTs or other standards violations were not being
trapped.

test_imap_utf7_unnecessary() tests:
  Modified BASE64 MUST NOT be used to represent any printing US-ASCII
  character which can represent itself.

test_imap_utf7_bad_ascii() tests:
  All other characters (octet values 0x00-0x1f and 0x7f-0xff) are
  represented in modified BASE64, ...

test_imap_utf7_non_utf16() tests that data containing a single straggling
octet is trapped.

test_imap_utf7_by_example() and test_imap_utf7_ucs4_cases() are just
the previous test suite split into 2 smaller tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - migrate to test_assert_idx
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-str-sanitize - tighten tests
Check that the identical string is returned in the no-change case, not
just a copy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: make internal helpers static
These functions should only be called from within test_run(), as some of the
test-suite sanity checks can be subvirted if these are exposed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: quieten the random seed printfs
We only need to know the seed once.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: compile time checks for buffer creation
Ensure the data buffer has as much space as the size parameter claims.
This uses the strictest test GCC provides - the smallest containing object,
and returning 0 for unknown size.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - start sentry checks immediately after the reserved buffer
Our sentries are written with byte-precision, no need to round up before
doing the checks.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add DEBUG size and sentry updating to t_try_realloc
Without this, t_pop() will report errors.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - add realloc tests
These will fail noisily with a DEBUG build until the realloc/DEBUG
bug is fixed.

lib: data-stack - fix incorrect pointer comparison in t_try_realloc in DEBUG builds
When trying to work out if it's a valid realloc, we need to remember
that in DEBUG builds, we have hidden a size value (in a MEM_ALIGNED
space) before the pointer we return.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - fix realloc/lowwater bug
If DEBUG is enabled, then it can try to look past the low-water mark
as the low-water mark wasn't moved during successful reallocs. This
condition is detected, and causes a panic.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - t_try_realloc get alloc size right in DEBUG builds
Also introduce a helper variable for the common expression for readability.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - helper for last alloc ends at block.data+(size-left)
Less to read, and less noisy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add vital sanity-preserving assert to t_pop
If something has re-ordered those two offsets, the following memset
will explode.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - pull common code out of if/else branches in t_malloc_real
Once the new block is set up nicely empty for use, it can be used exactly
like an old block that has enough space - so just merge the code paths.
(This changeset best viewed ignoring whitespace.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - reorder full current block code
Make the "enough space" and "block is full" branches in t_malloc_real
have the same code structure for parallelism. The 'block' variable is only
needed very locally, so shrink its scope, and avoid its use once it is
assigned to current_block, use that instead. Compacter readable expressions
have been favoured at the expense of longer lines (which will soon shrink).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - helper macro for requested/allocated size
Rather than #if/#else/#endif around such calculations, or even
having the possibility to mistype such expressions, just extract
the calculation into a helper macro defined appropriately for
the DEBUG mode.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - disambiguate sizes in t_pop_verify
In DEBUG mode, the allocated size is bigger than the requested size, so
rename the variable to reflect its real meaning, and move it into a
tighter scope in the process.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - too important a library not to be thrashed hard
OK, it's thrashed a bit by other tests such as aqueue, str, etc., but these
tests attempt to probe all corner cases given detailed knowledge of the
limits of the block/frame implementation.

At the moment, no realloc functionality is tested, as with DEBUG builds
they would fail very noisily.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - simplify expressions in data_stack_last_buffer_reset
Noisy expression used more than once, give it a meaningful name.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - enable tighter sanity checks on stack_block allocations
The canary doesn't have to be NULL. That's only effective if it will be read
and dereferenced as a pointer. If used as an integer, it's a perfectly boring
one, and not likely to draw attention to itself.

Once the canary is in place, at least in debug mode, we can check it in
every function as a sanity check.

Make our poison stand out from other poison used elsewhere in the code.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: cosmetic - whitespace cleanup in allocator/memory-related code
Indentation used spaces. Some trailing whitespace found.

$ git diff -w
$

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: add rudementary statistics gathering to data-stack debugging
These currently just enhance the overly-large alloc_size warning
message in t_malloc_real() to show what the history of allocations
is. New warnings look like this:
 Warning: Growing data stack by 32768 as 'test_run_funcs' reaches 16416 bytes from 202 allocations.

Future possible directions:
t_malloc_real() could be further modified to identify badly-behaved
regions of code that allocate lots of smaller blocks as it happens
(which might be noisy). t_pop() could be modified to detect such code
after it exits its block (so just one warning per instance of
misbehaviour).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: add markers to data-stack debug prints
Only the DEBUG code will have access to the frame's marker.

lib: add identifying markers to data-stack frames
Add a string parameter to t_push() so that in DEBUG mode,
misbehaviour inside a stack level can be blamed on someone.

Default the T_BEGIN macro to automatigally use __FUNCTION__ or
__FILE__:__LINE__ as that identifier, therefore no clients of
those macros need to change.

ioloop used t_push() directly as it wanted customised diagnostic
strings. To preserve this friendliness, also introduce a t_push_named()
which takes a format string with paramters.

Apart from the unused paramter, a non-DEBUG build should see no
changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

doveadm: Added dict commands to access lib-dict via command line.
For debugging and data dumping purposes.

lib-storage: Don't allow '/' for filesystem based mailbox list backends if their internal separator isn't '/'.
Basically this means that Maildir++ shouldn't be allowed to create mailboxes
with '/' in the name.

last-login plugin added. It updates user's login timestamp to configured dict.
Example config:

plugin {
  last_login_dict = redis:host=127.0.0.1:port=6379
  #last_login_key = last-login/%u # default
}

lib-storage: Set mail_user->session_id before calling mail_user_init()

lib-http: Fixed linking test programs.

lib-http: Added initial support for server-side HTTP API.

rawlog: Added -i parameter to include the remote IP address in the filename.

mailbox_list_index=yes: Don't update INBOX's STATUS information to index.
This should reduce disk I/O

auth: If userdb prefetch is configured wrong, return temporary failure instead of "user not known"

lib-http: Debug log now includes where HTTP requests spent their time on.

lib: Added fd=-1 assert to i_close_fd() macro.
This way we'll see clearly where it fails, instead of just seeing assert in
close_keep_errno() without an easy way to see where it crashed.

lib: ioloop-epoll didn't correctly check if there were any IO events.
Alternatively we could have checked for array_count(&ctx->events) >
ctx->deleted_count, but this code is a bit more understandable.

This change doesn't actually fix any proper bugs, it just causes the process
to crash instead of going to infinite wait loop.

lib: file_*_lock() with flock() timeouts should have returned errno=EAGAIN
(Instead of EINTR.)

lmtp: Remove <> from Delivered-To: header.
This annoyingly changes Dovecot behavior in the middle of v2.2.x series, but
the earlier value was definitely wrong.. Perhaps we still need to provide a
setting for this, but that's pretty annoying as well.

lib: Compiler warning fixes for 32bit systems

lib: test-istream-tee - randomise which tee stream lags behind the others
Just in case there's something special about the start or the end of the
list of children, make each file be the one that lags behind the others.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-tee - more randomisation to the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-tee - verify _read returns correct values after _set_size()
Previously, only an increase of 1 in the size was tested. This ensures that
0 and numbers > 1 are also tested.

Also add _idx to the asserts, so we know where in the loop it failed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - add simultanious limit streams back into the mix
Return to the previous complex nested stream-type case.

1 time in 10, it tests the simple case of:

test_stream \
test_stream -}- concat_stream
test_stream /
(2-11 of these)

9 times in 10, it tests this configuration instead:

test_stream \                  / limit_stream
test_stream -}- concat_stream {- limit_stream
test_stream /                  \ limit_stream
(2-11 of these)                 (1-9 of these)

Since 31efe2d04793 lib: istream-concat read() returned -2 too early., all tests
pass every time.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - test only concat, not simultanious limit streams
Test just concat functionality in this unit test. Simultanious access of
limit streams can be tested elsewhere.

Without the fix in:
  31efe2d04793 lib: istream-concat read() returned -2 too early.
The failure previously seen in test-istream-concat would be still reproducable:
test-istream-concat.c:84: Assert failed: size >= TEST_MAX_BUFFER_SIZE
istream concat random ................................................ : FAILED
test: random seed #1 was 1403118493

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Added FS_PROPERTY_COPY_METADATA and fs_set_metadata() tracking.

lib-fs: Added username and session_id to struct fs directly.

lib-fs: Added fs_settings.username and .session_id

lib-storage: Added struct mail_user.session_id

lib-http: Made sure that connections that are still connecting to the server aren't marked as idle.

lib-index: Don't update log_file_tail_offset unnecessarily.
Update it only if we're already writing to transaction log anyway or if
we're required to update the offset because mail_index_sync_commit() has
increased it past non-external transactions (this is especially important
with mdbox map index).

lib-storage: Minor code cleanup to istream-mail.
eof=TRUE shouldn't be possible with ret=-2, so this just makes it clearer
what the code's intention is.

lib: i_stream_read_copy_from_parent() needs to update access counter also when returning -2
This finishes the 467a4d19f873 fix.

virtual: Fixed assert-crashes where trying to open an already opened backend mailbox.

lib: istream-tee wasn't returning data correctly always.
This fixes an assert-crash in istream-tee.c. (Hopefully it was always
assert-crashing instead of returning corrupted data.)

lib: failures - cosmetic write_full cleanup
Error message should have a trailing newline.
Use the POSIX macro for stderr's file number, rather than its numeric value.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

config: parser - trivial error message typo
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lmtp: Small code cleanup

imap: If FETCH fails because mail has already been expunged, don't log an error.

lib-storage: Bodystructure parsing flags weren't updated correctly on error conditions.
This fixes an assert-crash sometimes when mail parsing failed.

lib-storage: istream-mail updates mail->expunged if it notices ENOENT from parent stream.

lib-storage: Log mail istream read failures in one place.
Also handle ENOENT errors by checking if the mail has already been expunged,
and if so don't log an error, just return "mail is already expunged" error
to client.

When creating istream-error, give an error string whenever possible.

lib-storage: If mail body reading failed, the error message may have contained only minimal errno string.
Even though the istream could have had a much better internal error message.
So show it.

lib-dict: Removed NFS flushing from dict-file backend.

mbox: If GUID lookup fails because mbox_min_index_size skipped indexes, say so in error message.

acl: Global ACLs now support "patterns with spaces inside quotes"

acl: Oops, ignore_acls check was reversed.

lib-compression: Compression ostreams may have caused parent ostream to use too much memory.

lib: Added o_stream_flush_parent_if_needed() for wrapper ostreams.

acl: Create struct acl_mailbox also for shared root namespace mailboxes.
This fixes crashes where imap_acl code attempts to access ACLs for
nonexistent mailboxes inside shared root namespace. Alternatively the
imap_acl plugin could have checked the nonexistence of ACLs but this is
probably easier and more guaranteed to work.

lmtp: Removed code that attempts to deduplicate mail files by copying them between user mailboxes.
This sometimes started failing if the mail that was being used for copying
was deleted by the user. There's no good way for lmtp code to fix that
situation.

If deduplication is needed, it could be implemented in a more generic way
inside mailbox_copy() where after initial copy it would store the
destination struct mail to src_mail->last_copy_dest_mail. If another mail is
copied, the last_copy_dest_mail could be attempted to be used for the
copying and if that doesn't work it would fallback to regular copying. This
should probably be attempted only for lda/lmtp processes as it would just
cause extra overhead for others.

Compile fix for old systems without SSL_OP_NO_COMPRESSION

fts-lucene: Delay initialization to fix assert-crash with mbox

openssl: optionally disable TLS compression
Make ssl compression optional, but enabled by default. Other ssl options
might be tweakable in the future, so have a single ssl_options string,
and explode it into individual flags. (Compare postfix configuration.)
Based on an idea by Andreas Schulze <sca@andreasschulze.de>

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Added mail_namespace_is_shared_user_root() and used it where useful.
Most importantly this should fix a crash in ACL plugin where type=shared
namespace was used without any kind of per-user prefix/location (i.e. it
probably should have been a type=public namespace instead).

acl: Compile fix caused by previous change

lib-storage: Move "shared" storage name to mail-storage-private.h where it can be used.