stats: Added num_connected_sessions for domains and IPs.

lib-http server: Delay calling the request's destroy callback until handle_request() callback is finished.
This simplifies the code in the handle_request() so it doesn't need to keep
track of whether the response is already submitted or not.

fts-lucene: If lucene-indexes dir is unexpectedly lost, rescan when expunge log update fails.
This mainly fixes a repeating error about failing to open the expunge log.
It should happen only if dovecot.index thinks that the mailbox is indexed
while in reality the entire lucene-indexes directory doesn't exist.

ostream-buffer: Allow modifying the buffer outside ostream, unless o_stream_seek() is used.
Now we'll just append to the end of the buffer instead of forcibly trying to
write at the offset where the last ostream write ended.

istream-callback: Added i_stream_callback_get_buffer().

lib: Added istream-callback API

Compiler warning fix

lib-http server: Comment updates

lib: io_stream_copy() no longer attempts to read full block sizes from input.
Although that may be more efficient for writing (to files), it causes
unnecessary work for the input stream. The writing part should also be
optimized anyway if the caller corks the output stream.

lib-http server: Added http_server_request_is_finished()
This is intended mainly to be used in asserts and such checks.

lib-http: Call the destroy callback also when request is aborted.

lib-http: Don't leak memory if HTTP client disconnects unexpectedly.
http_server_connection_disconnect() has several cleanup calls, which weren't
done because closed=TRUE was set explicitly and that skipped the cleanup.

lib-http server: Call request destroy callback immediately after response is finished sending.
Regardless of any other references to the request.

lib-mail: Added comments to message-parser.h

lib-mail: Message parser now always returns block->data=NULL when it's not supposed to be used.

doveadm fs put: Added -h <hash> parameter to specify the file's hash.
The hash (in hex) is automatically detected to be either MD5 or SHA256 based
on its size. If the fs backend doesn't support the hash it'll fail.
Otherwise it'll make sure that the written file matches the given hash.

fts: fts_no_autofuzzy shouldn't disable fuzzying when FUZZY search parameter is set.

fts: Added fts_no_autofuzzy setting to require exact matches for found results.
This is done by using the FTS search results as only filters on which the
regular non-FTS search is done.

doveadm search: If mailbox GUID lookup fails, print an error.

virtual: Allow "*" to match inbox=yes namespace if there's otherwise no prefix="" namespace.

virtual: Make sure virtual mailbox doesn't try to access itself as a backend mailbox.

lib-storage: mailbox_get_*status(STATUS_HIGHESTMODSEQ) now enables CONDSTORE feature.
This makes sure that the highestmodseq is added to the mailbox list index if
not already there.

virtual: Make sure modseqs are always enabled for backend mailboxes.
mailbox_get_status() wasn't adding a missing highestmodseq otherwise to the
mailbox list index.

auth: passdb static assumed that missing "password" field meant empty password
Missing password should be an error unless nopassword is set. If an empty
password is wanted then "password=" can be used.

lib-http: server: Fixed server waiting for payload of already failed request.

lib-http server: Require handle_request() to either send a response or reference the request.
This should make it more difficult to accidentally forget to send a
response and cause a hang.

Currently this assert-crashes, although it would have been possible to make
it return some internal error instead also.

lib-http server: Made http_server_request_[un]ref() public.
Also http_server_request_unref() now returns if this was the last reference
or not.

lib-http server: Create a new data stack frame for all the callbacks.

lib-http server: Added http_server_request_get_response()
Also make sure that only a single response can be created for a request.

lib-http server: Removed extra "return;" that was never called.

lib-http server: Removed "bool close" parameters in favor of _close() functions.
Most callers don't want to close the connection so it's an extra parameter
usually. Also it's difficult to remember what the TRUE/FALSE means so it's
easy to cause bugs by copy&pasting the code.

http_server_request_fail() will also now forcibly close the connection if
conn->input_broken is set.

expire plugin: Fixed crash at deinit if expire_dict initialization failed.

imap-urlauth: Error message typofix.
Patch by Jelmer Vernooij

lib-mail: rfc822_parse_dot_atom() didn't return error if "." wasn't followed by ATEXT
It simply skipped over the invalid character and continued.

lib: test-data-stack - add some fatal tests.
Extra caution is necessary as data-stack is such a fundamental component.
All of the brokenness that we add must be undone as soon as possible, or
there will be an endless loop of catastrophic errors. In order to avoid
that, at least try to detect some issues, and abort as quickly as possible.

Alas, due to the reliance of these tests on DEBUG code, if that's not set,
this test is a no-op.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test fatal cases for printf_format_fix
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-lib - add a real fatal test for mempool-alloconly
Crazily huge memory allocation must fail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: permit tests of fatal conditions
Some functions have no mechanism of reporting an error, and mustn't continue,
so fatality is the only way out. (E.g. memory allocation failures.)

This addition is for those situations. Semantics of failure tests are very
different from normal tests:

- The test function must have the following prototype:
   enum fatal_test_state test_fatal_things(int index);
- The index it will be called with starts at 0, and increments each time.
- It must call test_start() at the start of its first call.
- Apart from its final call, it must call a function it expects to trap the
   fatal error handler. If that fails to trap, it must return FATAL_TEST_FAILURE
- After returning FATAL_TEST_FAILURE, it will continue to be called as normal.
- When there are no more tests to perform, it must clean up, call test_end()
   and return FATAL_TEST_FINISHED. It will not be called again.
- If it detects errors in this protocol, it must not i_assert(), as that will
   be treated as an expected fatal, it must return FATAL_TEST_ABORT. It will
   then not be called again. It must not call test_end() in this case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Avoid assert-crash in Maildir++ quota if backend doesn't support control dirs.
We'll delay looking up the control dir until we've checked that the storage
is Maildir.

libressl fix: Fixed compiling with SSL compression disabled.
Patch by Pascal Stumpf

libressl fix: Check for SSL_CTRL_SET_ECDH_AUTO macro instead of OpenSSL version number
Patch by Hanno Böck

mbox: Fixed infinite looping and other incorrectness in istream-raw-mbox.
This was caused by the recent istream invalidation checks in
i_stream_get_data().

last-login plugin: Added missing configure and Makefile entries.

lib-http: http-server-connection - don't resume closed connections
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - only encode in-range 7-bit values
0x01-0x1F and 0x7f-... must be mBASE64 encoded.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject encoded simple ASCII
"Modified BASE64 MUST NOT be used to represent any printing US-ASCII
character which can represent itself."

"The character "&" (0x26) is represented by the two-octet sequence "&-""

Therefore any mBASE64 sequence containing any character between 0x20 and
0x7e is invalid.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject bogus characters in the mUTF7
Only 0x20..0x7e are permitted, as "All other characters (octet values
0x00-0x1f and 0x7f-0xff) are represented in modified BASE64, ...".

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - comprehensive test suite
Several MUST NOTs or other standards violations were not being
trapped.

test_imap_utf7_unnecessary() tests:
  Modified BASE64 MUST NOT be used to represent any printing US-ASCII
  character which can represent itself.

test_imap_utf7_bad_ascii() tests:
  All other characters (octet values 0x00-0x1f and 0x7f-0xff) are
  represented in modified BASE64, ...

test_imap_utf7_non_utf16() tests that data containing a single straggling
octet is trapped.

test_imap_utf7_by_example() and test_imap_utf7_ucs4_cases() are just
the previous test suite split into 2 smaller tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - migrate to test_assert_idx
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-str-sanitize - tighten tests
Check that the identical string is returned in the no-change case, not
just a copy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: make internal helpers static
These functions should only be called from within test_run(), as some of the
test-suite sanity checks can be subvirted if these are exposed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: quieten the random seed printfs
We only need to know the seed once.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: compile time checks for buffer creation
Ensure the data buffer has as much space as the size parameter claims.
This uses the strictest test GCC provides - the smallest containing object,
and returning 0 for unknown size.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - start sentry checks immediately after the reserved buffer
Our sentries are written with byte-precision, no need to round up before
doing the checks.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add DEBUG size and sentry updating to t_try_realloc
Without this, t_pop() will report errors.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - add realloc tests
These will fail noisily with a DEBUG build until the realloc/DEBUG
bug is fixed.

lib: data-stack - fix incorrect pointer comparison in t_try_realloc in DEBUG builds
When trying to work out if it's a valid realloc, we need to remember
that in DEBUG builds, we have hidden a size value (in a MEM_ALIGNED
space) before the pointer we return.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - fix realloc/lowwater bug
If DEBUG is enabled, then it can try to look past the low-water mark
as the low-water mark wasn't moved during successful reallocs. This
condition is detected, and causes a panic.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - t_try_realloc get alloc size right in DEBUG builds
Also introduce a helper variable for the common expression for readability.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - helper for last alloc ends at block.data+(size-left)
Less to read, and less noisy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add vital sanity-preserving assert to t_pop
If something has re-ordered those two offsets, the following memset
will explode.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - pull common code out of if/else branches in t_malloc_real
Once the new block is set up nicely empty for use, it can be used exactly
like an old block that has enough space - so just merge the code paths.
(This changeset best viewed ignoring whitespace.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - reorder full current block code
Make the "enough space" and "block is full" branches in t_malloc_real
have the same code structure for parallelism. The 'block' variable is only
needed very locally, so shrink its scope, and avoid its use once it is
assigned to current_block, use that instead. Compacter readable expressions
have been favoured at the expense of longer lines (which will soon shrink).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - helper macro for requested/allocated size
Rather than #if/#else/#endif around such calculations, or even
having the possibility to mistype such expressions, just extract
the calculation into a helper macro defined appropriately for
the DEBUG mode.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - disambiguate sizes in t_pop_verify
In DEBUG mode, the allocated size is bigger than the requested size, so
rename the variable to reflect its real meaning, and move it into a
tighter scope in the process.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - too important a library not to be thrashed hard
OK, it's thrashed a bit by other tests such as aqueue, str, etc., but these
tests attempt to probe all corner cases given detailed knowledge of the
limits of the block/frame implementation.

At the moment, no realloc functionality is tested, as with DEBUG builds
they would fail very noisily.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - simplify expressions in data_stack_last_buffer_reset
Noisy expression used more than once, give it a meaningful name.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - enable tighter sanity checks on stack_block allocations
The canary doesn't have to be NULL. That's only effective if it will be read
and dereferenced as a pointer. If used as an integer, it's a perfectly boring
one, and not likely to draw attention to itself.

Once the canary is in place, at least in debug mode, we can check it in
every function as a sanity check.

Make our poison stand out from other poison used elsewhere in the code.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: cosmetic - whitespace cleanup in allocator/memory-related code
Indentation used spaces. Some trailing whitespace found.

$ git diff -w
$

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: add rudementary statistics gathering to data-stack debugging
These currently just enhance the overly-large alloc_size warning
message in t_malloc_real() to show what the history of allocations
is. New warnings look like this:
 Warning: Growing data stack by 32768 as 'test_run_funcs' reaches 16416 bytes from 202 allocations.

Future possible directions:
t_malloc_real() could be further modified to identify badly-behaved
regions of code that allocate lots of smaller blocks as it happens
(which might be noisy). t_pop() could be modified to detect such code
after it exits its block (so just one warning per instance of
misbehaviour).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: add markers to data-stack debug prints
Only the DEBUG code will have access to the frame's marker.

lib: add identifying markers to data-stack frames
Add a string parameter to t_push() so that in DEBUG mode,
misbehaviour inside a stack level can be blamed on someone.

Default the T_BEGIN macro to automatigally use __FUNCTION__ or
__FILE__:__LINE__ as that identifier, therefore no clients of
those macros need to change.

ioloop used t_push() directly as it wanted customised diagnostic
strings. To preserve this friendliness, also introduce a t_push_named()
which takes a format string with paramters.

Apart from the unused paramter, a non-DEBUG build should see no
changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

doveadm: Added dict commands to access lib-dict via command line.
For debugging and data dumping purposes.

lib-storage: Don't allow '/' for filesystem based mailbox list backends if their internal separator isn't '/'.
Basically this means that Maildir++ shouldn't be allowed to create mailboxes
with '/' in the name.

last-login plugin added. It updates user's login timestamp to configured dict.
Example config:

plugin {
  last_login_dict = redis:host=127.0.0.1:port=6379
  #last_login_key = last-login/%u # default
}

lib-storage: Set mail_user->session_id before calling mail_user_init()

lib-http: Fixed linking test programs.

lib-http: Added initial support for server-side HTTP API.

rawlog: Added -i parameter to include the remote IP address in the filename.

mailbox_list_index=yes: Don't update INBOX's STATUS information to index.
This should reduce disk I/O

auth: If userdb prefetch is configured wrong, return temporary failure instead of "user not known"

lib-http: Debug log now includes where HTTP requests spent their time on.

lib: Added fd=-1 assert to i_close_fd() macro.
This way we'll see clearly where it fails, instead of just seeing assert in
close_keep_errno() without an easy way to see where it crashed.

lib: ioloop-epoll didn't correctly check if there were any IO events.
Alternatively we could have checked for array_count(&ctx->events) >
ctx->deleted_count, but this code is a bit more understandable.

This change doesn't actually fix any proper bugs, it just causes the process
to crash instead of going to infinite wait loop.

lib: file_*_lock() with flock() timeouts should have returned errno=EAGAIN
(Instead of EINTR.)

lmtp: Remove <> from Delivered-To: header.
This annoyingly changes Dovecot behavior in the middle of v2.2.x series, but
the earlier value was definitely wrong.. Perhaps we still need to provide a
setting for this, but that's pretty annoying as well.

lib: Compiler warning fixes for 32bit systems

lib: test-istream-tee - randomise which tee stream lags behind the others
Just in case there's something special about the start or the end of the
list of children, make each file be the one that lags behind the others.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-tee - more randomisation to the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-tee - verify _read returns correct values after _set_size()
Previously, only an increase of 1 in the size was tested. This ensures that
0 and numbers > 1 are also tested.

Also add _idx to the asserts, so we know where in the loop it failed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - add simultanious limit streams back into the mix
Return to the previous complex nested stream-type case.

1 time in 10, it tests the simple case of:

test_stream \
test_stream -}- concat_stream
test_stream /
(2-11 of these)

9 times in 10, it tests this configuration instead:

test_stream \                  / limit_stream
test_stream -}- concat_stream {- limit_stream
test_stream /                  \ limit_stream
(2-11 of these)                 (1-9 of these)

Since 31efe2d04793 lib: istream-concat read() returned -2 too early., all tests
pass every time.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - test only concat, not simultanious limit streams
Test just concat functionality in this unit test. Simultanious access of
limit streams can be tested elsewhere.

Without the fix in:
  31efe2d04793 lib: istream-concat read() returned -2 too early.
The failure previously seen in test-istream-concat would be still reproducable:
test-istream-concat.c:84: Assert failed: size >= TEST_MAX_BUFFER_SIZE
istream concat random ................................................ : FAILED
test: random seed #1 was 1403118493

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Added FS_PROPERTY_COPY_METADATA and fs_set_metadata() tracking.

lib-fs: Added username and session_id to struct fs directly.

lib-fs: Added fs_settings.username and .session_id

lib-storage: Added struct mail_user.session_id

lib-http: Made sure that connections that are still connecting to the server aren't marked as idle.

lib-index: Don't update log_file_tail_offset unnecessarily.
Update it only if we're already writing to transaction log anyway or if
we're required to update the offset because mail_index_sync_commit() has
increased it past non-external transactions (this is especially important
with mdbox map index).

lib-storage: Minor code cleanup to istream-mail.
eof=TRUE shouldn't be possible with ret=-2, so this just makes it clearer
what the code's intention is.

lib: i_stream_read_copy_from_parent() needs to update access counter also when returning -2
This finishes the 467a4d19f873 fix.