doveadm ring status: Help text was shown for wrong command.

fts-lucene: Compiling fix for earlier change.

fts-lucene: Don't crash when index building fails but we were still planning to optimize the index.

fts-lucene: When deleting corrupted lucene-indexes/ directory, don't rmdir it.
This at least avoids errors with NFS when some of the files are still open
inside it by other processes.

fts-lucene: Automatically close index after 2 minutes of idling.

fts-lucene: Make sure Lucene indexes are always closed at deinit to avoid memory leaks.
At least optimize leaked memory.

redis: Added support for path=/unix/socket/path parameter instead of host/port.

pop3: Fixed potential assert-crash on disconnect.

lmtp: Put back the deduplication code.
Too dangerous after all to change it in the middle of v2.2.x. It's also not
causing that much trouble even when it breaks..

auth: protocol-specific username settings weren't used for userdb lookups.
The username was set before the service-specific settings were looked up, so
global settings were always used. This affected auth_default_realm,
auth_username_translation and auth_username_format settings.

fts-lucene: If whitespace_chars was set, we may have ended up indexing some garbage words.
The final \0 was replaced with space, so everything beyond that was also
being indexed.

lib-dict: Hide internal ioloop from async commit callbacks. (Redis & memcached fix)

last-login plugin: Added ABI version check.

last-login: Fixed timeout leak at user deinit.

lib-storage: Added data stack frame to mail_prefetch().

doveconf: local and remote net/bits addresses were printed with /bits twice.

Several services weren't enforcing their process_limit=1 requirement.

lib: Added unit tests for wildcard_match()

lib: wildcard_match() should have matched "*" wildcard against an empty "" string also.
This fixes global ACL "*" matching the root namespace when creating new
mailboxes.

director: Log a warning when using "director host flush" for all hosts.

istream-chain: Fixed crash caused by earlier io_add_stream() support change.

lib-http server: Use io_add_istream() to wait for the payload istream.
This way the stream doesn't necessarily have to have a fd.

lib-http: Added asserts to make sure CR or LF can't be added accidentally to HTTP headers.

istream-chain: Support using io_add_istream() for the chain stream.
The callback is notified whenever new streams are added to the chain.

It's currently not possible to have nonblocking istreams added to the chain
and the callback being called when they have new data, but it would be
possible to implement as well if needed at some point.

io_add_istream(): Allow the istream to be added even if it doesn't have fd.

pop3: satisfy some strict parsing rules in RFC 1939
"Commands in the POP3 consist of a case-insensitive keyword, possibly
 followed by one or more arguments.  All commands are terminated by a
 CRLF pair.  Keywords and arguments consist of printable ASCII
 characters.  Keywords and arguments are each separated by a single
 SPACE character."

"A server MUST respond to an unrecognized, unimplemented, or
 syntactically invalid command by responding with a negative status
 indicator."

Therefore the following commands must be rejected:
LIST 2600Hz
LIST 99 red balloons
TOP 1 2 buckle-my-shoe

Signed-off-by: Phil Carmody <phil@dovecot.fi>

pop3: fix msgnum/size parsers
The outer if()s are completely unnecessary, and permit `num'
to remain uninitialised. Spotted by clang's static analysis.

Bug introduced in changeset: 17563:2ed2ab04b63d

Note that the lack of a parameter from a broken client is no longer
treated as "0". Before the bug was introduced:
  DELE
  -ERR There's no message 0.
After this patch:
  DELE
  -ERR Invalid message number:

Signed-off-by: Phil Carmody <phil@dovecot.fi>

Compiling fix for previous change..

Handle "out of disk space" and "out of user quota" as separate cases.
"Out of disk space" is a temporary error that should be logged as error and
the failure should be sent to user as "Internal server error".

Obsolete the use of MAIL_ERROR_NOSPACE and MAIL_ERRSTR_NO_SPACE. Use the
clearer MAIL_ERROR_NOQUOTA and MAIL_ERRSTR_NO_QUOTA instead.

ldap: Treat "No such object" errors to search the same as if no results were returned.
Trying to look up a nonexistent base returns this error.

auth: Internal passdb failures were always failing the request even if another passdb succeeded later.

lib-http: server_request/connection - improve encapsulation
It just feels a bit dirty having the request mess around with the
connection's internals, have the connection manage its linked lists
itself. No functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

virtual plugin: Optimized memory allocation.
Patch by Teemu Huovila.

Compiler warning fix

virtual plugin: Handle physical mailbox deletion while virtual mailbox is open.

mailbox_list_index=yes: Make sure storage error doesn't change when updating STATUS info.

lib-storage: Added mail_storage_last_error_push/pop()

virtual plugin: Optimized syncing a large number of physical mailboxes.
Especially when the number of mails was large the old code took a lot of CPU
time. Based on patch by Teemu Huovila.

stats: Added num_connected_sessions for domains and IPs.

lib-http server: Delay calling the request's destroy callback until handle_request() callback is finished.
This simplifies the code in the handle_request() so it doesn't need to keep
track of whether the response is already submitted or not.

fts-lucene: If lucene-indexes dir is unexpectedly lost, rescan when expunge log update fails.
This mainly fixes a repeating error about failing to open the expunge log.
It should happen only if dovecot.index thinks that the mailbox is indexed
while in reality the entire lucene-indexes directory doesn't exist.

ostream-buffer: Allow modifying the buffer outside ostream, unless o_stream_seek() is used.
Now we'll just append to the end of the buffer instead of forcibly trying to
write at the offset where the last ostream write ended.

istream-callback: Added i_stream_callback_get_buffer().

lib: Added istream-callback API

Compiler warning fix

lib-http server: Comment updates

lib: io_stream_copy() no longer attempts to read full block sizes from input.
Although that may be more efficient for writing (to files), it causes
unnecessary work for the input stream. The writing part should also be
optimized anyway if the caller corks the output stream.

lib-http server: Added http_server_request_is_finished()
This is intended mainly to be used in asserts and such checks.

lib-http: Call the destroy callback also when request is aborted.

lib-http: Don't leak memory if HTTP client disconnects unexpectedly.
http_server_connection_disconnect() has several cleanup calls, which weren't
done because closed=TRUE was set explicitly and that skipped the cleanup.

lib-http server: Call request destroy callback immediately after response is finished sending.
Regardless of any other references to the request.

lib-mail: Added comments to message-parser.h

lib-mail: Message parser now always returns block->data=NULL when it's not supposed to be used.

doveadm fs put: Added -h <hash> parameter to specify the file's hash.
The hash (in hex) is automatically detected to be either MD5 or SHA256 based
on its size. If the fs backend doesn't support the hash it'll fail.
Otherwise it'll make sure that the written file matches the given hash.

fts: fts_no_autofuzzy shouldn't disable fuzzying when FUZZY search parameter is set.

fts: Added fts_no_autofuzzy setting to require exact matches for found results.
This is done by using the FTS search results as only filters on which the
regular non-FTS search is done.

doveadm search: If mailbox GUID lookup fails, print an error.

virtual: Allow "*" to match inbox=yes namespace if there's otherwise no prefix="" namespace.

virtual: Make sure virtual mailbox doesn't try to access itself as a backend mailbox.

lib-storage: mailbox_get_*status(STATUS_HIGHESTMODSEQ) now enables CONDSTORE feature.
This makes sure that the highestmodseq is added to the mailbox list index if
not already there.

virtual: Make sure modseqs are always enabled for backend mailboxes.
mailbox_get_status() wasn't adding a missing highestmodseq otherwise to the
mailbox list index.

auth: passdb static assumed that missing "password" field meant empty password
Missing password should be an error unless nopassword is set. If an empty
password is wanted then "password=" can be used.

lib-http: server: Fixed server waiting for payload of already failed request.

lib-http server: Require handle_request() to either send a response or reference the request.
This should make it more difficult to accidentally forget to send a
response and cause a hang.

Currently this assert-crashes, although it would have been possible to make
it return some internal error instead also.

lib-http server: Made http_server_request_[un]ref() public.
Also http_server_request_unref() now returns if this was the last reference
or not.

lib-http server: Create a new data stack frame for all the callbacks.

lib-http server: Added http_server_request_get_response()
Also make sure that only a single response can be created for a request.

lib-http server: Removed extra "return;" that was never called.

lib-http server: Removed "bool close" parameters in favor of _close() functions.
Most callers don't want to close the connection so it's an extra parameter
usually. Also it's difficult to remember what the TRUE/FALSE means so it's
easy to cause bugs by copy&pasting the code.

http_server_request_fail() will also now forcibly close the connection if
conn->input_broken is set.

expire plugin: Fixed crash at deinit if expire_dict initialization failed.

imap-urlauth: Error message typofix.
Patch by Jelmer Vernooij

lib-mail: rfc822_parse_dot_atom() didn't return error if "." wasn't followed by ATEXT
It simply skipped over the invalid character and continued.

lib: test-data-stack - add some fatal tests.
Extra caution is necessary as data-stack is such a fundamental component.
All of the brokenness that we add must be undone as soon as possible, or
there will be an endless loop of catastrophic errors. In order to avoid
that, at least try to detect some issues, and abort as quickly as possible.

Alas, due to the reliance of these tests on DEBUG code, if that's not set,
this test is a no-op.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test fatal cases for printf_format_fix
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-lib - add a real fatal test for mempool-alloconly
Crazily huge memory allocation must fail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: permit tests of fatal conditions
Some functions have no mechanism of reporting an error, and mustn't continue,
so fatality is the only way out. (E.g. memory allocation failures.)

This addition is for those situations. Semantics of failure tests are very
different from normal tests:

- The test function must have the following prototype:
   enum fatal_test_state test_fatal_things(int index);
- The index it will be called with starts at 0, and increments each time.
- It must call test_start() at the start of its first call.
- Apart from its final call, it must call a function it expects to trap the
   fatal error handler. If that fails to trap, it must return FATAL_TEST_FAILURE
- After returning FATAL_TEST_FAILURE, it will continue to be called as normal.
- When there are no more tests to perform, it must clean up, call test_end()
   and return FATAL_TEST_FINISHED. It will not be called again.
- If it detects errors in this protocol, it must not i_assert(), as that will
   be treated as an expected fatal, it must return FATAL_TEST_ABORT. It will
   then not be called again. It must not call test_end() in this case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Avoid assert-crash in Maildir++ quota if backend doesn't support control dirs.
We'll delay looking up the control dir until we've checked that the storage
is Maildir.

libressl fix: Fixed compiling with SSL compression disabled.
Patch by Pascal Stumpf

libressl fix: Check for SSL_CTRL_SET_ECDH_AUTO macro instead of OpenSSL version number
Patch by Hanno Böck

mbox: Fixed infinite looping and other incorrectness in istream-raw-mbox.
This was caused by the recent istream invalidation checks in
i_stream_get_data().

last-login plugin: Added missing configure and Makefile entries.

lib-http: http-server-connection - don't resume closed connections
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - only encode in-range 7-bit values
0x01-0x1F and 0x7f-... must be mBASE64 encoded.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject encoded simple ASCII
"Modified BASE64 MUST NOT be used to represent any printing US-ASCII
character which can represent itself."

"The character "&" (0x26) is represented by the two-octet sequence "&-""

Therefore any mBASE64 sequence containing any character between 0x20 and
0x7e is invalid.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: imap-utf7 - reject bogus characters in the mUTF7
Only 0x20..0x7e are permitted, as "All other characters (octet values
0x00-0x1f and 0x7f-0xff) are represented in modified BASE64, ...".

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - comprehensive test suite
Several MUST NOTs or other standards violations were not being
trapped.

test_imap_utf7_unnecessary() tests:
  Modified BASE64 MUST NOT be used to represent any printing US-ASCII
  character which can represent itself.

test_imap_utf7_bad_ascii() tests:
  All other characters (octet values 0x00-0x1f and 0x7f-0xff) are
  represented in modified BASE64, ...

test_imap_utf7_non_utf16() tests that data containing a single straggling
octet is trapped.

test_imap_utf7_by_example() and test_imap_utf7_ucs4_cases() are just
the previous test suite split into 2 smaller tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-utf7 - migrate to test_assert_idx
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-str-sanitize - tighten tests
Check that the identical string is returned in the no-change case, not
just a copy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: make internal helpers static
These functions should only be called from within test_run(), as some of the
test-suite sanity checks can be subvirted if these are exposed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: quieten the random seed printfs
We only need to know the seed once.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: compile time checks for buffer creation
Ensure the data buffer has as much space as the size parameter claims.
This uses the strictest test GCC provides - the smallest containing object,
and returning 0 for unknown size.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - start sentry checks immediately after the reserved buffer
Our sentries are written with byte-precision, no need to round up before
doing the checks.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add DEBUG size and sentry updating to t_try_realloc
Without this, t_pop() will report errors.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-data-stack - add realloc tests
These will fail noisily with a DEBUG build until the realloc/DEBUG
bug is fixed.

lib: data-stack - fix incorrect pointer comparison in t_try_realloc in DEBUG builds
When trying to work out if it's a valid realloc, we need to remember
that in DEBUG builds, we have hidden a size value (in a MEM_ALIGNED
space) before the pointer we return.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - fix realloc/lowwater bug
If DEBUG is enabled, then it can try to look past the low-water mark
as the low-water mark wasn't moved during successful reallocs. This
condition is detected, and causes a panic.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - t_try_realloc get alloc size right in DEBUG builds
Also introduce a helper variable for the common expression for readability.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - helper for last alloc ends at block.data+(size-left)
Less to read, and less noisy.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - add vital sanity-preserving assert to t_pop
If something has re-ordered those two offsets, the following memset
will explode.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - pull common code out of if/else branches in t_malloc_real
Once the new block is set up nicely empty for use, it can be used exactly
like an old block that has enough space - so just merge the code paths.
(This changeset best viewed ignoring whitespace.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>