lib: test-istream-tee - more randomisation to the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-tee - verify _read returns correct values after _set_size()
Previously, only an increase of 1 in the size was tested. This ensures that
0 and numbers > 1 are also tested.

Also add _idx to the asserts, so we know where in the loop it failed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - add simultanious limit streams back into the mix
Return to the previous complex nested stream-type case.

1 time in 10, it tests the simple case of:

test_stream \
test_stream -}- concat_stream
test_stream /
(2-11 of these)

9 times in 10, it tests this configuration instead:

test_stream \                  / limit_stream
test_stream -}- concat_stream {- limit_stream
test_stream /                  \ limit_stream
(2-11 of these)                 (1-9 of these)

Since 31efe2d04793 lib: istream-concat read() returned -2 too early., all tests
pass every time.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - test only concat, not simultanious limit streams
Test just concat functionality in this unit test. Simultanious access of
limit streams can be tested elsewhere.

Without the fix in:
  31efe2d04793 lib: istream-concat read() returned -2 too early.
The failure previously seen in test-istream-concat would be still reproducable:
test-istream-concat.c:84: Assert failed: size >= TEST_MAX_BUFFER_SIZE
istream concat random ................................................ : FAILED
test: random seed #1 was 1403118493

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Added FS_PROPERTY_COPY_METADATA and fs_set_metadata() tracking.

lib-fs: Added username and session_id to struct fs directly.

lib-fs: Added fs_settings.username and .session_id

lib-storage: Added struct mail_user.session_id

lib-http: Made sure that connections that are still connecting to the server aren't marked as idle.

lib-index: Don't update log_file_tail_offset unnecessarily.
Update it only if we're already writing to transaction log anyway or if
we're required to update the offset because mail_index_sync_commit() has
increased it past non-external transactions (this is especially important
with mdbox map index).

lib-storage: Minor code cleanup to istream-mail.
eof=TRUE shouldn't be possible with ret=-2, so this just makes it clearer
what the code's intention is.

lib: i_stream_read_copy_from_parent() needs to update access counter also when returning -2
This finishes the 467a4d19f873 fix.

virtual: Fixed assert-crashes where trying to open an already opened backend mailbox.

lib: istream-tee wasn't returning data correctly always.
This fixes an assert-crash in istream-tee.c. (Hopefully it was always
assert-crashing instead of returning corrupted data.)

lib: failures - cosmetic write_full cleanup
Error message should have a trailing newline.
Use the POSIX macro for stderr's file number, rather than its numeric value.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

config: parser - trivial error message typo
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lmtp: Small code cleanup

imap: If FETCH fails because mail has already been expunged, don't log an error.

lib-storage: Bodystructure parsing flags weren't updated correctly on error conditions.
This fixes an assert-crash sometimes when mail parsing failed.

lib-storage: istream-mail updates mail->expunged if it notices ENOENT from parent stream.

lib-storage: Log mail istream read failures in one place.
Also handle ENOENT errors by checking if the mail has already been expunged,
and if so don't log an error, just return "mail is already expunged" error
to client.

When creating istream-error, give an error string whenever possible.

lib-storage: If mail body reading failed, the error message may have contained only minimal errno string.
Even though the istream could have had a much better internal error message.
So show it.

lib-dict: Removed NFS flushing from dict-file backend.

mbox: If GUID lookup fails because mbox_min_index_size skipped indexes, say so in error message.

acl: Global ACLs now support "patterns with spaces inside quotes"

acl: Oops, ignore_acls check was reversed.

lib-compression: Compression ostreams may have caused parent ostream to use too much memory.

lib: Added o_stream_flush_parent_if_needed() for wrapper ostreams.

acl: Create struct acl_mailbox also for shared root namespace mailboxes.
This fixes crashes where imap_acl code attempts to access ACLs for
nonexistent mailboxes inside shared root namespace. Alternatively the
imap_acl plugin could have checked the nonexistence of ACLs but this is
probably easier and more guaranteed to work.

lmtp: Removed code that attempts to deduplicate mail files by copying them between user mailboxes.
This sometimes started failing if the mail that was being used for copying
was deleted by the user. There's no good way for lmtp code to fix that
situation.

If deduplication is needed, it could be implemented in a more generic way
inside mailbox_copy() where after initial copy it would store the
destination struct mail to src_mail->last_copy_dest_mail. If another mail is
copied, the last_copy_dest_mail could be attempted to be used for the
copying and if that doesn't work it would fallback to regular copying. This
should probably be attempted only for lda/lmtp processes as it would just
cause extra overhead for others.

Compile fix for old systems without SSL_OP_NO_COMPRESSION

fts-lucene: Delay initialization to fix assert-crash with mbox

openssl: optionally disable TLS compression
Make ssl compression optional, but enabled by default. Other ssl options
might be tweakable in the future, so have a single ssl_options string,
and explode it into individual flags. (Compare postfix configuration.)
Based on an idea by Andreas Schulze <sca@andreasschulze.de>

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Added mail_namespace_is_shared_user_root() and used it where useful.
Most importantly this should fix a crash in ACL plugin where type=shared
namespace was used without any kind of per-user prefix/location (i.e. it
probably should have been a type=public namespace instead).

acl: Compile fix caused by previous change

lib-storage: Move "shared" storage name to mail-storage-private.h where it can be used.

lib-storage: Minor parsing fix to namespace types: Use strcmp() instead of strncmp().

virtual: Never keep more than specified number of physical mailboxes open.
This should make virtual mailboxes work for users who have a a ton of
mailboxes with a ton of mails. Earlier code would likely have failed either
with "Too many open files" or crashed with "Out of memory".

You can change the max number of open mailboxes with:

plugin {
  virtual_max_open_mailboxes = 64
}

The default is 64.

lib-index: Fixed error handling in mail_index_open()

lib-index: Index cache could have kept too many indexes open.
If a lot of indexes were allocated and then later on they were opened and
closed, the alloc-cache simply kept all the indexes open even after they
should have been closed.

lib: DLLIST*_REMOVE*() no longer breaks the linked list if we try to remove item that doesn't exist there.
Hopefully there wasn't any code that actually did this, but it's safer this
way anyway. Perhaps it could be even made to assert-crash if it happens.

lib-storage: mailbox_get_metadata() now opens the mailbox only if it's necessary.

virtual: Recent flags dropping wasn't working as intended.
In the old code '+' meant that \Recent flags were dropped also when the
virtual mailbox was EXAMINEd. SELECTing a mailbox always dropped \Recent
flags regardless of the '+' flag.

What should have happened (and does in new code) is that the \Recent flags
are dropped only on SELECT and only if '+' flag is set.

fts: If we detect corrupted fts expunge log, unlink it.
This avoids the same error repeating forever.

lib-imap: test-imap-url - cosmetic whitespace cleanup
Only whitespace changes. All trailing space removed, reindented:
 $ grep '[[:space:]]$' src/lib-imap/test-imap-url.c
 $ git diff -w
 $

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test-imap-url - quieten successful sub-tests
Every sub-component of a URL doesn't need its own successful log, so use the
only-print-on-error test_out_quiet() function instead. All failures are just
as explicit as before.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: test-common - add test_out_quiet() to reduce verbosity
Like test_out() but only prints anything if success is false.
This makes it quite much like test_assert(), except that it
doesn't print the code fragment, it prints a custom string.
However, it still counts as a test in the total count, unlike
test_assert*()s.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: test_imap_url didn't compare port numbers
It only compare them when they were unset, and defaulting both to 0.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Quota count tracking still was still incorrect in over-quota conditions.

lib-index: Recent idx->seq change in strmap forgot to initialize uid_lookup_seq in one place.

test-quota-util: Link to quota-util.lo instead of .o
Hopefully fixes dependency tracking to work correctly?

quota: Fixed quota_transaction_is_over() to handle "user is already over quota" case.
If size=0 we didn't return failure. This change also fixes various potential
integer overflows in the check. Added unit test for the function.

quota: Moved some functions to quota-util.c

lib: Added UINT64_SUM_OVERFLOWS()
Maybe the unit tests are kind of unnecessary since the macro is so simple,
but at least it's now a well tested simple macro :)

pop3: pop3-commands - harden integer parsers against integer overflow
In get_msgnum(), the invalid input "4772185884" (2^32*10/9) would be
parsed as being valid.

In get_size(), the invalid input "204963823041217240178" (2^64*10/9)
would be parsed as being valid.

We have helpers now, so use them.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - add permissive str_parse_uint() helper
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: uri-util - hardern uri_parse_dec_octet() against overflow
Invalid input 284 (2^8*10/9) is incorrectly parsed as valid.
28 * 10 + 4 = 284 == 28 (mod 2^8), so the wrap detection fails.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: test-http-url - add some tricky invalid numeric hostname URLs
Try to get the numeric octet parser to fail. The RFCs specify that we should
fall back onto parsing them as domain names instead, and hence the unexpected
legitimacy of out-of-range numbers.

NOTE: This causes make check to report the following error:
http url valid [11]: http_url_parse(http://127.0.0.284/this/also/reverts/to/DNS)  : ok
test-http-url.c:328: Assert failed: urlp->have_host_ip == urlt->have_host_ip
http url valid [11] .................................................. : FAILED

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: uri-util - harden uri_parse_port against overflow
The invalid input 72817 (2^16*10/9) is parsed as a valid value.
7281 * 10 + 7 = 72817 == 7281 (mod 2^16), so the prev check fails.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: test-http-url - make port number test cases harder
Exploit common parser weakeneses - out by one, and overflow detection failure.

NOTE: causes make check to fail with the following error:
http url invalid [13]: parse http://example.com:72817/index.html ..... : FAILED
http url invalid [13] ................................................ : FAILED

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: harden read_uoff_t() against overflow
Invalid strings like "20496382304121724029" (2^64*10/9) can be parsed
as valid. Use the new helper.

Change in error behaviour - previously overflows, if they were detected,
caused *p to point to the digit causing the overflow. Now it's undefined.
Current clients don't care about this difference, they just bail.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - add a permissive uoff_t parser
Functions like these are so cookie-cutter, we may as well use a macro.
Note that signed helpers, if they ever appear, will need more care.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-strnum - tests for the new partial-string parser
We can simplify the main tests by always testing whether an appended
non-digit causes parsing to fail at the same time that we test it doesn't
fail with the new more permissive helpers.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - add permissive partial-string integer parser
Not all strings we want to parse are already strtok'ed into separate pieces.
Therefore add helpers which will read the integer, and return a pointer
past the parsed integer.

The previous helpers can be considered a special case which just follows up
with a check that the '\0' has been reached.

Showing a preference for const pointers generally, this does not try to
mimic the non-const interface of strto{l,ul,ll,ull}().

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: number parsing simplification and hardenning
The invalid string "4772185884" (2^32*10/9) will be misparsed as being valid.
In uint32_t's, 477218588 * 10 + 4 = 477218588
Many large ranges have this issue, 477218588x-858993459x, 954437176x-...

We have helper functions - use them.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - harden str_to_uintmax against overflows
The invalid number "20496382304121724020" (2^64*10/9) will be parsed as valid.
2049638230412172402 * 10 does not noticably wrap, it becomes 2049638230412172404

Do not perform operations which might wrap, and then try to detect the issue,
just compare with the known fixed bounds before doing the multiplication.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-lib - add unit tests for str_to_*() helpers
This doesn't test all the helpers, but ensures both signed and unsigned
are tested, as are 32-bit and 64-bit cases. All the other helpers fall
back onto using one of those cases. Unless uintmax_t is larger than 64
bits, in which case this needs a revisit.

NOTE: This causes the following make check errors:
test-strnum.c:35: Assert(#7) failed: ret == u64tests[i].ret
test-strnum.c:35: Assert(#10) failed: ret == u64tests[i].ret
test-strnum.c:37: Assert(#10) failed: val == u64tests[i].val
str_to_uint64 ........................................................ : FAILED

Corresponding to test cases:
[7] = INVALID(18446744073709551616),
This does not wrap-past-0 (become smaller) on multiply, but wraps-past-0 on addition.
[10]= INVALID(20496382304121724020),
This wraps-past-n (becomes larger) on multiply.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-var-expand - use test_assert_idx() inside loops
It helps narrow down which test has failed.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: Updated comments to RFC7230/RFC7231.

lib-http: Fixed bug in parsing of quoted string with escape sequences.

doveadm fs delete: Added -n to usage text.

lib-http: Added http_client_request_get_target()
This can be useful in error message logging without having to duplicate the
string.

fts-tika: Hiden "Unsupported Media Type" errors. Log HTTP status code on errors.

fts-tika: Fixed crash if Tika returned 200 reply without payload.

lib-storage: Shrink "mailbox is being deleted" timeout from 5 mins to 30 secs.
Even 30s may be too much since normally a few seconds would be enough, but
keep it high enough just in case.

lib-storage: When deleting mailbox, finish the expunges before marking mailbox deleted.
This decreases the amount of time the mailbox is visible but not accessible.

lib-storage: mailbox_delete() now handled "mailbox is being deleted" explicitly.
Earlier we just treated it as \NoSelect mailbox and failed later.

lib-storage: Added index_storage_mailbox_delete_pre/post().
This avoids reimplementing the whole index_storage_mailbox_delete() for
storage backends that need to do more work in the middle.

imap: If we disconnect client because mailbox is inconsistent, send the error message before BYE.

imap: Don't disconnect due to inconsistent mailbox unless the mailbox is the selected mailbox.

imap-url: Fixed handling of ipath-empty syntax (basically empty relative URLs).
This also normalizes Mailbox/ to Mailbox.
Initial indication reported by Coverity.

auth: Added assert to make sure sysconf() returns what we expect.
userdb nss shouldn't even be used though. So this is mainly to silence
Coverity.

lib: istream-concat read() returned -2 too early.

lib: rand - force reseeding with known seed from environment
Use DOVECOT_SRAND=12345 as an environmental variable to force seeding
to that number.

The logic behind the logging is that the subsequent calls will almost
certainly be from random_fill_weak() which expects to have been seeded
from a CSPRNG - not a constant! Having this environmental variable set
in a production system that expects CSPRNG seeding should be flagging
diagnostics.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: remove unwanted srand()s from unit tests
We'll get better coverage without them.

Note: this change causes the following test case failure occasionally:
test-istream-concat.c:88: Assert failed: size >= TEST_MAX_BUFFER_SIZE
istream concat random ................................................ : FAILED
test: random seed #1 was 1403027537

(The seed may vary, obviously.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: use the new srand() tracking helpers to aid debugging
We can only be sure we know the entirity of the stream of numbers returned
by rand if rand_set_seed has been called precisely once, as after that we
can't be sure when it was called a 2nd or further time. However, at least
we can know that that has happened. (Likewise, any calls to srand() will
disturb the flow.)

Most unit test cases should be simple enough that there should be only one
seeding.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: use new srand() wrapper in lib
Of course, multiple seeding calls make it harder to know exactly
what numbers have been generated. But this is better than nothing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: add rand helper library
Initially, just wrap srand() so that we can find out what the last-used
seed was. In situations where srand() is called only once (via this helper)
this lets us reproduce exactly the same stream of random data again in
order to reproduce rare crashes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: two quite literally random little cleanups
file-dotlock.c does not use randgen.h, remove the #include
test-buffer.c random() has been used rather than rand()

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: make printf_format_fix safer against shadowed %m behaviour
If there's a %m followed by a %n or %m, then the %n or %m won't be seen.
For %m, that's mostly harmless, but for %n it's potentially kaboom.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test printf_format_fix()
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - early abort test loop on failure
No point in continuing past the first failure.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: Enable looped tests to abort early on first failure
Give them the ability to query the current failure state.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lmtp: Reduce corking so we get command replies more quickly even if they are pipelined.
This may help avoid some LMTP client timeouts.

lmtp proxy: Make sure DATA stream size doesn't change unexpectedly.

lib-lda: If DATA input stream read fails, return error instead of truncating the mail.

lib: Moved rawlog dir stat()s to iostream_rawlog_create() internally.
This is required to allow TCP rawlogs to actually work.

lib: iostream-rawlog now supports TCP target with "tcp:host:port" as the path.
We'll use blocking sockets, so a slow rawlog server causes performance
problems also for Dovecot while it's waiting on rawlog writes.

lib-storage: BODYSTRUCTURE parsing failures weren't treated correctly.
We still assumed that the parsing succeeded and assert-crashed later or
maybe returned invalid results. (This could have happened only if there was
a problem reading the mail stream.)