decode more data before triggering error

fixes #874 :
when a frame is not properly terminated by a "last block" signal,
zstd -d used to detect it immediately and error out.
This version will decode and flush the last block, and only then issue an error.

zstdmt : reduced maximum nb of threads

to avoid memory address space issues on 32-bits systems
(see https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=876416#17)

Merge pull request #863 from facebook/newFormats

magicless frames (#591)

Merge pull request #872 from terrelln/fuzz-minor

[fuzz] Small changes for oss-fuzz integration

[fuzz] Small changes for oss-fuzz integration

Merge branch 'dev' into newFormats

Fixed conflicts in zstdmt_compress.c

Merge pull request #869 from terrelln/dev

[libzstd] pthread function prefixed with ZSTD_

Merge pull request #866 from facebook/list

improved --list display

Merge pull request #871 from terrelln/opt

[libzstd][opt] Simplify repcode logic

[libzstd][opt] Simplify repcode logic

Merge pull request #870 from facebook/cpptest

Change c++ test to use CXX and CXXFLAGS environment variables

removed ZSTD_decompressBegin() from ZSTD_initDCtx_internal()

It does not feel "right" from a dependency perspective.
ZSTD_initDCtx_internal() is triggered once, on DCtx creation,
while ZSTD_decompressBegin() is invoked at the beginning of each new frame,
and is also a user-facing prototype.

Downside : a DCtx must be init before first usage !
This was always the intention by the way, and is documented as such.
This stage is automatically done within ZSTD_decompress() and variants,
and also within ZSTD_decompressStream().
Only ZSTD_decompressContinue() is impacted,
it must be preceded by a ZSTD_decompressBegin(), as detailed in doc.

A test has been fixed, to no longer rely on undocumented assumption that ZSTD_decompressBegin() is invoked during init.

switched name to cxxtest

fixed ZSTD_format_e value validation

Change c++ test to use CXX and CXXFLAGS environment variables

Fix OS-X warning on compiling .c files with clang++
Also changed test name from gpptest to cpptest, since it's no longer g++ specific

[libzstd] pthread function prefixed with ZSTD_

* `sed -i 's/pthread_/ZSTD_pthread_/g' lib/{,common,compress,decompress,dictBuilder}/*.[hc]`
* Fix up `lib/common/threading.[hc]`
* `sed -i s/PTHREAD_MUTEX_LOCK/ZSTD_PTHREAD_MUTEX_LOCK/g lib/compress/zstdmt_compress.c`

updated ZSTD_format_e value validation

also updated manual

changed error code when pos<=size condition is not respected

Now pointing towards src_size or dst_size,
instead of error_GENERIC.

removed unsupported formats

fixed zstreamtest decoding error

same error (wrong output buffer size) was present
on --mt and --new_api tests.

fixed a bug in zstreamtest

decoder output buffer would receive a wrong size.

In previous version, ZSTD_decompressStream() would blindly trust the caller that pos <= size.
In this version, this condition is actively checked,
and the function returns an error code if this condition is not respected.

This check could also be done with an assert(),
but since this is a user-facing interface, it seems better to keep this check at runtime.

fixed DCtx initialization error

now relying on initialization of dctx->format first

silence minor gcc warning -Wempty-body

also silence fuzz test artefacts

Merge pull request #864 from terrelln/long

Increase maximum window size

switch assert() position

created ZSTD_startingInputLength()

as suggested by @terrelln

minor fixes following @terrelln comments

Merge pull request #867 from terrelln/fast-fuzz

[fuzz] Speed up round trip tests

fixed constant errors for gcc in c99 mode

C standard does not consider a `static const int` as a constant.
This is a problem for initializer, and ZSTD_STATIC_ASSERT().
Replaced by macro values

Merge branch 'dev' into newFormats

[fuzz] Speed up round trip tests

* Enforce smaller maximum values for parameters
* Adjust parameters to the source size

The memory usage is reduced by about 5x, which makes the fuzzers run at
least twice as fast, even more so with ASAN/MSAN enabled.

Increase maximum window size

* Maximum window size in 32-bit mode is 1GB, since allocations for 2GB fail
  on my Mac.
* Maximum window size in 64-bit mode is 2GB, since that is the largest
  power of 2 that works with the overflow prevention.
* Allow `--long=windowLog` to set the window log, along with
  `--zstd=wlog=#`. These options also set the window size during
  decompression, but don't override `--memory=#` if it is set.
* Present a helpful error message when the window size is too large during
  decompression.
* The long range matcher defaults to a hash log 7 less than the window log,
  which keeps it at 20 for window log 27.
* Keep the default long range matcher window size and the default maximum
  window size at 27 for the API and CLI.
* Add tests that use the maximum window size and hash size for compression
  and decompression.

fixed minor conversion warnings for g++ on Linux

U64 is not considered equivalent to unsigned long long

write summary for --list on multiple files

Merge pull request #861 from terrelln/zip

[fuzz][CI] Set up regression tests

Merge pull request #862 from terrelln/static

[zstd] Backport kernel patch from @ColinIanKing

added ZSTD_DCtx_reset()

Merge pull request #855 from terrelln/maxoff

[libzstd] Increase MaxOff

[zstd] Backport kernel patch from @ColinIanKing

* Make the U32 table in `FSE_normalizeCount()` static.
* Patch from https://lkml.kernel.org/r/20170922145946.14316-1-colin.king@canonical.com.
* Clang makes non-static tables static anyways. gcc however, does [weird things](https://godbolt.org/g/fvTcED).
* Benchmarks showed no difference in speed.

added ZSTD_decompress_generic_simpleArgs()

added ZSTD_decompress_generic()

same as ZSTD_decompressStream(),
just for a similar feeling as the compression side, which uses ZSTD_compress_generic()

[fuzz] Determine flags based on compiler version

[fuzz][CI] Add regression tests to the CI

[fuzz] Mention the corpora in the README

[fuzz] Add regressiontest targets

introduced constant ZSTD_frameIdSize

within zstd_internal.h
This is the size of magic number.

Avoids using `4` directly in source code, which is a bit less meaningful.

implemented magic-less frame decoder

added capability to generate magic-less frames

decoder not implemented yet

[libzstd] Increase MaxOff

[fuzz] Make simple_round_trip compile cleanly

[fuzz] Fix fuzz.py env flags parsing

[fuzz] fuzz.py can minimize and zip corpora

* "minimize" minimizes the corpora into an output directory.
* "zip" zips up the minimized corpora, which are ready to deploy.

minor function rename

ZSTD_estimateCStreamSize_advanced_usingCParams -> ZSTD_estimateCStreamSize_usingCParams
_usingX is clear.
_advanced feels redundant

added prototypes for advanced parameters for decompression API

required to decode custom formats

Merge branch 'dev' into newFormats

Merge pull request #859 from terrelln/31

Prepare for ZSTD_WINDOWLOG_MAX == 31

Merge pull request #858 from facebook/controlSize

added control of frame content size at end of decompression

Prepare for ZSTD_WINDOWLOG_MAX == 31

added control from frame content size at end of decompression

adding check at end of single-pass ZSTD_decompressFrame().
Check within ZSTD_decompressContinue() was already added in a previous patch : b3f33ccfb3b4fcc73df82126fd5ecfb751268fc6

Merge branch 'dev' into newFormats

created ZSTD_format declaration

Merge pull request #850 from terrelln/fse-optimal

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #849 from terrelln/30

[bitstream] Allow adding 31 bits at a time

Merge pull request #857 from terrelln/bad-assert

Fix minor fuzz test failures

[bitstream] Allow adding 31 bits at a time

[ldm] Fix corner case where minMatch < 8

There is a potential read buffer overflow when minMatch < 8.

fix-fuzz-failure

[libzstd] Fix bad window size assert

The window size is not validated or used in the one-pass API, so there
shouldn't be an assert based on it.

fix-fuzz-failure

Merge branch 'dev' of github.com:facebook/zstd into dev

added streaming_memory_usage example

Merge pull request #853 from terrelln/blog

[zstdcli] Fix LDM advanced options parsing

Merge pull request #852 from facebook/fix851

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

[zstdcli] Fix LDM advanced options parsing

Merge branch 'dev' of github.com:facebook/zstd into dev

fix ZSTD_sizeof_CCtx() / ZSTD_sizeof_CStream()

previous result was over-estimated
by counting streaming buffers twice

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #848 from terrelln/fparams

[block] Don't use fParams in ZSTD_decompressBlock()

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

reported by @mike155

minor : added assert in bt

Merge pull request #846 from facebook/splitDict

Split dict

[block] Don't use fParams in ZSTD_decompressBlock()

add comment on using -B# to split input file for dictionary training

ensures that sampleSizes table is large enough

as recommended by @terrelln

Merge pull request #847 from terrelln/fuzzer

[fuzzer] Fuzz long range matching & new API

fixed 64-to-32 conversion warnings

fixed minor conversion warning

added ability to split input files for dictionary training

using command -B#
This is the same behavior as benchmark module,
which can also split input into arbitrary size blocks, using -B#.

minor comment refactor

[fuzzer] Fuzz long range matching & new API

Merge pull request #844 from terrelln/fuzzer

Fuzzer

[fuzzer] Fix bugs in fuzz.py

[fuzzer] Fix FUZZ_seed()

[fuzzer] Update README.md

[fuzz] Add fuzzing helper script

Add block fuzzers

[fuzzer] Handle single empty directory

Merge pull request #842 from stellamplau/decodeCorpus-maxSize

Add flag to limit max decompressed size in decodeCorpus

fixed too strong alignment assert in ZSTD_initStaticCCtx()

64-bits fields are only 32-bits aligned on 32-bits CPU

Update fuzzer Makefile

Update fuzzer sources

Fix implicit conversion error