erase existence of a buffer when it's sent out of the pool

In some complex scenario,
the buffer would be freed because it's too large,
another buffer would be allocated, but fail,
trigger an error,
and the general buffer pool would then be freed,
where the definition of the already freed buffer would be found
(beyond total index, but still), and freed again, resulting in double-free error.

zstdmt : fixed : buffer dst0 wasn't properly set to null after usage

now it's possible to unconditionnally invoke ZSTD_releaseAllJobRessources()
wether previous compression was completed correctly or not.

removed ZSTDMT_waitForAllJobsCompleted() from ZSTDMT_freeCCtx()

as per @terrelln comment

make test : removed zstreamtest unit tests for variants

slightly reduced time to create dictionary
at beginning of unit tests

zstreamtest : run unit tests only during "normal" session

not during --mt, --newapi and --opaque
this avoids running them 4x during `make test`

adjustCParams : restored previous behavior

unknowns srcSize presumed small if there is a dictionary (dictSize>0)
and presumed large otherwise.

Merge branch 'dev' into shorterTests

fixed conflicts

zstreamtest --newapi : reduced maximum allocated memory

zstdmt : move on when not enough memory for a new input buffer

just continue operations without input forward progress,
instead of an error that stops current compression session.

fixed minor Visual conversion warning

zstdmt : better behavior when freeing a context right after a memory allocation error

wait for all jobs to be completed, so that freeing can happen safely

minor : rewrite unit tests using CHECK_Z macro

fixed maximum windowLog for zstreamtest --newapi

for compatibility with low memory VM

ensure adjustCParams adjust hLog and cLog even without srcSize

It would previously exit when srcSize is unknown.
But in the case of custom parameters,
hLog and cLog can still be too large in comparison with windowLog.

Reduces maximum memory allocated during zstreamtest --newapi

Merge pull request #863 from facebook/newFormats

magicless frames (#591)

Merge pull request #872 from terrelln/fuzz-minor

[fuzz] Small changes for oss-fuzz integration

[fuzz] Small changes for oss-fuzz integration

reduced memory usage of zstreamtest --newapi

to run on memory-constrained VM

reduced zstreamtest --mt memory load

adjust compression level, hence memory usage, depending on nb threads
in order to run correctly on memory-starved VM.

Merge branch 'dev' into newFormats

Fixed conflicts in zstdmt_compress.c

Merge pull request #869 from terrelln/dev

[libzstd] pthread function prefixed with ZSTD_

Merge pull request #866 from facebook/list

improved --list display

Merge pull request #871 from terrelln/opt

[libzstd][opt] Simplify repcode logic

separated --long tests between short and long tests

A fast subset of these tests is now played in short test mode

reduced memory requirements for --long tests

in new --long test section

[libzstd][opt] Simplify repcode logic

improved make clean in tests/fuzz

shorter make test to avoid time out on travis CI

Timed tests (fuzzer) are reduced
Long tests are shortened (less data generated)

Merge pull request #870 from facebook/cpptest

Change c++ test to use CXX and CXXFLAGS environment variables

removed ZSTD_decompressBegin() from ZSTD_initDCtx_internal()

It does not feel "right" from a dependency perspective.
ZSTD_initDCtx_internal() is triggered once, on DCtx creation,
while ZSTD_decompressBegin() is invoked at the beginning of each new frame,
and is also a user-facing prototype.

Downside : a DCtx must be init before first usage !
This was always the intention by the way, and is documented as such.
This stage is automatically done within ZSTD_decompress() and variants,
and also within ZSTD_decompressStream().
Only ZSTD_decompressContinue() is impacted,
it must be preceded by a ZSTD_decompressBegin(), as detailed in doc.

A test has been fixed, to no longer rely on undocumented assumption that ZSTD_decompressBegin() is invoked during init.

switched name to cxxtest

fixed ZSTD_format_e value validation

Change c++ test to use CXX and CXXFLAGS environment variables

Fix OS-X warning on compiling .c files with clang++
Also changed test name from gpptest to cpptest, since it's no longer g++ specific

[libzstd] pthread function prefixed with ZSTD_

* `sed -i 's/pthread_/ZSTD_pthread_/g' lib/{,common,compress,decompress,dictBuilder}/*.[hc]`
* Fix up `lib/common/threading.[hc]`
* `sed -i s/PTHREAD_MUTEX_LOCK/ZSTD_PTHREAD_MUTEX_LOCK/g lib/compress/zstdmt_compress.c`

updated ZSTD_format_e value validation

also updated manual

changed error code when pos<=size condition is not respected

Now pointing towards src_size or dst_size,
instead of error_GENERIC.

removed unsupported formats

fixed zstreamtest decoding error

same error (wrong output buffer size) was present
on --mt and --new_api tests.

fixed a bug in zstreamtest

decoder output buffer would receive a wrong size.

In previous version, ZSTD_decompressStream() would blindly trust the caller that pos <= size.
In this version, this condition is actively checked,
and the function returns an error code if this condition is not respected.

This check could also be done with an assert(),
but since this is a user-facing interface, it seems better to keep this check at runtime.

fixed DCtx initialization error

now relying on initialization of dctx->format first

silence minor gcc warning -Wempty-body

also silence fuzz test artefacts

Merge pull request #864 from terrelln/long

Increase maximum window size

switch assert() position

created ZSTD_startingInputLength()

as suggested by @terrelln

minor fixes following @terrelln comments

Merge pull request #867 from terrelln/fast-fuzz

[fuzz] Speed up round trip tests

fixed constant errors for gcc in c99 mode

C standard does not consider a `static const int` as a constant.
This is a problem for initializer, and ZSTD_STATIC_ASSERT().
Replaced by macro values

Merge branch 'dev' into newFormats

[fuzz] Speed up round trip tests

* Enforce smaller maximum values for parameters
* Adjust parameters to the source size

The memory usage is reduced by about 5x, which makes the fuzzers run at
least twice as fast, even more so with ASAN/MSAN enabled.

Increase maximum window size

* Maximum window size in 32-bit mode is 1GB, since allocations for 2GB fail
  on my Mac.
* Maximum window size in 64-bit mode is 2GB, since that is the largest
  power of 2 that works with the overflow prevention.
* Allow `--long=windowLog` to set the window log, along with
  `--zstd=wlog=#`. These options also set the window size during
  decompression, but don't override `--memory=#` if it is set.
* Present a helpful error message when the window size is too large during
  decompression.
* The long range matcher defaults to a hash log 7 less than the window log,
  which keeps it at 20 for window log 27.
* Keep the default long range matcher window size and the default maximum
  window size at 27 for the API and CLI.
* Add tests that use the maximum window size and hash size for compression
  and decompression.

fixed minor conversion warnings for g++ on Linux

U64 is not considered equivalent to unsigned long long

write summary for --list on multiple files

Merge pull request #861 from terrelln/zip

[fuzz][CI] Set up regression tests

Merge pull request #862 from terrelln/static

[zstd] Backport kernel patch from @ColinIanKing

added ZSTD_DCtx_reset()

Merge pull request #855 from terrelln/maxoff

[libzstd] Increase MaxOff

[zstd] Backport kernel patch from @ColinIanKing

* Make the U32 table in `FSE_normalizeCount()` static.
* Patch from https://lkml.kernel.org/r/20170922145946.14316-1-colin.king@canonical.com.
* Clang makes non-static tables static anyways. gcc however, does [weird things](https://godbolt.org/g/fvTcED).
* Benchmarks showed no difference in speed.

added ZSTD_decompress_generic_simpleArgs()

added ZSTD_decompress_generic()

same as ZSTD_decompressStream(),
just for a similar feeling as the compression side, which uses ZSTD_compress_generic()

[fuzz] Determine flags based on compiler version

[fuzz][CI] Add regression tests to the CI

[fuzz] Mention the corpora in the README

[fuzz] Add regressiontest targets

introduced constant ZSTD_frameIdSize

within zstd_internal.h
This is the size of magic number.

Avoids using `4` directly in source code, which is a bit less meaningful.

implemented magic-less frame decoder

added capability to generate magic-less frames

decoder not implemented yet

[libzstd] Increase MaxOff

[fuzz] Make simple_round_trip compile cleanly

[fuzz] Fix fuzz.py env flags parsing

[fuzz] fuzz.py can minimize and zip corpora

* "minimize" minimizes the corpora into an output directory.
* "zip" zips up the minimized corpora, which are ready to deploy.

minor function rename

ZSTD_estimateCStreamSize_advanced_usingCParams -> ZSTD_estimateCStreamSize_usingCParams
_usingX is clear.
_advanced feels redundant

added prototypes for advanced parameters for decompression API

required to decode custom formats

Merge branch 'dev' into newFormats

Merge pull request #859 from terrelln/31

Prepare for ZSTD_WINDOWLOG_MAX == 31

Merge pull request #858 from facebook/controlSize

added control of frame content size at end of decompression

Prepare for ZSTD_WINDOWLOG_MAX == 31

added control from frame content size at end of decompression

adding check at end of single-pass ZSTD_decompressFrame().
Check within ZSTD_decompressContinue() was already added in a previous patch : b3f33ccfb3b4fcc73df82126fd5ecfb751268fc6

Merge branch 'dev' into newFormats

created ZSTD_format declaration

Merge pull request #850 from terrelln/fse-optimal

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #849 from terrelln/30

[bitstream] Allow adding 31 bits at a time

Merge pull request #857 from terrelln/bad-assert

Fix minor fuzz test failures

[bitstream] Allow adding 31 bits at a time

[ldm] Fix corner case where minMatch < 8

There is a potential read buffer overflow when minMatch < 8.

fix-fuzz-failure

[libzstd] Fix bad window size assert

The window size is not validated or used in the one-pass API, so there
shouldn't be an assert based on it.

fix-fuzz-failure

Merge branch 'dev' of github.com:facebook/zstd into dev

added streaming_memory_usage example

Merge pull request #853 from terrelln/blog

[zstdcli] Fix LDM advanced options parsing

Merge pull request #852 from facebook/fix851

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

[zstdcli] Fix LDM advanced options parsing

Merge branch 'dev' of github.com:facebook/zstd into dev

fix ZSTD_sizeof_CCtx() / ZSTD_sizeof_CStream()

previous result was over-estimated
by counting streaming buffers twice

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #848 from terrelln/fparams

[block] Don't use fParams in ZSTD_decompressBlock()

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

reported by @mike155

minor : added assert in bt

Merge pull request #846 from facebook/splitDict

Split dict

[block] Don't use fParams in ZSTD_decompressBlock()

add comment on using -B# to split input file for dictionary training

ensures that sampleSizes table is large enough

as recommended by @terrelln