[libzstd] Set CLEVEL_CUSTOM correctly

In `ZSTD_compressBegin_advanced()`, `ZSTD_parameters` are used to set the
compression parameters, but the level didn't get set to `CLEVEL_CUSTOM`, so
`ZSTD_compressBlock()` used the wrong parameters when checking the source
size.

interruption handler and variable are static

/contrib: fixed license header

removed last reference to PATENTS file

removed the statement for all versions of Visual Studio

same error in Visual Studio 2012 ...

The issue also impacts Visual Studio 2010

added (void)sig to avoid compilers complaining that sig is not used.

conditionnally removed invocation that generates a buggy warning with Visual Studio 2008

Merge branch 'dev' of github.com:facebook/zstd into dev

blindfix for Visual : minor casting issue

should not happen since SIGIGN is provided by <signal.h>,
so it should work "ouf of the box"

Merge pull request #877 from facebook/compressBound

added ZSTD_COMPRESSBOUND() as a macro

cli: add Ctrl-C support, requested by @mike155 in #854

Now, pressing Ctrl-C during compression or decompression
will erase operation artefact (unfinished destination file)
before leaving execution.

added comment on ZSTD_COMPRESSBOUND()

as requested by @terrelln

Merge branch 'dev' into compressBound

macro compatible with scenario where windowSize = 1024 (minimum)

ZSTD_adjustCParams_internal : minor optimization

Merge pull request #878 from terrelln/adjust

Don't `size -= 1` in ZSTD_adjustCParams()

Don't `size -= 1` in ZSTD_adjustCParams()

The window size could end up too small if the source size is 2^n + 1.

Credit to OSS-Fuzz

fix proper naming on FSE_createCTable() arguments in fse.h

added ZSTD_COMPRESSBOUND() as a macro

ZSTD_compressBound() works fine, but is only useful for dynamic allocation.
For static allocation, only a macro can provide the amount during compilation time.

Merge pull request #860 from felixhandte/zstd-lz4-support-tests

Add Default LZ4 Support When Available

Merge pull request #875 from facebook/zstdcat

decode more data before triggering error

Merge pull request #873 from facebook/shorterTests

Leaner tests

erase existence of a buffer when it's sent out of the pool

In some complex scenario,
the buffer would be freed because it's too large,
another buffer would be allocated, but fail,
trigger an error,
and the general buffer pool would then be freed,
where the definition of the already freed buffer would be found
(beyond total index, but still), and freed again, resulting in double-free error.

decode more data before triggering error

fixes #874 :
when a frame is not properly terminated by a "last block" signal,
zstd -d used to detect it immediately and error out.
This version will decode and flush the last block, and only then issue an error.

zstdmt : fixed : buffer dst0 wasn't properly set to null after usage

now it's possible to unconditionnally invoke ZSTD_releaseAllJobRessources()
wether previous compression was completed correctly or not.

removed ZSTDMT_waitForAllJobsCompleted() from ZSTDMT_freeCCtx()

as per @terrelln comment

make test : removed zstreamtest unit tests for variants

slightly reduced time to create dictionary
at beginning of unit tests

zstreamtest : run unit tests only during "normal" session

not during --mt, --newapi and --opaque
this avoids running them 4x during `make test`

adjustCParams : restored previous behavior

unknowns srcSize presumed small if there is a dictionary (dictSize>0)
and presumed large otherwise.

Update documentation to reflect other format support

Add CLI Program Name Detection for LZ4

Add basic tests for the lz4 integration

zstdmt : reduced maximum nb of threads

to avoid memory address space issues on 32-bits systems
(see https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=876416#17)

Merge branch 'dev' into shorterTests

fixed conflicts

zstreamtest --newapi : reduced maximum allocated memory

zstdmt : move on when not enough memory for a new input buffer

just continue operations without input forward progress,
instead of an error that stops current compression session.

fixed minor Visual conversion warning

zstdmt : better behavior when freeing a context right after a memory allocation error

wait for all jobs to be completed, so that freeing can happen safely

minor : rewrite unit tests using CHECK_Z macro

fixed maximum windowLog for zstreamtest --newapi

for compatibility with low memory VM

ensure adjustCParams adjust hLog and cLog even without srcSize

It would previously exit when srcSize is unknown.
But in the case of custom parameters,
hLog and cLog can still be too large in comparison with windowLog.

Reduces maximum memory allocated during zstreamtest --newapi

Merge pull request #863 from facebook/newFormats

magicless frames (#591)

Merge pull request #872 from terrelln/fuzz-minor

[fuzz] Small changes for oss-fuzz integration

[fuzz] Small changes for oss-fuzz integration

reduced memory usage of zstreamtest --newapi

to run on memory-constrained VM

reduced zstreamtest --mt memory load

adjust compression level, hence memory usage, depending on nb threads
in order to run correctly on memory-starved VM.

Merge branch 'dev' into newFormats

Fixed conflicts in zstdmt_compress.c

Merge pull request #869 from terrelln/dev

[libzstd] pthread function prefixed with ZSTD_

Merge pull request #866 from facebook/list

improved --list display

Merge pull request #871 from terrelln/opt

[libzstd][opt] Simplify repcode logic

separated --long tests between short and long tests

A fast subset of these tests is now played in short test mode

reduced memory requirements for --long tests

in new --long test section

[libzstd][opt] Simplify repcode logic

improved make clean in tests/fuzz

shorter make test to avoid time out on travis CI

Timed tests (fuzzer) are reduced
Long tests are shortened (less data generated)

Merge pull request #870 from facebook/cpptest

Change c++ test to use CXX and CXXFLAGS environment variables

removed ZSTD_decompressBegin() from ZSTD_initDCtx_internal()

It does not feel "right" from a dependency perspective.
ZSTD_initDCtx_internal() is triggered once, on DCtx creation,
while ZSTD_decompressBegin() is invoked at the beginning of each new frame,
and is also a user-facing prototype.

Downside : a DCtx must be init before first usage !
This was always the intention by the way, and is documented as such.
This stage is automatically done within ZSTD_decompress() and variants,
and also within ZSTD_decompressStream().
Only ZSTD_decompressContinue() is impacted,
it must be preceded by a ZSTD_decompressBegin(), as detailed in doc.

A test has been fixed, to no longer rely on undocumented assumption that ZSTD_decompressBegin() is invoked during init.

switched name to cxxtest

fixed ZSTD_format_e value validation

Change c++ test to use CXX and CXXFLAGS environment variables

Fix OS-X warning on compiling .c files with clang++
Also changed test name from gpptest to cpptest, since it's no longer g++ specific

[libzstd] pthread function prefixed with ZSTD_

* `sed -i 's/pthread_/ZSTD_pthread_/g' lib/{,common,compress,decompress,dictBuilder}/*.[hc]`
* Fix up `lib/common/threading.[hc]`
* `sed -i s/PTHREAD_MUTEX_LOCK/ZSTD_PTHREAD_MUTEX_LOCK/g lib/compress/zstdmt_compress.c`

updated ZSTD_format_e value validation

also updated manual

changed error code when pos<=size condition is not respected

Now pointing towards src_size or dst_size,
instead of error_GENERIC.

removed unsupported formats

fixed zstreamtest decoding error

same error (wrong output buffer size) was present
on --mt and --new_api tests.

fixed a bug in zstreamtest

decoder output buffer would receive a wrong size.

In previous version, ZSTD_decompressStream() would blindly trust the caller that pos <= size.
In this version, this condition is actively checked,
and the function returns an error code if this condition is not respected.

This check could also be done with an assert(),
but since this is a user-facing interface, it seems better to keep this check at runtime.

fixed DCtx initialization error

now relying on initialization of dctx->format first

silence minor gcc warning -Wempty-body

also silence fuzz test artefacts

Merge pull request #864 from terrelln/long

Increase maximum window size

switch assert() position

created ZSTD_startingInputLength()

as suggested by @terrelln

minor fixes following @terrelln comments

Merge pull request #867 from terrelln/fast-fuzz

[fuzz] Speed up round trip tests

fixed constant errors for gcc in c99 mode

C standard does not consider a `static const int` as a constant.
This is a problem for initializer, and ZSTD_STATIC_ASSERT().
Replaced by macro values

Merge branch 'dev' into newFormats

[fuzz] Speed up round trip tests

* Enforce smaller maximum values for parameters
* Adjust parameters to the source size

The memory usage is reduced by about 5x, which makes the fuzzers run at
least twice as fast, even more so with ASAN/MSAN enabled.

Increase maximum window size

* Maximum window size in 32-bit mode is 1GB, since allocations for 2GB fail
  on my Mac.
* Maximum window size in 64-bit mode is 2GB, since that is the largest
  power of 2 that works with the overflow prevention.
* Allow `--long=windowLog` to set the window log, along with
  `--zstd=wlog=#`. These options also set the window size during
  decompression, but don't override `--memory=#` if it is set.
* Present a helpful error message when the window size is too large during
  decompression.
* The long range matcher defaults to a hash log 7 less than the window log,
  which keeps it at 20 for window log 27.
* Keep the default long range matcher window size and the default maximum
  window size at 27 for the API and CLI.
* Add tests that use the maximum window size and hash size for compression
  and decompression.

fixed minor conversion warnings for g++ on Linux

U64 is not considered equivalent to unsigned long long

write summary for --list on multiple files

Merge pull request #861 from terrelln/zip

[fuzz][CI] Set up regression tests

Merge pull request #862 from terrelln/static

[zstd] Backport kernel patch from @ColinIanKing

added ZSTD_DCtx_reset()

Merge pull request #855 from terrelln/maxoff

[libzstd] Increase MaxOff

[zstd] Backport kernel patch from @ColinIanKing

* Make the U32 table in `FSE_normalizeCount()` static.
* Patch from https://lkml.kernel.org/r/20170922145946.14316-1-colin.king@canonical.com.
* Clang makes non-static tables static anyways. gcc however, does [weird things](https://godbolt.org/g/fvTcED).
* Benchmarks showed no difference in speed.

added ZSTD_decompress_generic_simpleArgs()

added ZSTD_decompress_generic()

same as ZSTD_decompressStream(),
just for a similar feeling as the compression side, which uses ZSTD_compress_generic()

[fuzz] Determine flags based on compiler version

[fuzz][CI] Add regression tests to the CI

[fuzz] Mention the corpora in the README

[fuzz] Add regressiontest targets

introduced constant ZSTD_frameIdSize

within zstd_internal.h
This is the size of magic number.

Avoids using `4` directly in source code, which is a bit less meaningful.

implemented magic-less frame decoder

added capability to generate magic-less frames

decoder not implemented yet

[libzstd] Increase MaxOff

[fuzz] Make simple_round_trip compile cleanly

[fuzz] Fix fuzz.py env flags parsing

[fuzz] fuzz.py can minimize and zip corpora

* "minimize" minimizes the corpora into an output directory.
* "zip" zips up the minimized corpora, which are ready to deploy.

minor function rename

ZSTD_estimateCStreamSize_advanced_usingCParams -> ZSTD_estimateCStreamSize_usingCParams
_usingX is clear.
_advanced feels redundant

added prototypes for advanced parameters for decompression API

required to decode custom formats