Don't allow default tables to repeat

It isn't useful in any case to repeat default tables.
Saves a few bytes on Silesia, since we don't trigger the dictionary
heuristic.

Before: 211988480 => 73651998 bytes
After:  211988480 => 73651721 bytes

Merge pull request #889 from terrelln/bug-fix

Fix invalid use of dictionary offcode table

Add DEBUGLOG() that prints FSE encoding types

Fix invalid use of dictionary offcode table

Fixes #888.

Merge branch 'dev' of github.com:facebook/zstd into dev

minor code formatting

added a trace during sequence encoding

Merge pull request #885 from terrelln/dev

[doc] Add images for release notes

[doc] Add images for release notes

fixed a small error in decodeCorpus

a compressed block must be strictly smaller than its decompressed size.

playtests: do not use cat on large files

some target have limitation making cat incompatible with large files
(namely debian hurd-i386)

Merge pull request #882 from terrelln/list

[zstdcli] Add window size to verbose list

[zstdcli] Add window size to verbose list

```
> zstd --list -v file1 file2 file3
*** zstd command line interface 64-bits v1.3.2, by Yann Collet ***
Window Size: 512.00 KB (524288 B)
Compressed Size: 0.02 KB (19 B)
Check: XXH64

Window Size: 8192.00 KB (8388608 B)
Compressed Size: 0.02 KB (19 B)
Check: XXH64

Window Size: 512.00 KB (524288 B)
Compressed Size: 0.01 KB (15 B)
Check: None

```

Merge pull request #881 from terrelln/dev

Ensure dictionary Huff table can encode any symbol

Ensure dictionary Huff table can encode any symbol

* Ensure that the dictionary Huffman CTable has maxSymbolValue 255.
* Fix a stack buffer overflow during compression dictionary loading.

fixed minor conversion warnings for printf

in debug mode

Merge branch 'dev' of github.com:facebook/zstd into dev

Merge branch 'srcSize' into dev

bumped version number

and updated NEWS in anticipation for release

Merge pull request #876 from facebook/srcSize

CLI Fix : srcSize written in frame headers when compressing multiple files

Merge pull request #879 from terrelln/block-size

[libzstd] Set CLEVEL_CUSTOM correctly

[libzstd] Set CLEVEL_CUSTOM correctly

In `ZSTD_compressBegin_advanced()`, `ZSTD_parameters` are used to set the
compression parameters, but the level didn't get set to `CLEVEL_CUSTOM`, so
`ZSTD_compressBlock()` used the wrong parameters when checking the source
size.

removed isRegularFile parameter

no longer useful : size of src is determined for each file.

interruption handler and variable are static

/contrib: fixed license header

removed last reference to PATENTS file

removed the statement for all versions of Visual Studio

same error in Visual Studio 2012 ...

The issue also impacts Visual Studio 2010

added (void)sig to avoid compilers complaining that sig is not used.

conditionnally removed invocation that generates a buggy warning with Visual Studio 2008

Merge branch 'dev' of github.com:facebook/zstd into dev

blindfix for Visual : minor casting issue

should not happen since SIGIGN is provided by <signal.h>,
so it should work "ouf of the box"

Merge pull request #877 from facebook/compressBound

added ZSTD_COMPRESSBOUND() as a macro

cli: add Ctrl-C support, requested by @mike155 in #854

Now, pressing Ctrl-C during compression or decompression
will erase operation artefact (unfinished destination file)
before leaving execution.

added comment on ZSTD_COMPRESSBOUND()

as requested by @terrelln

Merge branch 'dev' into compressBound

macro compatible with scenario where windowSize = 1024 (minimum)

ZSTD_adjustCParams_internal : minor optimization

Merge pull request #878 from terrelln/adjust

Don't `size -= 1` in ZSTD_adjustCParams()

Don't `size -= 1` in ZSTD_adjustCParams()

The window size could end up too small if the source size is 2^n + 1.

Credit to OSS-Fuzz

fix proper naming on FSE_createCTable() arguments in fse.h

added ZSTD_COMPRESSBOUND() as a macro

ZSTD_compressBound() works fine, but is only useful for dynamic allocation.
For static allocation, only a macro can provide the amount during compilation time.

Merge pull request #860 from felixhandte/zstd-lz4-support-tests

Add Default LZ4 Support When Available

cli: fixed wrong initialization in MT mode

It's not good to mix old and new API
ZSTD_resetCStream() doesn't just set pledgedSrcSize :
it also sets the CCtx for a single thread compression.

Problem is, when 2+ threads are defined in cctx->requestedParams,
ZSTD_compress_generic() will want to start MT compression,
since initialization is supposed to have already happened (thanks to ZSTD_resetCStream())
except that the underlying ZSTDMT_CCtx* object is not created,
resulting in a segfault.

This is an invalid construction
(correct one is to use ZSTD_CCtx_setPledgedSrcSize()).
I haven't found a nice way to mitigate this impact if someone makes the same mistake.

At some point, removing the old API to keep only the new API within fileio.c will limit these risks.

Merge pull request #875 from facebook/zstdcat

decode more data before triggering error

minor fix : no longer use fake srcSize during resource creation

srcSize is read and provided at each file, not at resource creation.
This used to be useful with older API, because it could not re-adapt parameters between sessions.

At some point, it will be better to remove the old code, and only keep the new_api.
It works fine by now.

fix : srcSize written in frame header when multiple files compressed

This information used to be disabled when nbFiles>1.
It was badly initialized later in the code, resulting in an error.

Merge pull request #873 from facebook/shorterTests

Leaner tests

erase existence of a buffer when it's sent out of the pool

In some complex scenario,
the buffer would be freed because it's too large,
another buffer would be allocated, but fail,
trigger an error,
and the general buffer pool would then be freed,
where the definition of the already freed buffer would be found
(beyond total index, but still), and freed again, resulting in double-free error.

decode more data before triggering error

fixes #874 :
when a frame is not properly terminated by a "last block" signal,
zstd -d used to detect it immediately and error out.
This version will decode and flush the last block, and only then issue an error.

zstdmt : fixed : buffer dst0 wasn't properly set to null after usage

now it's possible to unconditionnally invoke ZSTD_releaseAllJobRessources()
wether previous compression was completed correctly or not.

removed ZSTDMT_waitForAllJobsCompleted() from ZSTDMT_freeCCtx()

as per @terrelln comment

make test : removed zstreamtest unit tests for variants

slightly reduced time to create dictionary
at beginning of unit tests

zstreamtest : run unit tests only during "normal" session

not during --mt, --newapi and --opaque
this avoids running them 4x during `make test`

adjustCParams : restored previous behavior

unknowns srcSize presumed small if there is a dictionary (dictSize>0)
and presumed large otherwise.

Update documentation to reflect other format support

Add CLI Program Name Detection for LZ4

Add basic tests for the lz4 integration

zstdmt : reduced maximum nb of threads

to avoid memory address space issues on 32-bits systems
(see https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=876416#17)

Merge branch 'dev' into shorterTests

fixed conflicts

zstreamtest --newapi : reduced maximum allocated memory

zstdmt : move on when not enough memory for a new input buffer

just continue operations without input forward progress,
instead of an error that stops current compression session.

fixed minor Visual conversion warning

zstdmt : better behavior when freeing a context right after a memory allocation error

wait for all jobs to be completed, so that freeing can happen safely

minor : rewrite unit tests using CHECK_Z macro

fixed maximum windowLog for zstreamtest --newapi

for compatibility with low memory VM

ensure adjustCParams adjust hLog and cLog even without srcSize

It would previously exit when srcSize is unknown.
But in the case of custom parameters,
hLog and cLog can still be too large in comparison with windowLog.

Reduces maximum memory allocated during zstreamtest --newapi

Merge pull request #863 from facebook/newFormats

magicless frames (#591)

Merge pull request #872 from terrelln/fuzz-minor

[fuzz] Small changes for oss-fuzz integration

[fuzz] Small changes for oss-fuzz integration

reduced memory usage of zstreamtest --newapi

to run on memory-constrained VM

reduced zstreamtest --mt memory load

adjust compression level, hence memory usage, depending on nb threads
in order to run correctly on memory-starved VM.

Merge branch 'dev' into newFormats

Fixed conflicts in zstdmt_compress.c

Merge pull request #869 from terrelln/dev

[libzstd] pthread function prefixed with ZSTD_

Merge pull request #866 from facebook/list

improved --list display

Merge pull request #871 from terrelln/opt

[libzstd][opt] Simplify repcode logic

separated --long tests between short and long tests

A fast subset of these tests is now played in short test mode

reduced memory requirements for --long tests

in new --long test section

[libzstd][opt] Simplify repcode logic

improved make clean in tests/fuzz

shorter make test to avoid time out on travis CI

Timed tests (fuzzer) are reduced
Long tests are shortened (less data generated)

Merge pull request #870 from facebook/cpptest

Change c++ test to use CXX and CXXFLAGS environment variables

removed ZSTD_decompressBegin() from ZSTD_initDCtx_internal()

It does not feel "right" from a dependency perspective.
ZSTD_initDCtx_internal() is triggered once, on DCtx creation,
while ZSTD_decompressBegin() is invoked at the beginning of each new frame,
and is also a user-facing prototype.

Downside : a DCtx must be init before first usage !
This was always the intention by the way, and is documented as such.
This stage is automatically done within ZSTD_decompress() and variants,
and also within ZSTD_decompressStream().
Only ZSTD_decompressContinue() is impacted,
it must be preceded by a ZSTD_decompressBegin(), as detailed in doc.

A test has been fixed, to no longer rely on undocumented assumption that ZSTD_decompressBegin() is invoked during init.

switched name to cxxtest

fixed ZSTD_format_e value validation

Change c++ test to use CXX and CXXFLAGS environment variables

Fix OS-X warning on compiling .c files with clang++
Also changed test name from gpptest to cpptest, since it's no longer g++ specific

[libzstd] pthread function prefixed with ZSTD_

* `sed -i 's/pthread_/ZSTD_pthread_/g' lib/{,common,compress,decompress,dictBuilder}/*.[hc]`
* Fix up `lib/common/threading.[hc]`
* `sed -i s/PTHREAD_MUTEX_LOCK/ZSTD_PTHREAD_MUTEX_LOCK/g lib/compress/zstdmt_compress.c`

updated ZSTD_format_e value validation

also updated manual

changed error code when pos<=size condition is not respected

Now pointing towards src_size or dst_size,
instead of error_GENERIC.

removed unsupported formats

fixed zstreamtest decoding error

same error (wrong output buffer size) was present
on --mt and --new_api tests.

fixed a bug in zstreamtest

decoder output buffer would receive a wrong size.

In previous version, ZSTD_decompressStream() would blindly trust the caller that pos <= size.
In this version, this condition is actively checked,
and the function returns an error code if this condition is not respected.

This check could also be done with an assert(),
but since this is a user-facing interface, it seems better to keep this check at runtime.

fixed DCtx initialization error

now relying on initialization of dctx->format first

silence minor gcc warning -Wempty-body

also silence fuzz test artefacts

Merge pull request #864 from terrelln/long

Increase maximum window size

switch assert() position

created ZSTD_startingInputLength()

as suggested by @terrelln

minor fixes following @terrelln comments

Merge pull request #867 from terrelln/fast-fuzz

[fuzz] Speed up round trip tests

fixed constant errors for gcc in c99 mode

C standard does not consider a `static const int` as a constant.
This is a problem for initializer, and ZSTD_STATIC_ASSERT().
Replaced by macro values

Merge branch 'dev' into newFormats