[libzstd] Pull CTables into sub-structure

Merge branch 'dev' of github.com:facebook/zstd into dev

Merge pull request #755 from jacquesg/solaris

Solaris fix

fix missing symbol 'nanosleep' for Solaris

added ZSTD_sizeof_CCtx() test

bumped version nb to v1.3.1

fixed several conversion warnings

removed zbufftest from list of `all` tests

fixed minor Visual compilation limitation

fixed minor cast warning

target gpptest uses CXX environment variable

Merge branch 'dev' of github.com:facebook/zstd into dev

new field frameHeader.headerSize

ZSTD_getFrameHeader : control of windowSize limits is delegated to caller

Extracting frame header is a separate operation.
It's now possible to get frame header, whatever the window size set in it.

new field : ZSTD_frameHeader.frameType

Makes frame type (zstd,skippable) detection more straighforward.
ZSTD_getFrameHeader set frameContentSize=ZSTD_CONTENTSIZE_UNKNOWN to mean "field not present"

extended frameHeader.windowSize to unsigned long long

Merge pull request #751 from ivuk/fix-typo

Fix typos in README.md

Fix typos in README.md

fixed fullbench, part 2

fixed fullbench

fixed #718, reported by @GregSlazinski, solution suggested by @mcmilk

minor code refactoring

cli : use new advanced API by default

clarified status of zstdmt_compress.h API

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

Merge pull request #745 from terrelln/libfuzzer

[fuzz] Add libFuzzer targets

minor code refactoring

fixed gz error reporting

gzip : only display inflateEnd error when there is no error before

Merge pull request #746 from terrelln/dev

[libzstd] Fix memcpy() on potential NULL source

gzip decoding does no longer exit() on invalid input

[fuzz] Move from fuzz/ to tests/fuzz/

[libzstd] Fix memcpy() on potential NULL source

* `ZSTD_decompressStream_generic()` `ip` may be `NULL` for one of the calls
  to `memcpy()`
* Assert the source is not `NULL` for calls to `memcpy()` where I believe
  the source should not be `NULL`.

decoding malformed lz4 frames does no longer exit()

fileio : decoding malformed lzma frame does no longer exit()

makes it possible to continue decoding file list

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[fuzz] Add libFuzzer targets

* The regression driver serves both as a regression test, and as a binary for afl-fuzz.
* Next, we want to check in a seed corpus for each target. Then we can run the regression
  test binary on them on Travis or Circle CI.

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK

fixed Visual compilation of fullbench-dll

made fullbench compatible with multi-threading

fullbench 61/62 measure speed of ZSTD_compress_generic with 2 threads

zstreamtest : big tests are only enabled in 64-bits mode

to avoid requesting too much memory in 32-bits mode during MT tests

Delegate HUF_decompress4X_hufOnly to workspace version

Fix bitshift error

Merge pull request #741 from facebook/promotion

ZSTD_getFrameContentSize() promoted to "stable" status

compression optimization opportunity

switch to single-pass mode directly into output buffer
when outputSize >= ZSTD_compressBound(inputSize).
Speed gains observed with fullbench (~+15% on level 1)

Fix pointer casting warning

updated fullbench to also measure ZSTD_compress_generic()

will make it possible to visualize
optimization opportunity for ZSTD_e_end

Fix alignment warnings with pointer casting

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

minor : fix typo

minor : specify compression level in tags

Merge pull request #738 from terrelln/lk-div

[linux-kernel] Update patches for v2

ZSTD_getFrameContentSize() is promoted to "stable" status

Merge pull request #739 from facebook/refPrefix

ZSTD_refPrefix

[linux-kernel] Update patches for v2

* Reduce stack usage of many zstd functions, none use over 388 B anymore.
* Remove an incorrect `const` in `xxhash`.

Merge pull request #736 from terrelln/cover-default-api

[zdict] Make COVER the default algorithm

Merge pull request #737 from facebook/advancedAPI2

simplified API for *initStatic*()

refactor ZSTD_check_compressionLevel_monotonicIncrease_memoryBudget()

use less macro statements
the initial version was meant to work with STATIC_ASSERT
but since it doesn't work and needs assert()
it's possible to rewrite it using normally compiled code
which is better for compiler.

Downside : the error message is less precise.
There is a DEBUGLOG(3,) to compensate.

Merge branch 'advancedAPI2' into refPrefix

added a test to ensure ZSTD_refPrefix() doesn't impact the following compression job

fixed -Wdeclaration-after-statement

Merge pull request #740 from paulcruz74/dev

decodecorpus.c patch

added function to control monotonic memory budget increase of ZSTD_defaultCParameters[0]

It's a runtime test, based on assert(),
played once, on first ZSTD_getCParams() usage,
when ZSTD_DEBUG is enabled.

adjusted compression levels to guarantee a monotonically increasing memory budget

removed fnum from DISPLAY statements

fixed generation of buggy test, corrected DISPLAY statements for errors

fixed ZSTD_refPrefix with Multithread-enabled CCtx

fixed zstreamtest

modifying compression parameters is not allowed after ZSTD_CCtx_loadDictionary()
but it is still allowed after ZSTD_refPrefix()

Merge remote-tracking branch 'upstream/dev' into dev

controlled dictMode

implemented ZSTD_refPrefix()

exposed ZSTD_MAGIC_DICTIONARY in zstd.h

makes it easier to explain ZSTD_dictMode

added parameter ZSTD_p_refDictContent

Merge pull request #735 from terrelln/xz-default

[zstdcli] Support xz by default when liblzma is available

[tests] Fix HAVE_LZMA flag

[zdict] Make COVER the default algorithm

fixed minor conversion warning

Merge pull request #729 from paulcruz74/corpus

Corpus

refactored ZSTD_estimateDStreamSize()

now uses windowSize as argument.
Also : created ZSTD_estimateDStreamSize_fromFrame()