refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK

fixed Visual compilation of fullbench-dll

made fullbench compatible with multi-threading

fullbench 61/62 measure speed of ZSTD_compress_generic with 2 threads

zstreamtest : big tests are only enabled in 64-bits mode

to avoid requesting too much memory in 32-bits mode during MT tests

Delegate HUF_decompress4X_hufOnly to workspace version

Fix bitshift error

Merge pull request #741 from facebook/promotion

ZSTD_getFrameContentSize() promoted to "stable" status

compression optimization opportunity

switch to single-pass mode directly into output buffer
when outputSize >= ZSTD_compressBound(inputSize).
Speed gains observed with fullbench (~+15% on level 1)

Fix pointer casting warning

updated fullbench to also measure ZSTD_compress_generic()

will make it possible to visualize
optimization opportunity for ZSTD_e_end

Fix alignment warnings with pointer casting

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

minor : fix typo

minor : specify compression level in tags

Merge pull request #738 from terrelln/lk-div

[linux-kernel] Update patches for v2

ZSTD_getFrameContentSize() is promoted to "stable" status

Merge pull request #739 from facebook/refPrefix

ZSTD_refPrefix

[linux-kernel] Update patches for v2

* Reduce stack usage of many zstd functions, none use over 388 B anymore.
* Remove an incorrect `const` in `xxhash`.

Merge pull request #736 from terrelln/cover-default-api

[zdict] Make COVER the default algorithm

Merge pull request #737 from facebook/advancedAPI2

simplified API for *initStatic*()

refactor ZSTD_check_compressionLevel_monotonicIncrease_memoryBudget()

use less macro statements
the initial version was meant to work with STATIC_ASSERT
but since it doesn't work and needs assert()
it's possible to rewrite it using normally compiled code
which is better for compiler.

Downside : the error message is less precise.
There is a DEBUGLOG(3,) to compensate.

Merge branch 'advancedAPI2' into refPrefix

added a test to ensure ZSTD_refPrefix() doesn't impact the following compression job

fixed -Wdeclaration-after-statement

Merge pull request #740 from paulcruz74/dev

decodecorpus.c patch

added function to control monotonic memory budget increase of ZSTD_defaultCParameters[0]

It's a runtime test, based on assert(),
played once, on first ZSTD_getCParams() usage,
when ZSTD_DEBUG is enabled.

adjusted compression levels to guarantee a monotonically increasing memory budget

removed fnum from DISPLAY statements

fixed generation of buggy test, corrected DISPLAY statements for errors

fixed ZSTD_refPrefix with Multithread-enabled CCtx

fixed zstreamtest

modifying compression parameters is not allowed after ZSTD_CCtx_loadDictionary()
but it is still allowed after ZSTD_refPrefix()

Merge remote-tracking branch 'upstream/dev' into dev

controlled dictMode

implemented ZSTD_refPrefix()

exposed ZSTD_MAGIC_DICTIONARY in zstd.h

makes it easier to explain ZSTD_dictMode

added parameter ZSTD_p_refDictContent

Merge pull request #735 from terrelln/xz-default

[zstdcli] Support xz by default when liblzma is available

[tests] Fix HAVE_LZMA flag

[zdict] Make COVER the default algorithm

fixed minor conversion warning

Merge pull request #729 from paulcruz74/corpus

Corpus

refactored ZSTD_estimateDStreamSize()

now uses windowSize as argument.
Also : created ZSTD_estimateDStreamSize_fromFrame()

ZSTD_estimateCDictSize_advanced()

ZSTD_estimateCDictSize() now uses same arguments as ZSTD_createCDict()
ZSTD_estimateCDictSize_advanced() uses same arguments as ZSTD_createCDict_advanced()

ZSTD_estimateCStreamSize_advanced()

ZSTD_estimateCCtx_advanced()

ZSTD_estimateCCtx() is now a "simple" function,
taking int compressionLevel as single argument.

ZSTD_estimateCCtx_advanced() takes a CParams argument,
which is both more complete and more complex to generate.

[zstdcli] Document HAVE_LZMA and zstd-noxz

[zstdcli] Add unlzma and unxz symlinks

[zstdcli] Disable lzma support for MSAN testing

Merge pull request #4 from facebook/dev

pull from facebook/zstd

[zstdcli] Support xz by default when liblzma is available

added cli tests to test-all

added additional condition so large offsets into the dictionary are not generated past windowSize

Merge pull request #733 from terrelln/pzstd-deadlock

[pzstd] Fix potential deadlock in the case of errors

fixed bug detected by the API test

type warnings

fixed bus error bug

Merge pull request #725 from facebook/advancedAPI2

New Advanced API

--no-big-tests for msan

msan tests require too much RAM for 2 GB VM

Merge branch 'advancedAPI2' of github.com:facebook/zstd into advancedAPI2

zstreamtest : disabled multi-threading tests with --newapi --no-big-tests

--no-big-tests is typically used in combination with qemu-user-static
qemu-user-static allocated 4 GB of RAM upfront.
On 2 GB VM, this can degenerate into a crash.
It's not a problem as long as memory is not used.
But with multi-threading enabled, memory fragmentation kicks in,
so the amoung of RAM effectively touched increases,
and can pass beyond the 2 GB limit of the VM.

In single-threaded mode, there is no such issue :
memory requirement is smaller, and remains well-located,
so very little fragmentation is expected.

This modification should make `qemu-arm-static zstreamtests --newapi --no-big-tests`
work fine on Travis CI.

[pzstd] Fix deadlock in the case of errors

Fixes #720.

added sizeof for clarity

changed makefile test

changed assignment

added description for dictionary cli tests

made changes to cli test so it runs properly

added cli test for decodecorpus inside tests/Makefile. Also changed calculation of offset

added cli test case in Makefile

should be updating seed whenever multiple files are generated

changed format of command to --use-dict=#

Merge pull request #732 from terrelln/dev

[linux] Update patches

reduced --no-big-tests even more

to pass tests on qemu-aarch64

[linux] Write all the patch summaries

fixed offset in this case os that it always goes past src start

fixed minor cast warning

more meaningful names for count variables

malloc samples instead of static allocation

reduced CLevelMax for --no-big-tests

removed comment regarding windowSize requirement

removed requirement that offset be less than windowSize

--no-big-tests for zstreamtest

Apply --no-big-tests for tsan tests

added const x2