refactor ZSTD_check_compressionLevel_monotonicIncrease_memoryBudget()

use less macro statements
the initial version was meant to work with STATIC_ASSERT
but since it doesn't work and needs assert()
it's possible to rewrite it using normally compiled code
which is better for compiler.

Downside : the error message is less precise.
There is a DEBUGLOG(3,) to compensate.

Merge branch 'advancedAPI2' into refPrefix

added a test to ensure ZSTD_refPrefix() doesn't impact the following compression job

fixed -Wdeclaration-after-statement

added function to control monotonic memory budget increase of ZSTD_defaultCParameters[0]

It's a runtime test, based on assert(),
played once, on first ZSTD_getCParams() usage,
when ZSTD_DEBUG is enabled.

adjusted compression levels to guarantee a monotonically increasing memory budget

fixed ZSTD_refPrefix with Multithread-enabled CCtx

fixed zstreamtest

modifying compression parameters is not allowed after ZSTD_CCtx_loadDictionary()
but it is still allowed after ZSTD_refPrefix()

controlled dictMode

implemented ZSTD_refPrefix()

exposed ZSTD_MAGIC_DICTIONARY in zstd.h

makes it easier to explain ZSTD_dictMode

added parameter ZSTD_p_refDictContent

fixed minor conversion warning

refactored ZSTD_estimateDStreamSize()

now uses windowSize as argument.
Also : created ZSTD_estimateDStreamSize_fromFrame()

ZSTD_estimateCDictSize_advanced()

ZSTD_estimateCDictSize() now uses same arguments as ZSTD_createCDict()
ZSTD_estimateCDictSize_advanced() uses same arguments as ZSTD_createCDict_advanced()

ZSTD_estimateCStreamSize_advanced()

ZSTD_estimateCCtx_advanced()

ZSTD_estimateCCtx() is now a "simple" function,
taking int compressionLevel as single argument.

ZSTD_estimateCCtx_advanced() takes a CParams argument,
which is both more complete and more complex to generate.

Merge pull request #733 from terrelln/pzstd-deadlock

[pzstd] Fix potential deadlock in the case of errors

Merge pull request #725 from facebook/advancedAPI2

New Advanced API

--no-big-tests for msan

msan tests require too much RAM for 2 GB VM

Merge branch 'advancedAPI2' of github.com:facebook/zstd into advancedAPI2

zstreamtest : disabled multi-threading tests with --newapi --no-big-tests

--no-big-tests is typically used in combination with qemu-user-static
qemu-user-static allocated 4 GB of RAM upfront.
On 2 GB VM, this can degenerate into a crash.
It's not a problem as long as memory is not used.
But with multi-threading enabled, memory fragmentation kicks in,
so the amoung of RAM effectively touched increases,
and can pass beyond the 2 GB limit of the VM.

In single-threaded mode, there is no such issue :
memory requirement is smaller, and remains well-located,
so very little fragmentation is expected.

This modification should make `qemu-arm-static zstreamtests --newapi --no-big-tests`
work fine on Travis CI.

[pzstd] Fix deadlock in the case of errors

Fixes #720.

Merge pull request #732 from terrelln/dev

[linux] Update patches

reduced --no-big-tests even more

to pass tests on qemu-aarch64

[linux] Write all the patch summaries

fixed minor cast warning

reduced CLevelMax for --no-big-tests

--no-big-tests for zstreamtest

Apply --no-big-tests for tsan tests

add controls over streaming buffers

added --list command contrib by @paulcruz74

Merge pull request #730 from paulcruz74/dev

Patching ratio and non-existent file bugs

fixed : decompression of skippable frames in streaming mode

[linux] Rename last 2 diffs to patch names

[linux] Add summaries to xxhash and zstd patches

[linux] Rename diffs to patch names

[linux] Switch BtrFS compression level to 1

switched fileio.c to ZSTD_DEBUG trigger macro

fixed streaming buffered allocation with CDict compression

fixed dangling pointer risk, detected by @terrelln

Merge pull request #3 from facebook/dev

pulling changes

added newline to align output

added error check for when file could not be opened

reversed calculation of ratio

free cdictLocal faster, suggested by @terrelln

added test cases for new command --list

added ZSTD_dictMode_e to control dictionary loading mode

Merge pull request #723 from paulcruz74/dev

Adding zstd -l

fixed memcpy() overlap

added test for files with no frame content size

removed one useless streaming compression stage, detected by @terrelln

fixed potential dangling pointer, detected by @terrelln

added tests with null files, changed condition to check that the file is more than 0 bytes

fixed comments, following suggestion by @terrelln

spacing matters for test scripts

ensure new ZSTD_strategy starts at value 1

fixed error where extremely small files were not being detected as not compressed with zstd

changed to use LONG_SEEK

added progress metric to display

moved signifcant operations to fileio.c

fixed fuzzer test

Merge pull request #728 from terrelln/ubsan-failure

[linux] Add more tests and fuzzing

removed double if statements for same condition

minor update to logic

size_t const value

added additional tests for error detection

changed displayInfo alignment and const

change test to list info on .zst files

changed fileInfo initialization, updated error code

[linux] Add xxhash and zstd in-kernel tests

[linux] Add libfuzzer targets

first implementation of bench.c with new API ZSTD_compress_generic()

Doesn't speed optimize this buffer-to-buffer scenario yet.
Still internally defers to streaming implementation.

Also : fixed a long standing bug in ZSTDMT streaming API.

fix attempt : fullbench VS2008 project

[linux] Port libzstd UBSAN fix

Merge pull request #727 from terrelln/ubsan-failure

[libzstd] Fix UBSAN failure

fixed IA64 compilation error, by @mcmilk

fix attempts : fullbench for VS2008

[libzstd] Fix UBSAN failure

Merge pull request #726 from terrelln/malloc-failure

[linux] Fix decompression memory allocation

update new api presentation in zstd.h and manual

[linux] Fix decompression memory allocation

updated manual

minor declaration statement warning fix

new api : setting compression parameters is refused if a dictionary is already loaded

newapi fuzzer tests : random flush orders in main loop

made style changes, added description in man file

new api fuzzer tests : frame parameters are randonly set

new api fuzzer set : dictionary is randomly set

new api fuzzer tests : compression parameters are randomly set

Merge pull request #724 from yurivict/fix-install-static-lib

INSTALL_DATA instead of INSTALL_LIB for libzstd.a

INSTALL_DATA instead of INSTALL_LIB for libzstd.a

INSTALL_LIB can be passed -s flag to strip symbols. Static libraries should not be stripped, only dynamic ones should be stripped.

removed macro CLAMP from decodecorpus

never used,
and would duplicate with CLAMP from zstd_compress.c

fuzzer tests for new API

added ZSTD_clampCParams()

now ZSTD_adjustCParams() is always successful,
it always produces a valid CParams

fixed +/-1 error for pledgedSrcSizePlusOne

fix attempt 2 : Visual sign conversion warning

fixed attempt : minor Visual sign conversion warning

added ZSTD_startNewCompression()

changed frameContentSize field to pledgedSrcSizePlusOne

pledgedSrcSize is proper : it's a promise, not yet fulfilled.
It will be controlled at the end.

PlusOne is meant to have 0 (default) == unknown

fix : pledgedSrcSize correctly reset to unknown in "continue" mode