fix assert position within ZSTD_compress2()

clarified experimentalParam

fixed ZSTD_compress2()

as suggested by @terrelln

moved ZSTD_WINDOWLOG_LIMIT_DEFAULT into static-linking-only area

clarified usage of word "job"

only applies in MT / async context now.

changed parameter names from ZSTD_p_* to ZSTD_c_*

for naming consistency

updated API documentation

ZSTD_decompressDCtx() is compatible with sticky parameters

merge dedicated dParam setters

write the switch()case: differently

so that it please both
compilers which warn for dead code after the switch
and
compilers which do not detect that all branches terminate.

fixed silent conversion warning

fixed declaration-after-statement warnings

implemented ZSTD_dParam_getBounds()

and ZSTD_DCtx_setParameter()

advanced decompression function replaces by normal streaming one

advanced parameters compatible with ZSTD_decompressStream().

joined normal streaming API with advanced one

preparative for ZSTD_DCtx_setParameter()

created ZSTD_compress2() and ZSTD_compressStream2()

ZSTD_compress_generic() is renamed ZSTD_compressStream2().

Note that, for the time being,
the "stable" API and advanced one use different parameter planes :
setting parameters using the advanced API does not influence ZSTD_compressStream()
and using ZSTD_initCStream() does not influence parameters for ZSTD_compressStream2().

pushed experimental parameters

into ZSTD_STATIC_LINKING_ONLY section

getParameter fills an int*

rather than an unsigned*
for consistency
since type of setParameter() changed to int.

promote ZSTD_findFrameCompressedSize() into staging area

changed hashEveryLog into hashRateLog

fixed fall-through

completed implementation of ZSTD_cParam_getBounds()

for all parameters

fixed remaining searchLength invocations

changed searchLength into minMatch

refactored all relevant API and calls
for consistency.

changed enum type name to ZSTD_ResetDirective

for naming consistency :
types should start with a capital letter (after prefix)

ZSTD_CCtx_setParameter : `value` argument is now `int`

for compatibility with compression level

removed some constants and _simpleArgs() from staging

constants that *may* change in the future
will be accessed through functions instead
(to be created).

_simpleArgs() variant do not have (yet) a clear enough added value
to deserve "stable" status.

fixed fuzz src

updated ZSTD_DCtx_reset()

signature and behavior is now the same as ZSTD_CCtx_reset()

updated manual

Merge branch 'dev' into advancedAPI

fixed rsyncable

Merge pull request #1416 from terrelln/rsync

- Factor out LDM's hash function for reuse
- Add rsyncable mode to zstdmt and expose it via the advanced API
- Fix `-B`/`--block-size` to actually set the job size
- Add rsyncable tests to `zstreamtest` and `playTests.sh`

Tested by:

```
> cat A.100MB B.100MB C.100MB D.100MB E.100MB | zstd --rsyncable -fo src/file.zst
/*stdin*\            : 48.22%   (524288000 => 252837782 bytes, src/file.zst)
> rsync -rc --stats src devbigvm:/data/users/terrelln/rsync-test
Total bytes sent: 252868779
total size is 252837782  speedup is 1.00
> echo test > test
> cat test A.100MB test B.100MB test C.100MB test D.100MB test E.100MB | zstd --rsyncable -fo src/file.zst
/*stdin*\            : 48.23%   (524288025 => 252838025 bytes, src/unicorn.tar.zst)
> rsync -rc --stats src devbigvm:/data/users/terrelln/rsync-test
Total bytes sent: 4605696
total size is 252838025  speedup is 53.60
```

Close #1155.

[tests] Add rsyncable tests

[cli] Set the job size

[cli] Add rsyncable

[lib] Add rsyncable mode

- Add rsyncable mode to multithreaded mode
- Factor out LDM's hash function for reuse

added advanced decompression api

fixed fuzz test src code

finalized retrofit of ZSTD_CCtx_reset()

updated all depending sources

Merge branch 'dev' into advancedAPI

Merge pull request #1415 from facebook/benchfn

Separating benchfn and benchzstd

modified ZSTD_CCtx_reset()

which now accepts an enum,
to distinguish between resetting the session, or the parameters (or both).

removed ZSTD_CCtx_resetParameters(), which is redundant.

start replacing invocation of ZSTD_CCtx_reset*() functions

Updated advanced API documentation

trimmed down amount of API staged in RC,
in particular, all functions related to ZSTD_CCtxParams()
seem too advanced.

added constant ZSTD_WINDOWLOG_LIMIT_DEFAULT

answering #1407.

Also : removed obsolete function ZSTD_setDStreamParameter()
which could only be used with one parameter (DStream_p_maxWindowSize).
Now replaced by ZSTD_DCtx_setWindowSize() (which exists since a few revisions)

added constant ZSTD_MAGIC_SKIPPABLE_MASK

and updated several API comments

removed some `static const` variables

and replaced by traditional macro constants.

Unfortunately, C doesn't consider `static const` to mean "constant"

circumvent gcc-8 strict aliasing warning

because gcc considers that
`void* const *`  and `void**` are 2 different types ...

Merge branch 'dev' of github.com:facebook/zstd into dev

bumped version number to v1.3.8

fixed decode-only test condition

fix debug trace

fixed VS2010+ build script

fixed cmake build script

changed benchfn api

to use structure for function parameters
as it expresses much clearer than a long list of parameters,
since each parameter can now be named.

benchfn can provided faulty return value

with BMK_extract_returnValue()

separated bench module into benchfn and benchzstd

it shall be possible to use benchfn
without any dependency on zstd.

Merge pull request #1413 from felixhandte/attach-dict-fix-unsigned-compare

Fix #1412: Perform Signed Comparison When Setting Attach Dict Param

changed PREFETCH() macro into PREFETCH_L2()

which is more accurate

Const

Fix Fuzz Range

Fix Types

Switch Enum to Only Non-Negative Values, Update Comments

Fix #1412: Perform Signed Comparison When Setting Attach Dict Param

Merge pull request #1411 from facebook/prefetch_dict

Improves decompression speed when using cold dictionary

Merge pull request #1410 from facebook/prefetch_dec

 improve long-range decoder speed

Improves decompression speed when using cold dictionary

by triggering the prefetching decoder path
(which used to be dedicated to long-range offsets only).

Figures on my laptop :
no content prefetch : ~300 MB/s (for reference)
full content prefetch : ~325 MB/s (before this patch)
new prefetch path : ~375 MB/s (after this patch)

The benchmark speed is already significant,
but another side-effect is that this version
prefetch less data into memory,
since it only prefetches what's needed, instead of the full dictionary.

This is supposed to help highly active environments
such as active databases,
that can't be properly measured in benchmark environment (too clean).

Also :
fixed the largeNbDict test program
which was working improperly when setting nbBlocks > nbFiles.

Merge pull request #1409 from terrelln/tsan-dict

Add TSAN dictionary tests

reduced assertion strength

one limit case can apparently be generated during fuzzer tests

added a simple test case for decode-only benchmark mode

as it was broken and no one noticed

improve long-range decoder speed

on enwik9 at level 22 (which is almost a worst case scenario),
speed improves by +7% on my laptop (415 -> 445 MB/s)

fixed decompression-only benchmark

Run TSAN fuzztest

Add multithreaded dictbuilder tests to fuzzer.c

Signal before unlocking in pool.c

Merge pull request #1408 from szreder/dev

Prevent deadlock on malloc() failure.

Prevent deadlock on malloc() failure.

Merge pull request #1405 from pitrou/allow_cmake_debug_builds

Allow creating debug builds with CMake

Allow creating debug builds with CMake

Only set the build type to Release if the user didn't select any.
See discussion in https://github.com/facebook/zstd/pull/1278#issuecomment-436327923
and below.

Merge pull request #1404 from facebook/T36302429

fixed T36302471

Merge pull request #1403 from facebook/assert_opt

just add an assert() in ZSTD_insertBtAndGetAllMatches()

fixed T36302429

just add an assert() in ZSTD_insertBtAndGetAllMatches()

to express a condition on ll0 .
May help static analyzer as in #1397

Merge pull request #1395 from facebook/decompressblock

created zstd_decompress_block module

Merge pull request #1398 from bmwiedemann/pgo

Fix building zstd-pgo

fixed a second memset() on NULL

not sure why it only triggers now,
this code has been around for a while.

Introduced a new error code : dstBuffer_null,
I couldn't express anything even remotely similar with existing error codes set.

fixed memcpy() on NULL warning

memcpy(NULL, src, 0) is undefined behavior.

Merge pull request #1396 from facebook/huf_refactor

refactor HUF_compress_internal for clarity

pgo: also optimize compression

and clean *.o so that linking does not fail from code
that is partially augmented with coverage generation instructions

zstd-pgo: do not make clean and zstd in parallel

otherwise, there might not be a ./zstd to run

added flag -Wc++-compat

for library and cli

renamed NEWS as CHANGELOG

to conform fb publication rules.

minor clarifications of history update rules

Merge pull request #1392 from coetry/dev

provide consistent spacing to enum field

Merge pull request #1394 from terrelln/circleci-packaging

Publish uncompressed, zstd, and gzipped packages

Merge branch 'dev' into huf_Refactor

added a few comments for clarifications

Merge branch 'dev' into decompressblock

Merge pull request #1390 from facebook/nullAsOutput

support decompressing an empty frame into NULL

vertically align code comment

refactor HUF_compress_internal for clarity

changed workspace parameter convention
to always provide workspaceSize,
so that size can be explicitly checked.

Also, use more enum to make the meaning of some parameters more explicit.