Clamp compression level in ZSTD_getCParams_internal() function

Merge pull request #2388 from facebook/fix2386

fix incorrect assert

Merge pull request #2381 from senhuang42/expand_sequence_extraction_api

Add enum to define ZSTD_Sequence type and update sequence extraction API

fix multiple minor conversion warnings

unrelated to #2386, just cleaning up while I'm updating this file ...

fix incorrect assert

fix #2386, reported by @Neumann-A

Update unit tests

Implement mergeGeneratedSequences()

Rename getSequences() to generateSequences()

Add new mergeGeneratedSequences() function

Merge pull request #2385 from LuAPi/add-ZSTD_getDictID_fromCDict-single-commit

Add ZSTD_getDictID_fromCDict function to experimental section

Add ZSTD_getDictID_fromCDict function to experimental section

Change block delimiter removing to linear time approach

Remove trailing comma

Use ZSTD_memmove() instead of memmove()

Revert compressibility change

Update name of enum, clarify documentation

Update unit test

Revert unnecessary seqCollector adjustment

Fix incorrect index increment in merge algorithm

Add algorithm to remove all delimiters

Update seqCollector definition

Update ZSTD_getSequences function signature

Add new enum for different sequence formats for ingestion/extraction

Merge pull request #2378 from senhuang42/free_cress_ptr

[minor] Pass cRess_t by const ptr instead of by value

Merge pull request #2379 from terrelln/regression-test

[regression] Updates results.csv & add README

Merge pull request #2354 from terrelln/stable-buffer

Add ZSTD_c_stable{In,Out}Buffer and optimize when set

[regression] Add README explaining the test

[regression] Update results.csv

https://github.com/facebook/zstd/pull/2339 removes the single-pass zstdmt API.
This changes the compressed size, because we no longer take the # of threads into
account when deciding the job size.

Merge pull request #2376 from senhuang42/clarify_sequence_extraction_api

Refine external ZSTD_Sequence API

[test] Add unit tests for ZSTD_c_stable{In,Out}Buffer

[lib] Avoid allocating the input buffer when ZSTD_c_stableInBuffer is set

We don't use it when we have a stable input buffer, so don't allocate
it. I had to slightly modify `ZSTD_copyCCtx()` by storing the
`ZSTD_buffered_policy_e` in the `ZSTD_CCtx`, since `inBuffSize > 0` is
no longer the correct signal for the buffered mode.

[lib] Skip the input window buffer when ZSTD_c_stableInBuffer is set

Compress directly from the `ZSTD_inBuffer`. We still allocate the input
buffer. A following commit will remove that allocation.

[cwksp] Return NULL when 0 bytes are requested

This ensures that the buffer is never used.

[lib] Avoid allocating output buffer when ZSTD_c_stableOutBuffer is set

We compress directly to the `ZSTD_outBuffer` so we don't need to
allocate it.

[lib] Compress directly into output when ZSTD_c_stableOutBuffer is set

When we have a stable output buffer always compress directly into the
`ZSTD_outBuffer`. We are allowed to return `dstSizeTooSmall`.

[lib] Take the shortcut when ZSTD_c_stableOutBuffer is set

When we have a stable output buffer take the single-pass shortcut.
It is okay to return `dstSizeTooSmall` if the output buffer isn't
big enough, because we know it will never grow.

[lib] Set ZSTD_c_stable{In,Out}Buffer in ZSTD_compress2()

Sets these parameters in ZSTD_compress2() then resets them to their
orignal values after the compression call.

An alternative design could be to add a flush mode `ZSTD_e_singlePass`
which implies `ZSTD_c_stable{In,Out}Buffer` but only for a single
compression call, by directly setting the applied parameters. I've opted
for the smaller change, but this is open for discussion.

[lib] Validate buffers when ZSTD_c_stable{In,Out}Buffer is set

Adds the validation of the input/output buffers only. They are still
unused.

[API] Add ZSTD_c_stable{In,Out}Buffer parameters

This commit adds the parameters and sets the value in the CCtxParams
but it does not do anything with the value.

[lib] Set appliedParams in zstdmt mode

Previously only `nbWorkers` was set. Set all parameters, because that is
what is expected. This is needed for the `ZSTD_c_stable{In,Out}Buffer`
parameters.

Specify that getSequences() will always emit block boundary sequences

Sequence extractor should update CBlockState

Emit last literals of 0 size as well, to indicate block boundary

Correct literalsRead calculation to include longLength

Merge pull request #2375 from senhuang42/ldm_oss_fuzz_testcase

Add a test case for LDM + opt parser with small uncompressible block

Un-mix declarations and code

Remove implicit typecast to appease appVeyor windows build

Add check for allocation

Merge pull request #2373 from facebook/libzstd_autoconf_full

Automatic detection of configuration changes

Merge branch 'dev' into libzstd_autoconf_full

Merge branch 'libzstd_autoconf_full' of github.com:facebook/zstd into libzstd_autoconf_full

minor Makefile refactor

hopefully improving readability

Clarify comments in zstd.h some more

Merge pull request #2339 from terrelln/zstdmt-stability

Fix zstdmt stability issues and clean up the zstdmt code

Merge branch 'dev' into libzstd_autoconf_full

Merge pull request #2374 from bket/portability

'head -c BYTES' is non-portable

Move test to appropriate location

Add test to fuzzer.c

Merge pull request #2366 from senhuang42/enable_ldm_by_default

Enable LDM by default if window size >= 128MB and strategy uses opt parser

Merge pull request #2362 from senhuang42/fix_ldm_fuzz_issue

Fix long distance matcher OSS-fuzz issue

Remove unused variable position

Add test compatibility with last literals in sequences

'head -c BYTES' is non-portable

Add support for representing last literals in the extracted seqs

Improve documentation of seqStore_t

Improve documentation regarding various operations in copyBlockSequences

Modify ZSTD_copyBlockSequences to agree with new API

Clarify and modify ZSTD_Sequence definition

Merge branch 'dev' into libzstd_autoconf_full

Merge pull request #2370 from facebook/libzstd_autoconf

Automatic configuration detection

make install only rebuild binaries if they don't exist

Now `make` followed by `make install` doesn't rebuild binaries

also : only generated target directories if they don't already exist

make zstd is now differentiated from zstd-nomt

avoids mixing object files using different flags

simplified silent mode maintenance

fix partial lib test

simplified silent mode

fixed building libzstd with manual BUILD_DIR

and when HASH is not found

fix partial-build test

sometimes, the scope difference is solely determined by the list of source files,
not by the flags.

Merge branch 'dev' into libzstd_autoconf

can integrate later dynamic flags changes

for example `libzstd-mt` is `differentiated from `libzstd`

Merge pull request #2368 from facebook/progressive_libzstd

faster rebuild of libzstd

updated build documentation

fixed libzstd.dll compilation on mingw

and zstd linking

fix DEBUGLEVEL redefinition from tests/

fix directory creation for Windows' libzstd

fix test

DEBUGLEVEL redefinition

programs/zstd also automatically generate object dir per conf

same rules as lib/libzstd
can also be controlled via HASH and BUILD_DIR

zstd in programs/ can also receive a DEBUGLEVEL value

simplify tests : only set DEBUGLEVEL, not the flags directly

Merge branch 'dev' into libzstd_autoconf

automatically detect configuration changes

Makefile now automatically detects modifications of compilation flags,
and produce object files in directories dedicated to this compilation flags.
This makes it possible, for example, to compile libzstd with different DEBUGLEVEL.
Object files sharing the same configration will be generated into their dedicated directories.

Also : new compilation variables
- DEBUGLEVEL : select the debug level (assert & traces) inserted during compilation (default == 0 == release)
- HASH : select a hash function to differentiate configuration (default == md5sum)
- BUILD_DIR : skip the hash stage, store object files into manually specified directory

automatic %.h header dependency tracking

also : BUILD_DIR can be manually specified

Merge pull request #2367 from facebook/progressive_build

faster rebuild of zstd

consolidated vpath

store %.o object files into obj/

both static and dynamic libraries have their own object directory

minor cleaning

build libzstd.so from object files

%.o object files generated for dynamic library
must be different from those generated for static library.

Due to this difference, %.o were so far only generated for the static library.
The dynamic library was rebuilt from %.c source.

This meant that, for every minor change, the entire dynamic library had to be rebuilt.

This is fixed in this PR :
only the modified %.c source get rebuilt.

decouple zstd object files from lib/

That was a subtle one :
VPATH is affecting search for both %.c source and %.o object files.
This meant that, when an object file already exists in lib/,
it's used in programs/,
even though programs/ is supposed to generate its own %.o object files.

With the new vpath directive, this is no longer the case :
the search is only activated for %.c source files.
Now, local programs/%.o are always generated
even if equivalent ones are already created in lib/.

It more clearly guarantees that lib/ and programs/ can use different compilation directives
without mixing resulting %.o object files.

fixed travis tests

Add a function for LDM enable check

Move ldm enable to compressStream2()

Merge pull request #2365 from senhuang42/move_opt_parser_test_to_long_tests

Move ldm + opt parser no regression test to long tests