fixed msan warning

on btlazy2 strategy with dictAttach

Merge pull request #1348 from facebook/donotdelete

Fix #1082

fixed static analyzer warnings

note : for some reason,
scan-build version on my laptop found problems within fastcover.c
that scan-build on travisCI does not flag.

They are, as usual, false positive :
the analyzer does not understand that a table (`offset`) is correctly filled before usage.

restored backtrace on failure

for Linux and Mac OS-X.

Note : the backtraces fires up through a trap
before the sanitizer get a chance to report.
There are situations where the sanitizer report is actually preferable.

It might be good to consider a kind of build macro
which can disable backtrace
when sanitizer is enabled.

updated NEWS in anticipation for v1.3.6

Merge pull request #1317 from felixhandte/split-logs

Independent Dictionary and Working Context Table Logs

./zstd -f do no longer overwrite destination file

if source file does not exist (#1082)

zstd -d -f do no longer erase destination file

when source file does not exist (#1082)

Revert Ability to Set HashLog and ChainLog on Context When Dict is Attached

This capability is not needed / used in the current unit of work. I'll
re-introduce it later, when we start allowing users to override the deduced
working context logs.

regroup name creation logic into its own function

for a cleaner main file decompression loop

Merge pull request #1347 from terrelln/werror

Add -Werror to *build rules

Merge pull request #1346 from terrelln/small-block-fse

[zstd] Fix resetting FSE tables

Restore Passing CParams to `ZSTD_insertAndFindFirstIndex_internal`

Use Working Ctx Logs when not in DMS Mode

We pre-hash the ptr for the dict match state sometimes. When that actually
happens, a hashlog of 0 can produce undefined behavior (right shift a long
long by 64). Only applies to unoptimized compilations, since when
optimizations are applied, those hash operations are dropped when we're not
actually in dms mode.

When Attaching Dictionary, Size Working Tables Based on Input Size Only

Remove Log Overriding for the Time Being

Remove Strategy-Dependency in Making Attachment Decision

Support Split Logs in ZSTD_btopt..ZSTD_btultra

Bump Split Log Support to ZSTD_btultra

Support Split Logs in ZSTD_greedy..ZSTD_btlazy2

Bump Split Log Support to ZSTD_btlazy2

Support Split Logs in ZSTD_dfast

Bump Split Log Support to ZSTD_dfast

Support a Separate Hash Log in ZSTD_fast

Stop Passing in `hashLog` and `stepSize` to `ZSTD_compressBlock_fast_generic`

Temporary Commit to Retain Requested Hash and Chain Logs During Dict Attach

Allow Setting Hash and Chain Logs on Contexts with Attached CDict

For Supported Strategies, Attach Dict Even When Params Don't Match

Split Attach and Copy Reset Strategies into Separate Implementation Functions

Pull Attachment Decision into Separate Function

And Then Avoid the Unused Parameter Warning

Move Asserts into Function to Avoid Unused Function Warning

Move Match State CParams Setting into `resetCCtx` and `continueCCtx`

Strengthen Assertion to Assert Equality

Remove CParams Arg from ZSTD_ldm_blockCompress

Stop Separately Passing CParams in ZSTD_lazy Internal Functions

Stop Separately Passing CParams in ZSTD_opt Internal Functions

Also Remove CParams from Table Filling Functions' Args

Also Assert Equivalency When Filling MatchState with Prefix

Remove CParams from Block Compressor Functions' Args

Assert `ctx` and `ms` cparams Equivalency

Remove cParams from CDict

Add ZSTD_compressionParameters to ZSTD_matchState_t

changed macro name

from EXIT_IF() to RETURN_IF()

EXIT could be misunderstood as exit(), which terminates program execution.
But the macro only leaves the function, not the program.

minor improvement in the multi-format suffix selection

Fix minigzip in std=c99 mode

[util] Fix lstat feature test macro

Add -Werror to *build rules

Fix another warning

Fix warnings

[zstd] Fix newly added  test case

[zstreamtest] Add failing test case

fixed unreachable section warning on Visual

Merge pull request #1343 from terrelln/faster-ci

[zstreamtest] Reduce memory of newapi tests

Merge branch 'dev' into donotdelete

Merge pull request #1345 from facebook/fixLegacy

fixed legacy compilation tests

fixed minor Visual conversion warnings

fixed longmatch test too

fixed legacy compilation tests

for some reason, these tests started failing recently on CircleCI

Merge pull request #1344 from terrelln/grub-fixes

Fixes for GRUB

minor refactoring of --list

trying to reduce recurrent patterns.

Restore ZSTD_noCompressBlock() for clarity

Reset number of threads less often

Change byte to value to avoid a GRUB typedef

Include stddef.h for size_t

[zstd] Add -Wmissing-prototypes

More aggressive limitations

[zstreamtest] Reduce memory of newapi tests

We could allocate up to 2^28 bytes of memory when using 2 threads with
window log = 24. Now, we limit it to 2^26 bytes of memory when not running
big tests.

I chose max window log = 22 since that is the maximum source size when
big tests are disabled. Hopefully this will be enough to reduce or
eliminate the test failures.

Merge pull request #1342 from facebook/fixcatyd

fix : huge (>4GB) chain of blocks

moved again overflow correction

cannot work from within ZSTD_compressBlock()

Merge pull request #1340 from terrelln/generate-artifacts

Publish artifacts with CircleCI

changed overflow correction place

keep one in compress_frameChunk(),
so that it's tested at every loop
in case some user simply some large mulit-GB input in a single invocation.

Add one in ZSTD_compressBlock(),
since compressBlock() explicitly skips frameChunk().

Merge pull request #1339 from facebook/grep_colors

fixed usage of grep in Makefile

Merge pull request #1327 from facebook/adapt

Adaptive compression

fix : huge (>4GB) stream of blocks

experimental function ZSTD_compressBlock() is designed for very small data in mind,
for situation where saving the ~12 bytes of frame header can actually make a difference.

Some systems though may have to deal with small and large data entangled.
If it's larger than a block (> 128KB), compressBlock() cannot compress them in one round.

That's why it's possible to compress in multiple rounds.
This is a chain of compressed blocks.

Some users push this capability to the limit, encoding gigantic chain of blocks.
On crossing the 4GB limit, some internal overflow occurs.

This fix moves the overflow correction mechanism higher in the call chain,
so that it's applied also to gigantic chains of blocks.

Added a test case in fuzzer.c, which crashes before the fix, and pass now.

Merge pull request #1338 from facebook/rfc

updated format documentation

Merge pull request #1337 from facebook/test_failure

fixed `!` tests

Merge pull request #1329 from facebook/v04isout

 Changed default legacy support to v0.5+

Publish artifacts with CircleCI

* Updates CircleCI to use workflows.
  We can now specify any number of test jobs to run in parallel.
* Switch the image to `buildpack-deps:trusty` which is only 500 MB
  instead of 7 GB, so that saves 7 minutes to download it if it isn't
  already cached on the host.
* Publish the source tarball and sha256sum as artifacts.
* If the `GITHUB_TOKEN` environment variable is set, we will also
  add the tarball + sha256sum to the tagged release, after manual
  approval.

fixed usage of grep in Makefile

when terminal uses colors
as suggested by @danielshir (#1294)

updated format documentation

to match last edits of RFC8478.

bounds for --adapt mode

can supply min and max compression level through advanced command :
--adapt=min=#,max=#

fixed `!` tests

Sometimes, it's necessary to test that a certain command fail, as expected.
Such failure is actually a success, and must not stop the flow of tests.

Several tests were prefixed with `!` to invert return code.
This does not work : it effectively makes the tests pass no matter what.

Use instead function die(), which is meant to trap successes, and transform them into errors.

Merge branch 'dev' into adapt

Merge pull request #1332 from facebook/minclevel

defined a minimum negative level

Merge pull request #1336 from facebook/scanbuild

fixed minor scan-build warnings

Merge pull request #1335 from facebook/limits

added some tests based on limits.h

fixed minor scan-build warnings

added some tests based on limits.h

in order to ensure proper type mapping
when not using stdint.h

fixed zstd-decompress

which cannot support ZSTD_minCLevel()

Merge pull request #1331 from facebook/mingw

fix mingw compatibility

enforce minimum compression level limit

using ZSTD_minCLevel()

fixed constant comparison on 32-bits systems

avoid recompiling dll every time under mingw

fix pzstd compatibility with mingw

some details changed with introduction of gcc7

fix constant redeclaration in paramgrill

simplified "slows down when compression blocked"

Merge branch 'mingw' into adapt

ensure all writes to job->cSize are mutex protected

even when reporting errors,
using a macro for code brevity, as suggested by @terrelln,

fixed tautological tests

involving ZSTD_TARGETLENGTH_MIN (== 0)