added comment on public ddict functions

fix and refactored libzstd_partial_build.sh

make the test intention clearer
(easier to maintain)

also resist the existence of zstd_ddict.o within libzstd.a

fixed warnings in testpools

added simple guard macros

in case of accidental multi-includes

fixed VS2010 build script

restored cmake build tests in Travis

for some reason, these tests were no longer played on Travis.

As a consequence, I discovered some left-over from the util.c change while testing.

separate DDict logic into its own module

created zstd_ddict.c within lib/decompress

Merge pull request #1383 from facebook/uninstall

fix : removed zstdmt symlink on uninstall

fix : removed zstdmt symlink on uninstall

Merge pull request #1380 from facebook/decodecorpus

fix decodecorpus incorrect frame generation

Merge pull request #1382 from jonesz/ticket-compiler-rt-fuzzer

Fix libFuzzer location in makefile.

Fix libFuzzer location in makefile.

libFuzzer was moved into compiler-rt, update the repo location
accordingly.

fix decodecorpus incorrect frame generation

fix #1379
decodecorpus was generating one extraneous byte when `nbSeq==0`.
This is disallowed by the specification.

The reference decoder was just skipping the extraneous byte.
It is now stricter, and flag such situation as an error.

Merge pull request #1368 from rkjain89/test-branch

Moving Code To util.c

Made the changes in zstd vcproj file for VS2008 as requested

minor NEWS update for v1.3.7

Merge pull request #1372 from samrussell/dev

Add man pages for zstdgrep and zstdless

fix up zgrep/zless references

Add man pages for zstdgrep and zstdless

Changing tests/fuzz/Makefile to move util.o to FUZZ_SRC instead

Adding util.c to zstd VS file

Adding chagnes for cmake and VStudio

Fixing poolTests, I will understand about cmake and VStudio and push them in a later commit

Address most comments

Moving more function to the new C file

Fixing regressiontest makefile

Removing static and making extern

update NEWS for v1.3.7

Merge pull request #1369 from facebook/v137

bumped version number to v1.3.7

Making changes to make it compile on my laptop

Fixed makefile and removed multiple definitions from util.h (UTIL_getTime)

Removed UTIL_setFileStat from util.h and move it to util.c

Merge pull request #1366 from facebook/fix_strncat

fixed minor gcc warning

bumped version number to v1.3.7

updated documentation

Moving code to util.c

Merge pull request #1367 from atdt/dev

Enable use of bswap intrinsics in clang

Enable use of bswap intrinsics in clang

Necessary because clang disguises itself as an older (__GNUC_MINOR__ = 2) GCC.

Merge pull request #1365 from facebook/bitspeed

Improved decompression speed

restored bitMask for shift values

since corrupted bitstreams can generate too large values.

This slightly reduces the benefits from clang on my laptop.
gcc results and code generation are not affected.

removed one assert()

that can be triggered by a corrupted bitstream.

fixed minor gcc warning

gcc-8 on Linux doesn't like usage of strncat :
`warning: ‘strncat’ output truncated before terminating nul copying as many bytes from a string as its length`.

Not sure what was wrong, it might be a false positive,
but the logic is simple enough to replaced by a simple `memcpy()`,
thus avoiding the shenanigans of null-terminated strings.

removed one assert()

which can be triggered when input is corrupted.

improved decompression speed

while reviewing #1364,
I found a decompression speed improvement.

On my laptop, the new code decompresses +5-6% faster on clang
and +2-3% faster on gcc.

not bad for an accidental optimization...

Merge pull request #1363 from facebook/backtrace

backtrace support compiled with more conditions

use #if BACKTRACE_ENABLE directly

as suggested by @terrelln

Merge branch 'backtrace' of github.com:facebook/zstd into backtrace

fileio.c: Disable backtrace when built with address sanitizer

Covers clang and gcc's sanitizer flags.
Can still be overridden through CFLAGS on commandline.

fixed explicit BACKTRACE order

and automatic linux backtrace detection :
__GLIBC__ must be tested after #include <features.h>

fixed BACKTRACE_ENABLE macro test

Merge pull request #1361 from facebook/streamdoc

Clarify streaming api doc

Merge pull request #1362 from felixhandte/fix-btlazy-skipping

`ZSTD_btlazy2`: Avoid Erroneously Trampling on Match with Worse Dictionary Match

backtrace support compiled with more conditions

following #1356,
only enable backtrace compilation on linux+glibc.

Also, disable backtrace by default from "release" compilation,
so that less platforms get impacted by the new requirements.
Can be manually enabled/disabled using BACKTRACE=1/0.

Merge pull request #1356 from maxice8/fix-musl

don't assume __linux__ means __GLIBC__ on BACKTRACES_ENABLE

Avoid Searching Dictionary in ZSTD_btlazy2 When an Optimal Match is Found

Bailing here is important to avoid reading past the end of the input buffer.

Clean Up Debug Log Statements

Remove Unused Variable

clarify streaming api doc

as suggested by @indygreg in #1360

don't assume __linux__ means __GLIBC__ on BACKTRACES_ENABLE

check for __GLIBC__ instead of __linux__ as musl libc doesn't provide
execinfo.h

fixes compilation on Alpine Linux and Void Linux musl arches.

fixed fullbench-lib target

Merge pull request #1351 from facebook/haikubuild

 portability macro flags updates, for Haiku

Merge pull request #1353 from facebook/paramgrill

fixed paramgrill wrong assert() conditions

Merge branch 'dev' of github.com:facebook/zstd into dev

added graph for ZSTD_compress_usingCDict() in v1.3.6

Merge pull request #1352 from facebook/visual

fixed VS2017Community build script

fixed paramgrill wrong assert() conditions

and slightly refactored affected function.

Honestly, the formula calculating variance should get a second reviewing round,
it's not clear if it's correct.

fixed VS2017Community build script

reported by @epicabsol

finalized minor warnings on Haiku

changed ZSTD_NANOSLEEP_SUPPORT definition

to please `-Wexpansion-to-defined`

portability macro flags updates, for Haiku

some non-trivial changes to platform.h and util.h,
initially related to compilation for Haiku,
but I used this opportunity to make them cleaner
and add some documentation.

Noticed several tests that could be improved
(too harsh conditions, useless exception, etc.)
but I did not dare modifying too many tests just before release.

Merge pull request #1330 from korli/haiku

Enable building zstd on Haiku.

fixed wrong assert() position

could fire on invalid input.
blocking for afl tests.

Merge pull request #1350 from facebook/fixmsan

fixed msan warning

Enable building zstd on Haiku.

fixed msan warning

on btlazy2 strategy with dictAttach

Merge pull request #1348 from facebook/donotdelete

Fix #1082

fixed static analyzer warnings

note : for some reason,
scan-build version on my laptop found problems within fastcover.c
that scan-build on travisCI does not flag.

They are, as usual, false positive :
the analyzer does not understand that a table (`offset`) is correctly filled before usage.

restored backtrace on failure

for Linux and Mac OS-X.

Note : the backtraces fires up through a trap
before the sanitizer get a chance to report.
There are situations where the sanitizer report is actually preferable.

It might be good to consider a kind of build macro
which can disable backtrace
when sanitizer is enabled.

updated NEWS in anticipation for v1.3.6

Merge pull request #1317 from felixhandte/split-logs

Independent Dictionary and Working Context Table Logs

./zstd -f do no longer overwrite destination file

if source file does not exist (#1082)

zstd -d -f do no longer erase destination file

when source file does not exist (#1082)

Revert Ability to Set HashLog and ChainLog on Context When Dict is Attached

This capability is not needed / used in the current unit of work. I'll
re-introduce it later, when we start allowing users to override the deduced
working context logs.

regroup name creation logic into its own function

for a cleaner main file decompression loop

Merge pull request #1347 from terrelln/werror

Add -Werror to *build rules

Merge pull request #1346 from terrelln/small-block-fse

[zstd] Fix resetting FSE tables

Restore Passing CParams to `ZSTD_insertAndFindFirstIndex_internal`

Use Working Ctx Logs when not in DMS Mode

We pre-hash the ptr for the dict match state sometimes. When that actually
happens, a hashlog of 0 can produce undefined behavior (right shift a long
long by 64). Only applies to unoptimized compilations, since when
optimizations are applied, those hash operations are dropped when we're not
actually in dms mode.

When Attaching Dictionary, Size Working Tables Based on Input Size Only

Remove Log Overriding for the Time Being

Remove Strategy-Dependency in Making Attachment Decision

Support Split Logs in ZSTD_btopt..ZSTD_btultra

Bump Split Log Support to ZSTD_btultra

Support Split Logs in ZSTD_greedy..ZSTD_btlazy2

Bump Split Log Support to ZSTD_btlazy2

Support Split Logs in ZSTD_dfast

Bump Split Log Support to ZSTD_dfast

Support a Separate Hash Log in ZSTD_fast

Stop Passing in `hashLog` and `stepSize` to `ZSTD_compressBlock_fast_generic`

Temporary Commit to Retain Requested Hash and Chain Logs During Dict Attach

Allow Setting Hash and Chain Logs on Contexts with Attached CDict