Improves decompression speed when using cold dictionary

by triggering the prefetching decoder path
(which used to be dedicated to long-range offsets only).

Figures on my laptop :
no content prefetch : ~300 MB/s (for reference)
full content prefetch : ~325 MB/s (before this patch)
new prefetch path : ~375 MB/s (after this patch)

The benchmark speed is already significant,
but another side-effect is that this version
prefetch less data into memory,
since it only prefetches what's needed, instead of the full dictionary.

This is supposed to help highly active environments
such as active databases,
that can't be properly measured in benchmark environment (too clean).

Also :
fixed the largeNbDict test program
which was working improperly when setting nbBlocks > nbFiles.

reduced assertion strength

one limit case can apparently be generated during fuzzer tests

added a simple test case for decode-only benchmark mode

as it was broken and no one noticed

improve long-range decoder speed

on enwik9 at level 22 (which is almost a worst case scenario),
speed improves by +7% on my laptop (415 -> 445 MB/s)

fixed decompression-only benchmark

Merge pull request #1405 from pitrou/allow_cmake_debug_builds

Allow creating debug builds with CMake

Allow creating debug builds with CMake

Only set the build type to Release if the user didn't select any.
See discussion in https://github.com/facebook/zstd/pull/1278#issuecomment-436327923
and below.

Merge pull request #1404 from facebook/T36302429

fixed T36302471

Merge pull request #1403 from facebook/assert_opt

just add an assert() in ZSTD_insertBtAndGetAllMatches()

fixed T36302429

just add an assert() in ZSTD_insertBtAndGetAllMatches()

to express a condition on ll0 .
May help static analyzer as in #1397

Merge pull request #1395 from facebook/decompressblock

created zstd_decompress_block module

Merge pull request #1398 from bmwiedemann/pgo

Fix building zstd-pgo

fixed a second memset() on NULL

not sure why it only triggers now,
this code has been around for a while.

Introduced a new error code : dstBuffer_null,
I couldn't express anything even remotely similar with existing error codes set.

fixed memcpy() on NULL warning

memcpy(NULL, src, 0) is undefined behavior.

Merge pull request #1396 from facebook/huf_refactor

refactor HUF_compress_internal for clarity

pgo: also optimize compression

and clean *.o so that linking does not fail from code
that is partially augmented with coverage generation instructions

zstd-pgo: do not make clean and zstd in parallel

otherwise, there might not be a ./zstd to run

added flag -Wc++-compat

for library and cli

renamed NEWS as CHANGELOG

to conform fb publication rules.

minor clarifications of history update rules

Merge pull request #1392 from coetry/dev

provide consistent spacing to enum field

Merge pull request #1394 from terrelln/circleci-packaging

Publish uncompressed, zstd, and gzipped packages

Merge branch 'dev' into huf_Refactor

added a few comments for clarifications

Merge branch 'dev' into decompressblock

Merge pull request #1390 from facebook/nullAsOutput

support decompressing an empty frame into NULL

vertically align code comment

refactor HUF_compress_internal for clarity

changed workspace parameter convention
to always provide workspaceSize,
so that size can be explicitly checked.

Also, use more enum to make the meaning of some parameters more explicit.

Publish uncompressed, zstd, and gzipped packages

fixed VS2010 project

fixed : extraneous function prototype in fullbench.c

now provided through zstd_internal.h

provide consistent spacing to enum field

created zstd_decompress_block module

isolate all logic associated with block decompression
into its own module.

zstd_decompress is still in charge
of context creation/destruction,
frames, headers, streaming, special blocks, etc.

Compressed blocks themselves are now handled within zstd_decompress_block .

Merge pull request #1388 from facebook/ddict

separate DDict logic into its own module

added comment on public ddict functions

support decompressing an empty frame into NULL

fix #1385
decompressing into NULL was an automatic error.
It is now allowed, as long as the content of the frame is empty.

Seems to simplify things for `arrow`.
Maybe some other projects rely on this behavior ?

fix and refactored libzstd_partial_build.sh

make the test intention clearer
(easier to maintain)

also resist the existence of zstd_ddict.o within libzstd.a

fixed warnings in testpools

added simple guard macros

in case of accidental multi-includes

fixed VS2010 build script

restored cmake build tests in Travis

for some reason, these tests were no longer played on Travis.

As a consequence, I discovered some left-over from the util.c change while testing.

separate DDict logic into its own module

created zstd_ddict.c within lib/decompress

Merge pull request #1384 from ulikunitz/dev

Clarify special case of offset history update

Reverted removal of a trailing space.

My editor removes trailing spaces while saving. Not confusing things I
reverted that change.

Fixed a typo

I fixed a typo in the last commit. Many thanks to @terrelin for pointing
that out.

Clarify special case of offset history update

If the current sequence has literal length of zero then an offset value
of three is handled in a special manner. While I implemented a golang
decoder I had to consult the educational decoder for clarification on
the update of the offset history in that case. This commit provides the
clarification that the offset value Repeated_Offset1-1 is handled as a
new offset is added to the offset history accordingly.

Merge pull request #1383 from facebook/uninstall

fix : removed zstdmt symlink on uninstall

fix : removed zstdmt symlink on uninstall

Merge pull request #1380 from facebook/decodecorpus

fix decodecorpus incorrect frame generation

Merge pull request #1382 from jonesz/ticket-compiler-rt-fuzzer

Fix libFuzzer location in makefile.

Fix libFuzzer location in makefile.

libFuzzer was moved into compiler-rt, update the repo location
accordingly.

fix decodecorpus incorrect frame generation

fix #1379
decodecorpus was generating one extraneous byte when `nbSeq==0`.
This is disallowed by the specification.

The reference decoder was just skipping the extraneous byte.
It is now stricter, and flag such situation as an error.

Merge pull request #1368 from rkjain89/test-branch

Moving Code To util.c

Made the changes in zstd vcproj file for VS2008 as requested

minor NEWS update for v1.3.7

Merge pull request #1372 from samrussell/dev

Add man pages for zstdgrep and zstdless

fix up zgrep/zless references

Add man pages for zstdgrep and zstdless

Changing tests/fuzz/Makefile to move util.o to FUZZ_SRC instead

Adding util.c to zstd VS file

Adding chagnes for cmake and VStudio

Fixing poolTests, I will understand about cmake and VStudio and push them in a later commit

Address most comments

Moving more function to the new C file

Fixing regressiontest makefile

Removing static and making extern

update NEWS for v1.3.7

Merge pull request #1369 from facebook/v137

bumped version number to v1.3.7

Making changes to make it compile on my laptop

Fixed makefile and removed multiple definitions from util.h (UTIL_getTime)

Removed UTIL_setFileStat from util.h and move it to util.c

Merge pull request #1366 from facebook/fix_strncat

fixed minor gcc warning

bumped version number to v1.3.7

updated documentation

Moving code to util.c

Merge pull request #1367 from atdt/dev

Enable use of bswap intrinsics in clang

Enable use of bswap intrinsics in clang

Necessary because clang disguises itself as an older (__GNUC_MINOR__ = 2) GCC.

Merge pull request #1365 from facebook/bitspeed

Improved decompression speed

restored bitMask for shift values

since corrupted bitstreams can generate too large values.

This slightly reduces the benefits from clang on my laptop.
gcc results and code generation are not affected.

removed one assert()

that can be triggered by a corrupted bitstream.

fixed minor gcc warning

gcc-8 on Linux doesn't like usage of strncat :
`warning: ‘strncat’ output truncated before terminating nul copying as many bytes from a string as its length`.

Not sure what was wrong, it might be a false positive,
but the logic is simple enough to replaced by a simple `memcpy()`,
thus avoiding the shenanigans of null-terminated strings.

removed one assert()

which can be triggered when input is corrupted.

improved decompression speed

while reviewing #1364,
I found a decompression speed improvement.

On my laptop, the new code decompresses +5-6% faster on clang
and +2-3% faster on gcc.

not bad for an accidental optimization...

Merge pull request #1363 from facebook/backtrace

backtrace support compiled with more conditions

use #if BACKTRACE_ENABLE directly

as suggested by @terrelln

Merge branch 'backtrace' of github.com:facebook/zstd into backtrace

fileio.c: Disable backtrace when built with address sanitizer

Covers clang and gcc's sanitizer flags.
Can still be overridden through CFLAGS on commandline.

fixed explicit BACKTRACE order

and automatic linux backtrace detection :
__GLIBC__ must be tested after #include <features.h>

fixed BACKTRACE_ENABLE macro test

Merge pull request #1361 from facebook/streamdoc

Clarify streaming api doc

Merge pull request #1362 from felixhandte/fix-btlazy-skipping

`ZSTD_btlazy2`: Avoid Erroneously Trampling on Match with Worse Dictionary Match

backtrace support compiled with more conditions

following #1356,
only enable backtrace compilation on linux+glibc.

Also, disable backtrace by default from "release" compilation,
so that less platforms get impacted by the new requirements.
Can be manually enabled/disabled using BACKTRACE=1/0.

Merge pull request #1356 from maxice8/fix-musl

don't assume __linux__ means __GLIBC__ on BACKTRACES_ENABLE

Avoid Searching Dictionary in ZSTD_btlazy2 When an Optimal Match is Found

Bailing here is important to avoid reading past the end of the input buffer.

Clean Up Debug Log Statements

Remove Unused Variable

clarify streaming api doc

as suggested by @indygreg in #1360

don't assume __linux__ means __GLIBC__ on BACKTRACES_ENABLE

check for __GLIBC__ instead of __linux__ as musl libc doesn't provide
execinfo.h

fixes compilation on Alpine Linux and Void Linux musl arches.

fixed fullbench-lib target

Merge pull request #1351 from facebook/haikubuild

 portability macro flags updates, for Haiku