Merge pull request #2159 from facebook/visual_playTests

Fix playTests.sh

fixed environment variables

Merge branch 'dev' into visual_playTests

Merge pull request #2158 from facebook/meson_fix

fix meson playTests.sh

fix meson playTests.sh

try to fix PPC64 Qemu tests

Merge pull request #2155 from facebook/fix_zbufftest

fixed zbuff test

fixed appveyor long tests

playTests changed variable name

fixed zbuff test

error introduced in https://github.com/facebook/zstd/blame/3b39ce6b527c5cfe395a187c75b77baf5cc7de02/.travis.yml#L192

Merge pull request #2153 from terrelln/ldm-dict-reset

[ldm][mt] Fix loadedDictEnd

[test] Update the ldm loadedDictEnd test to cover zstdmt

[ldm][mt] Fix loadedDictEnd

Merge pull request #2152 from terrelln/simple-rt-bound

[fuzz] Expand the allowedExpansion

[fuzz] Expand the allowedExpansion

fix 22294 (#2151)

Merge pull request #2150 from terrelln/ldm-dict-reset

[ldm] Reset loadedDictEnd when the context is reset

[test] Test that the ldm dictionary gets invalidated on reset

[test] Improve LDM forceMaxWindow test

Merge pull request #2148 from felixhandte/fix-2144

Don't Use `[[` in Shell Scripts

[ldm] Reset loadedDictEnd when the context is reset

Don't Use `[[` in Shell Scripts

Merge pull request #2146 from cwoffenden/combine-script-fixes

Reduced single file lib size on macOS

Minor tidy

Reduced generated sized on macOS (and other envs where realpath is missing)

Added Python fallback for when realpath fails.

updated CHANGELOG for v1.4.5

[fuzz] Adding dictionary_stream_round_trip fuzzer (#2140)

* Adding dictionary_stream_round_trip

* fixing memory leak

Merge pull request #2141 from terrelln/regression

[test][regression] Update results.csv

[test][regression] Update results.csv

updated documentation for v1.4.5

API manual and man pages

Merge pull request #2138 from terrelln/ldm-fix

[lib] Fix bug in loading LDM dictionary in MT mode

[test] Expose the LDM+MT+dict bug in a unit test

[lib] Fix bug in loading LDM dictionary in MT mode

Exposed when loading a dictionary < LDM minMatch bytes in MT mode.

Test Plan:
```
CC=clang make -j zstreamtest MOREFLAGS="-O0 -fsanitize=address"
./zstreamtest -vv -i100000000 -t1 --newapi -s7065 -t3925297
```

TODO: Add an explicit test that loads a small dictionary in MT mode

Merge pull request #2135 from bimbashrestha/grep

Revert to old zstdgrep because of potential license issue

reverting docs and test

Revert to old zstdgrep

Merge pull request #2134 from terrelln/align-lazy

[greedy] Fix performance instability

[greedy] Fix performance instability

Merge pull request #2131 from terrelln/raw-dict-fuzzer

Fix rare scenario with lazy parser, dictionary, and repcodes

[lib] Fix assertion when dictionary is prefix

Merge pull request #2132 from bimbashrestha/grep-rm-test

[build] removing -f test (grep usage not supported on mac)

Merge pull request #2125 from Artoria2e5/patch-2

programs/Makefile: make it actually work with clang

removing -f test (grep usage not supported on mac)

[lib] Fix lazy repcode validity checks

Merge pull request #2130 from facebook/initStatic_fix

Fix for initStatic

[lib] Fix repcode validation in no dict mode

[lib] Fix dictionary + repcodes + optimal parser

[lib][fuzz] Assert sequences are valid in round trip tests

fixed asan test

blindfix for VS macro redefinition

updated documentation for ZSTD_estimate*()

make it clearer that tighter memory estimation
can be provided using advanced functions
on the condition of a defined input size bound.

[lib] Fix lazy parser with dictionary + repcodes

[fuzz] Add raw dictionary content fuzzer

[fuzz] Fix compress bound for dictionary_round_trip

[doc] measuring performance docs (#2117)

* performance measuring docs

* spelling

* combining advanced and simple section

* zstd benchmark title change

Merge pull request #2124 from facebook/initStatic_tests

re-inforced tests for initStaticCCtx

Merge pull request #2123 from facebook/zstd_help

updated `zstd -h`

updated initStatic tests

differentiate small CCtx for small inputs
from full CCtx
from CStream contexts.

Ensure allocation & resize tests are more precise.

fixed context downsize with initStatic

When context is created using initStatic,
no resize is possible.

fix : only bump oversizeDuration when !initStatic

Merge branch 'dev' into initStatic_tests

Merge pull request #2129 from felixhandte/fix-cctx-size-estimate

Fix ZSTD_estimateCCtxSize() Under ASAN

Fix ZSTD_estimateCCtxSize() Under ASAN

`ZSTD_estimateCCtxSize()` provides estimates for one-shot compression, which
is guaranteed not to buffer inputs or outputs. So it ignores the sizes of the
buffers, assuming they'll be zero. However, the actual workspace allocation
logic always allocates those buffers, and when running under ASAN, the
workspace surrounds every allocation with 256 bytes of redzone. So the 0-sized
buffers end up consuming 512 bytes of space, which is accounted for in the
actual allocation path through the use of `ZSTD_cwksp_alloc_size()` but isn't
in the estimation path, since it ignores the buffers entirely.

This commit fixes this.

Merge pull request #2128 from terrelln/benches

Update benchmarks and add fast mode

Update benchmarks and add fast mode

Merge pull request #2127 from bimbashrestha/docs1

[doc] documenting non-supported grep options for zstdgrep to README

documenting non-supported grep options for zstdgrep

Merge pull request #2120 from facebook/clevel_doc

updated zstd CLI documentation

programs/Makefile: make it actually work with clang

Recent versions of clang seem to require a step of conversion from the profraw file to a "compiler-readable" profdata file to let PGO work.

re-inforced tests for initStaticCCtx

ensure that `estimateCCtxSize()` works as intended.

Merge pull request #2122 from felixhandte/unused-variables

Compile Under `-Wunused-variable`

minor clarification on `-o file`

Merge branch 'dev' of github.com:facebook/zstd into dev

updated `zstd -h`

to help readability.
Group arguments into categories,
try to give better visibility to more common arguments.

Merge pull request #2116 from felixhandte/pkg-config-again-again

Fix pkg-config File Generation Again Again

Use Unused Variable

document additional compilation macros

ZSTD_NOBENCH, ZSTD_NODICT, ZSTD_NOCOMPRESS, ZSTD_NODECOMPRESS

Only Trigger libzstd.pc Build on Unix-Like Platforms

We don't even define the rule on unsupported platforms.

Test libzstd.pc Build on Travis OS X

Add libzstd.pc Build to More Aggregate Targets in Makefiles

Fix pkg-config File Generation Again Again

Resubmission of #2001. This switches the `sed` invocations to use `-E`,
extended regex syntax, which is better standardized across platforms.
I guess.

Same test plan:

```
make -C lib clean libzstd.pc
cat lib/libzstd.pc

echo # should fail
make -C lib clean libzstd.pc     LIBDIR=/foo
make -C lib clean libzstd.pc INCLUDEDIR=/foo
make -C lib clean libzstd.pc     LIBDIR=/usr/localfoo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/localfoo
make -C lib clean libzstd.pc     LIBDIR=/usr/local/lib     prefix=/foo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/include prefix=/foo

echo # should succeed
make -C lib clean libzstd.pc     LIBDIR=/usr/local/foo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/foo
make -C lib clean libzstd.pc     LIBDIR=/usr/local/
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/
make -C lib clean libzstd.pc     LIBDIR=/usr/local
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local
make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp
make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp
make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp/foo
make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp/foo

echo # should also succeed
make -C lib clean libzstd.pc prefix=/foo LIBDIR=/foo/bar INCLUDEDIR=/foo/
cat lib/libzstd.pc

mkdir out
cd out
cmake ../build/cmake
make
cat lib/libzstd.pc
```

Merge pull request #2078 from nocnokneo/fix-destdir-installs

CMake: Fix DESTDIR installs and the Package Config file

Merge branch 'dev' into clevel_doc

Merge pull request #2118 from Artoria2e5/patch-1

programs/README.md: update help text

updated documentation regarding ZSTD_CLEVEL

make it clearer that it's useful for `tar --zstd`.

Merge pull request #2119 from bimbashrestha/mingw

[build] Adding $TARGET_SYSTEM for cross-compilation Fedora fix

adding

Merge pull request #2114 from facebook/verbose

support for verbose make

Merge pull request #2112 from facebook/cfast

small speed improvement for strategy fast

Change the modification of ZSTD_wildcopy()

revert ZSTD_reduceTable_internal()'s modificatiion

Modify indent of comments

Change "arm_neon.h" to system include <arm_neon.h>

Optimize compression by using neon function.

programs/README.md: update help text

I noticed that the help is outdated as there is no mention of --adapt. Y'all should probably put "update help text" into your release checklist.

[zdict] Stabilize ZDICT_finalizeDictionary()

Merge pull request #2115 from bimbashrestha/docs

[doc] Adding static analysis section and note

adding some static-anslysis docs

support for verbose make

A commonly accepted makefile idiom is V=1 or VERBOSE=1
to request the printing of all commands.

This is not "default" though, and must be manually added.

Example :
Before :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
creating versioned links
```

After :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
cc -DXXH_NAMESPACE=ZSTD_ -DZSTD_LEGACY_SUPPORT=5 -Wall -Wextra -Wcast-qual -Wcast-align -Wshadow -Wstrict-aliasing=1 -Wswitch-enum -Wdeclaration-after-statement -Wstrict-prototypes -Wundef -Wpointer-arith -Wvla -Wformat=2 -Winit-self -Wfloat-equal -Wwrite-strings -Wredundant-decls -Wmissing-prototypes -Wc++-compat  -O3 common/debug.c common/entropy_common.c common/error_private.c common/fse_decompress.c common/pool.c common/threading.c common/xxhash.c common/zstd_common.c compress/fse_compress.c compress/hist.c compress/huf_compress.c compress/zstd_compress.c compress/zstd_compress_literals.c compress/zstd_compress_sequences.c compress/zstd_compress_superblock.c compress/zstd_double_fast.c compress/zstd_fast.c compress/zstd_lazy.c compress/zstd_ldm.c compress/zstd_opt.c compress/zstdmt_compress.c decompress/huf_decompress.c decompress/zstd_ddict.c decompress/zstd_decompress.c decompress/zstd_decompress_block.c deprecated/zbuff_common.c deprecated/zbuff_compress.c deprecated/zbuff_decompress.c dictBuilder/cover.c dictBuilder/divsufsort.c dictBuilder/fastcover.c dictBuilder/zdict.c legacy/zstd_v05.c legacy/zstd_v06.c legacy/zstd_v07.c -shared -fPIC -fvisibility=hidden -Wl,-soname=libzstd.so.1 -o libzstd.so.1.4.5
creating versioned links
ln -sf libzstd.so.1.4.5 libzstd.so.1
ln -sf libzstd.so.1.4.5 libzstd.so
```

small speed improvement for strategy fast

gcc 9.3.0 :
kennedy : 459 -> 466
silesia : 360 -> 365
enwik8  : 267 -> 269

clang 10.0.0 :
kennedy : 436 -> 441
silesia : 364 -> 366
enwik8  : 271 -> 272

[lib] Fix NULL pointer dereference

When the output buffer is `NULL` with size 0, but the frame content size
is non-zero, we will write to the NULL pointer because our bounds check
underflowed.

This was exposed by a recent PR that allowed an empty frame into the
single-pass shortcut in streaming mode.

* Fix the bug.
* Fix another NULL dereference in zstd-v1.
* Overflow checks in 32-bit mode.
* Add a dedicated test.
* Expose the bug in the dedicated simple_decompress fuzzer.
* Switch all mallocs in fuzzers to return NULL for size=0.
* Fix a new timeout in a fuzzer.

Neither clang nor gcc show a decompression speed regression on x86-64.
On x86-32 clang is slightly positive and gcc loses 2.5% of speed.

Credit to OSS-Fuzz.

Merge pull request #2103 from felixhandte/relative-includes

Migrate Includes to Relative Paths