removing -f test (grep usage not supported on mac)

Merge pull request #2130 from facebook/initStatic_fix

Fix for initStatic

fixed asan test

blindfix for VS macro redefinition

updated documentation for ZSTD_estimate*()

make it clearer that tighter memory estimation
can be provided using advanced functions
on the condition of a defined input size bound.

[doc] measuring performance docs (#2117)

* performance measuring docs

* spelling

* combining advanced and simple section

* zstd benchmark title change

Merge pull request #2124 from facebook/initStatic_tests

re-inforced tests for initStaticCCtx

Merge pull request #2123 from facebook/zstd_help

updated `zstd -h`

updated initStatic tests

differentiate small CCtx for small inputs
from full CCtx
from CStream contexts.

Ensure allocation & resize tests are more precise.

fixed context downsize with initStatic

When context is created using initStatic,
no resize is possible.

fix : only bump oversizeDuration when !initStatic

Merge branch 'dev' into initStatic_tests

Merge pull request #2129 from felixhandte/fix-cctx-size-estimate

Fix ZSTD_estimateCCtxSize() Under ASAN

Fix ZSTD_estimateCCtxSize() Under ASAN

`ZSTD_estimateCCtxSize()` provides estimates for one-shot compression, which
is guaranteed not to buffer inputs or outputs. So it ignores the sizes of the
buffers, assuming they'll be zero. However, the actual workspace allocation
logic always allocates those buffers, and when running under ASAN, the
workspace surrounds every allocation with 256 bytes of redzone. So the 0-sized
buffers end up consuming 512 bytes of space, which is accounted for in the
actual allocation path through the use of `ZSTD_cwksp_alloc_size()` but isn't
in the estimation path, since it ignores the buffers entirely.

This commit fixes this.

Merge pull request #2128 from terrelln/benches

Update benchmarks and add fast mode

Update benchmarks and add fast mode

Merge pull request #2127 from bimbashrestha/docs1

[doc] documenting non-supported grep options for zstdgrep to README

documenting non-supported grep options for zstdgrep

Merge pull request #2120 from facebook/clevel_doc

updated zstd CLI documentation

re-inforced tests for initStaticCCtx

ensure that `estimateCCtxSize()` works as intended.

Merge pull request #2122 from felixhandte/unused-variables

Compile Under `-Wunused-variable`

minor clarification on `-o file`

Merge branch 'dev' of github.com:facebook/zstd into dev

updated `zstd -h`

to help readability.
Group arguments into categories,
try to give better visibility to more common arguments.

Merge pull request #2116 from felixhandte/pkg-config-again-again

Fix pkg-config File Generation Again Again

Use Unused Variable

document additional compilation macros

ZSTD_NOBENCH, ZSTD_NODICT, ZSTD_NOCOMPRESS, ZSTD_NODECOMPRESS

Only Trigger libzstd.pc Build on Unix-Like Platforms

We don't even define the rule on unsupported platforms.

Test libzstd.pc Build on Travis OS X

Add libzstd.pc Build to More Aggregate Targets in Makefiles

Fix pkg-config File Generation Again Again

Resubmission of #2001. This switches the `sed` invocations to use `-E`,
extended regex syntax, which is better standardized across platforms.
I guess.

Same test plan:

```
make -C lib clean libzstd.pc
cat lib/libzstd.pc

echo # should fail
make -C lib clean libzstd.pc     LIBDIR=/foo
make -C lib clean libzstd.pc INCLUDEDIR=/foo
make -C lib clean libzstd.pc     LIBDIR=/usr/localfoo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/localfoo
make -C lib clean libzstd.pc     LIBDIR=/usr/local/lib     prefix=/foo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/include prefix=/foo

echo # should succeed
make -C lib clean libzstd.pc     LIBDIR=/usr/local/foo
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/foo
make -C lib clean libzstd.pc     LIBDIR=/usr/local/
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/
make -C lib clean libzstd.pc     LIBDIR=/usr/local
make -C lib clean libzstd.pc INCLUDEDIR=/usr/local
make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp
make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp
make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp/foo
make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp/foo

echo # should also succeed
make -C lib clean libzstd.pc prefix=/foo LIBDIR=/foo/bar INCLUDEDIR=/foo/
cat lib/libzstd.pc

mkdir out
cd out
cmake ../build/cmake
make
cat lib/libzstd.pc
```

Merge pull request #2078 from nocnokneo/fix-destdir-installs

CMake: Fix DESTDIR installs and the Package Config file

Merge branch 'dev' into clevel_doc

Merge pull request #2118 from Artoria2e5/patch-1

programs/README.md: update help text

updated documentation regarding ZSTD_CLEVEL

make it clearer that it's useful for `tar --zstd`.

Merge pull request #2119 from bimbashrestha/mingw

[build] Adding $TARGET_SYSTEM for cross-compilation Fedora fix

adding

Merge pull request #2114 from facebook/verbose

support for verbose make

Merge pull request #2112 from facebook/cfast

small speed improvement for strategy fast

Change the modification of ZSTD_wildcopy()

revert ZSTD_reduceTable_internal()'s modificatiion

Modify indent of comments

Change "arm_neon.h" to system include <arm_neon.h>

Optimize compression by using neon function.

programs/README.md: update help text

I noticed that the help is outdated as there is no mention of --adapt. Y'all should probably put "update help text" into your release checklist.

[zdict] Stabilize ZDICT_finalizeDictionary()

Merge pull request #2115 from bimbashrestha/docs

[doc] Adding static analysis section and note

adding some static-anslysis docs

support for verbose make

A commonly accepted makefile idiom is V=1 or VERBOSE=1
to request the printing of all commands.

This is not "default" though, and must be manually added.

Example :
Before :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
creating versioned links
```

After :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
cc -DXXH_NAMESPACE=ZSTD_ -DZSTD_LEGACY_SUPPORT=5 -Wall -Wextra -Wcast-qual -Wcast-align -Wshadow -Wstrict-aliasing=1 -Wswitch-enum -Wdeclaration-after-statement -Wstrict-prototypes -Wundef -Wpointer-arith -Wvla -Wformat=2 -Winit-self -Wfloat-equal -Wwrite-strings -Wredundant-decls -Wmissing-prototypes -Wc++-compat  -O3 common/debug.c common/entropy_common.c common/error_private.c common/fse_decompress.c common/pool.c common/threading.c common/xxhash.c common/zstd_common.c compress/fse_compress.c compress/hist.c compress/huf_compress.c compress/zstd_compress.c compress/zstd_compress_literals.c compress/zstd_compress_sequences.c compress/zstd_compress_superblock.c compress/zstd_double_fast.c compress/zstd_fast.c compress/zstd_lazy.c compress/zstd_ldm.c compress/zstd_opt.c compress/zstdmt_compress.c decompress/huf_decompress.c decompress/zstd_ddict.c decompress/zstd_decompress.c decompress/zstd_decompress_block.c deprecated/zbuff_common.c deprecated/zbuff_compress.c deprecated/zbuff_decompress.c dictBuilder/cover.c dictBuilder/divsufsort.c dictBuilder/fastcover.c dictBuilder/zdict.c legacy/zstd_v05.c legacy/zstd_v06.c legacy/zstd_v07.c -shared -fPIC -fvisibility=hidden -Wl,-soname=libzstd.so.1 -o libzstd.so.1.4.5
creating versioned links
ln -sf libzstd.so.1.4.5 libzstd.so.1
ln -sf libzstd.so.1.4.5 libzstd.so
```

small speed improvement for strategy fast

gcc 9.3.0 :
kennedy : 459 -> 466
silesia : 360 -> 365
enwik8  : 267 -> 269

clang 10.0.0 :
kennedy : 436 -> 441
silesia : 364 -> 366
enwik8  : 271 -> 272

[lib] Fix NULL pointer dereference

When the output buffer is `NULL` with size 0, but the frame content size
is non-zero, we will write to the NULL pointer because our bounds check
underflowed.

This was exposed by a recent PR that allowed an empty frame into the
single-pass shortcut in streaming mode.

* Fix the bug.
* Fix another NULL dereference in zstd-v1.
* Overflow checks in 32-bit mode.
* Add a dedicated test.
* Expose the bug in the dedicated simple_decompress fuzzer.
* Switch all mallocs in fuzzers to return NULL for size=0.
* Fix a new timeout in a fuzzer.

Neither clang nor gcc show a decompression speed regression on x86-64.
On x86-32 clang is slightly positive and gcc loses 2.5% of speed.

Credit to OSS-Fuzz.

Merge pull request #2103 from felixhandte/relative-includes

Migrate Includes to Relative Paths

Merge pull request #2095 from bimbashrestha/grep

[bugs] zstdgrep/grep inconsistencies

Merge pull request #2109 from facebook/fasterCygwin

faster cygwin test

adding tests back

Merge pull request #2108 from facebook/hufc_wconv

some more conversion fixes …

faster cygwin test

The cygwin test on Appveyor is way too long (>30 mn).
The main issue is the very long zstreamtest, because no time out has been programmed.
Ensures that both fuzzer and zstreamtest receive a 30sec slot.
Should reduce cygwin tests duration by -30mn.

Yay It Works, Clean Up Logging A Bit

Fix Sed Regex Escaping for Extended Regex Rules......

Uhhh It's Still Failing, Let's Try Printing Debug Info?

Merge branch 'dev' into hufc_wconv

Fix Fallbacks to Work on FreeBSD

some more conversion warnings

hunting down some static analyzer warnings

adding help text

fixing inconsistencies

fix minor conversion warnings (#2106)

Add Fallback When realpath Doesn't Support --relative-to

Mark zstddeclib-in.c Not Executable

fix minor conversion warnings

Merge pull request #1976 from felixhandte/minimal-lib-target

Add Minification Variable to `lib/Makefile`

Try to Fix Single File Library Combiner Script to Handle Relative Includes

Remove Useless Assignment in Makefile

Also Move programs/ Directory to Relative Includes

Rewrite Include Paths to be Relative

Addresses #1998.

[bench] Extending largeNbDicts to compression  (#2089)

* adding cdict_collection_t

* adding shuffleCDictionaries()

* adding compressInstructions

* adding compress()

* integrating compression into bench()

* copy paste error fix

* static analyzer uninit value complaint fix

* changing to control

* removing assert

* changing to control

* moving memcpy to seperate function

* fixing static analyzer complaint

* another hacky solution attempt

* Copying createbuffer logic

Merge pull request #2099 from felixhandte/compile-under-pedantic

Compile Under `-pedantic -Werror` and `-std=c90`

Test Flag in Travis CI

Add Space-Optimized Helper Variable to Lib Makefile

This diff reorganizes the `lib/Makefile` to extract various settings that a
user would normally invoke together (supposing that they were aware of them)
if they were trying to build the smallest `libzstd` possible. It collects
these settings under a master setting `ZSTD_LIB_MIN_SIZE`.

Also document this new option.

Merge pull request #1984 from MeghnaM/1636-Reduce-stack-usage-of-HUF_sort

Reduce stack usage of HUF_sort()

Try to Fix MSVC Error

It's complaining about the `memcpy`s, saying:

"warning C4090: 'function': different 'const' qualifiers"

Let's try explicitly casting to the argument types...

Do a `-pedantic` Build in CircleCI

Fix Up Some Pointer Handling in Tests

Switch Helper Declaration to Not Force Inline

It was causing build issues in ANSI mode.

Purge C++-Style Comments (`// ...`), Make Compilation Succeed Under C90

Avoid inline Keyword in C90

Previously we would use it for all gcc-like compilations, even when a
restrictive mode that disallowed it had been selected.

Don't Evaluate Arguments to Dummy Function

Allow Empty Format Strings in Error Macro Invocations

`-Wall` implies `-Wformat-zero-length`, which will cause compilation to fail
under `-Werror` when an empty string is passed as the format string to a
`printf`-family function. This commit moves us back to prefixing the provided
format string, which successfully avoids that warning.

However, this removes the failure mode where that `RAWLOG` invocation would
fail to compile when no format string was provided at all (which was desirable
to avoid having code that would successfully compile normally but fail under
`-pedantic`, which *does* require that a non-zero number of args are provided).

So this commit also introduces a function which does nothing at all, but will
fail to compile if not provided with at least one argument, which is a string.
This successfully links the compilability of pedantic and non-pedantic builds.

Make All Invocations Start With Literal Format String

Make Error Macro Invocation Without Info String Fail to Compile

Even without `-pedantic`, these macros will now fail to compile unless you
provide an info string argument. This will prevent us from regressing.

Add (Possibly Empty) Info Strings to All Variadic Error Handling Macro Invocations

Fix superblock mode (#2100)

Fixes:

Enable RLE blocks for superblock mode
Fix the limitation that the literals block must shrink. Instead, when we're within 200 bytes of the next header byte size, we will just use the next one up. That way we should (almost?) always have space for the table.
Remove the limitation that the first sub-block MUST have compressed literals and be compressed. Now one sub-block MUST be compressed (otherwise we fall back to raw block which is okay, since that is streamable). If no block has compressed literals that is okay, we will fix up the next Huffman table.
Handle the case where the last sub-block is uncompressed (maybe it is very small). Before it would skip superblock in this case, now we allow the last sub-block to be uncompressed. To do this we need to regenerate the correct repcodes.
Respect disableLiteralsCompression in superblock mode
Fix superblock mode to handle a block consisting of only compressed literals
Fix a off by 1 error in superblock mode that disabled it whenever there were last literals
Fix superblock mode with long literals/matches (> 0xFFFF)
Allow superblock mode to repeat Huffman tables
Respect ZSTD_minGain().
Tests:

Simple check for the condition in #2096.
When the simple_round_trip fuzzer enables superblock mode, it checks that the compressed size isn't expanded too much.
Remaining limitations:

O(targetCBlockSize^2) because we recompute statistics every sequence
Unable to split literals of length > targetCBlockSize into multiple sequences
Refuses to generate sub-blocks that don't shrink the compressed data, so we could end up with large sub-blocks. We should emit those sections as uncompressed blocks instead.
...
Fixes #2096

Fix broken CI; make changes in response to the comments

Remove magic constant and made other changes addressing the comments

Fixed tests to use correct workspace size

WIP: Still getting an error

WIP: Increased wksp size, but it's segfaulting

Move rank table into HUF_buildCTable_wksp()

Merge pull request #2101 from bimbashrestha/meson

[build] fix meson build issue

meson msvc build fix

Merge pull request #2097 from facebook/underlink

Fix underlinked libzstd

fixed zstd-nolegacy target

when compiled as part of allVariants

(though I'm unsure why it was working before ...)