Use Unused Variable

Merge pull request #2078 from nocnokneo/fix-destdir-installs

CMake: Fix DESTDIR installs and the Package Config file

Merge pull request #2118 from Artoria2e5/patch-1

programs/README.md: update help text

Merge pull request #2119 from bimbashrestha/mingw

[build] Adding $TARGET_SYSTEM for cross-compilation Fedora fix

adding

Merge pull request #2114 from facebook/verbose

support for verbose make

Merge pull request #2112 from facebook/cfast

small speed improvement for strategy fast

Change the modification of ZSTD_wildcopy()

revert ZSTD_reduceTable_internal()'s modificatiion

Modify indent of comments

Change "arm_neon.h" to system include <arm_neon.h>

Optimize compression by using neon function.

programs/README.md: update help text

I noticed that the help is outdated as there is no mention of --adapt. Y'all should probably put "update help text" into your release checklist.

[zdict] Stabilize ZDICT_finalizeDictionary()

Merge pull request #2115 from bimbashrestha/docs

[doc] Adding static analysis section and note

adding some static-anslysis docs

support for verbose make

A commonly accepted makefile idiom is V=1 or VERBOSE=1
to request the printing of all commands.

This is not "default" though, and must be manually added.

Example :
Before :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
creating versioned links
```

After :
```
make libzstd
compiling dynamic library 1.4.5
creating versioned links

make libzstd V=1
compiling dynamic library 1.4.5
cc -DXXH_NAMESPACE=ZSTD_ -DZSTD_LEGACY_SUPPORT=5 -Wall -Wextra -Wcast-qual -Wcast-align -Wshadow -Wstrict-aliasing=1 -Wswitch-enum -Wdeclaration-after-statement -Wstrict-prototypes -Wundef -Wpointer-arith -Wvla -Wformat=2 -Winit-self -Wfloat-equal -Wwrite-strings -Wredundant-decls -Wmissing-prototypes -Wc++-compat  -O3 common/debug.c common/entropy_common.c common/error_private.c common/fse_decompress.c common/pool.c common/threading.c common/xxhash.c common/zstd_common.c compress/fse_compress.c compress/hist.c compress/huf_compress.c compress/zstd_compress.c compress/zstd_compress_literals.c compress/zstd_compress_sequences.c compress/zstd_compress_superblock.c compress/zstd_double_fast.c compress/zstd_fast.c compress/zstd_lazy.c compress/zstd_ldm.c compress/zstd_opt.c compress/zstdmt_compress.c decompress/huf_decompress.c decompress/zstd_ddict.c decompress/zstd_decompress.c decompress/zstd_decompress_block.c deprecated/zbuff_common.c deprecated/zbuff_compress.c deprecated/zbuff_decompress.c dictBuilder/cover.c dictBuilder/divsufsort.c dictBuilder/fastcover.c dictBuilder/zdict.c legacy/zstd_v05.c legacy/zstd_v06.c legacy/zstd_v07.c -shared -fPIC -fvisibility=hidden -Wl,-soname=libzstd.so.1 -o libzstd.so.1.4.5
creating versioned links
ln -sf libzstd.so.1.4.5 libzstd.so.1
ln -sf libzstd.so.1.4.5 libzstd.so
```

small speed improvement for strategy fast

gcc 9.3.0 :
kennedy : 459 -> 466
silesia : 360 -> 365
enwik8  : 267 -> 269

clang 10.0.0 :
kennedy : 436 -> 441
silesia : 364 -> 366
enwik8  : 271 -> 272

[lib] Fix NULL pointer dereference

When the output buffer is `NULL` with size 0, but the frame content size
is non-zero, we will write to the NULL pointer because our bounds check
underflowed.

This was exposed by a recent PR that allowed an empty frame into the
single-pass shortcut in streaming mode.

* Fix the bug.
* Fix another NULL dereference in zstd-v1.
* Overflow checks in 32-bit mode.
* Add a dedicated test.
* Expose the bug in the dedicated simple_decompress fuzzer.
* Switch all mallocs in fuzzers to return NULL for size=0.
* Fix a new timeout in a fuzzer.

Neither clang nor gcc show a decompression speed regression on x86-64.
On x86-32 clang is slightly positive and gcc loses 2.5% of speed.

Credit to OSS-Fuzz.

Merge pull request #2103 from felixhandte/relative-includes

Migrate Includes to Relative Paths

Merge pull request #2095 from bimbashrestha/grep

[bugs] zstdgrep/grep inconsistencies

Merge pull request #2109 from facebook/fasterCygwin

faster cygwin test

adding tests back

Merge pull request #2108 from facebook/hufc_wconv

some more conversion fixes …

faster cygwin test

The cygwin test on Appveyor is way too long (>30 mn).
The main issue is the very long zstreamtest, because no time out has been programmed.
Ensures that both fuzzer and zstreamtest receive a 30sec slot.
Should reduce cygwin tests duration by -30mn.

Yay It Works, Clean Up Logging A Bit

Fix Sed Regex Escaping for Extended Regex Rules......

Uhhh It's Still Failing, Let's Try Printing Debug Info?

Merge branch 'dev' into hufc_wconv

Fix Fallbacks to Work on FreeBSD

some more conversion warnings

hunting down some static analyzer warnings

adding help text

fixing inconsistencies

fix minor conversion warnings (#2106)

Add Fallback When realpath Doesn't Support --relative-to

Mark zstddeclib-in.c Not Executable

fix minor conversion warnings

Merge pull request #1976 from felixhandte/minimal-lib-target

Add Minification Variable to `lib/Makefile`

Try to Fix Single File Library Combiner Script to Handle Relative Includes

Remove Useless Assignment in Makefile

Also Move programs/ Directory to Relative Includes

Rewrite Include Paths to be Relative

Addresses #1998.

[bench] Extending largeNbDicts to compression  (#2089)

* adding cdict_collection_t

* adding shuffleCDictionaries()

* adding compressInstructions

* adding compress()

* integrating compression into bench()

* copy paste error fix

* static analyzer uninit value complaint fix

* changing to control

* removing assert

* changing to control

* moving memcpy to seperate function

* fixing static analyzer complaint

* another hacky solution attempt

* Copying createbuffer logic

Merge pull request #2099 from felixhandte/compile-under-pedantic

Compile Under `-pedantic -Werror` and `-std=c90`

Test Flag in Travis CI

Add Space-Optimized Helper Variable to Lib Makefile

This diff reorganizes the `lib/Makefile` to extract various settings that a
user would normally invoke together (supposing that they were aware of them)
if they were trying to build the smallest `libzstd` possible. It collects
these settings under a master setting `ZSTD_LIB_MIN_SIZE`.

Also document this new option.

Merge pull request #1984 from MeghnaM/1636-Reduce-stack-usage-of-HUF_sort

Reduce stack usage of HUF_sort()

Try to Fix MSVC Error

It's complaining about the `memcpy`s, saying:

"warning C4090: 'function': different 'const' qualifiers"

Let's try explicitly casting to the argument types...

Do a `-pedantic` Build in CircleCI

Fix Up Some Pointer Handling in Tests

Switch Helper Declaration to Not Force Inline

It was causing build issues in ANSI mode.

Purge C++-Style Comments (`// ...`), Make Compilation Succeed Under C90

Avoid inline Keyword in C90

Previously we would use it for all gcc-like compilations, even when a
restrictive mode that disallowed it had been selected.

Don't Evaluate Arguments to Dummy Function

Allow Empty Format Strings in Error Macro Invocations

`-Wall` implies `-Wformat-zero-length`, which will cause compilation to fail
under `-Werror` when an empty string is passed as the format string to a
`printf`-family function. This commit moves us back to prefixing the provided
format string, which successfully avoids that warning.

However, this removes the failure mode where that `RAWLOG` invocation would
fail to compile when no format string was provided at all (which was desirable
to avoid having code that would successfully compile normally but fail under
`-pedantic`, which *does* require that a non-zero number of args are provided).

So this commit also introduces a function which does nothing at all, but will
fail to compile if not provided with at least one argument, which is a string.
This successfully links the compilability of pedantic and non-pedantic builds.

Make All Invocations Start With Literal Format String

Make Error Macro Invocation Without Info String Fail to Compile

Even without `-pedantic`, these macros will now fail to compile unless you
provide an info string argument. This will prevent us from regressing.

Add (Possibly Empty) Info Strings to All Variadic Error Handling Macro Invocations

Fix superblock mode (#2100)

Fixes:

Enable RLE blocks for superblock mode
Fix the limitation that the literals block must shrink. Instead, when we're within 200 bytes of the next header byte size, we will just use the next one up. That way we should (almost?) always have space for the table.
Remove the limitation that the first sub-block MUST have compressed literals and be compressed. Now one sub-block MUST be compressed (otherwise we fall back to raw block which is okay, since that is streamable). If no block has compressed literals that is okay, we will fix up the next Huffman table.
Handle the case where the last sub-block is uncompressed (maybe it is very small). Before it would skip superblock in this case, now we allow the last sub-block to be uncompressed. To do this we need to regenerate the correct repcodes.
Respect disableLiteralsCompression in superblock mode
Fix superblock mode to handle a block consisting of only compressed literals
Fix a off by 1 error in superblock mode that disabled it whenever there were last literals
Fix superblock mode with long literals/matches (> 0xFFFF)
Allow superblock mode to repeat Huffman tables
Respect ZSTD_minGain().
Tests:

Simple check for the condition in #2096.
When the simple_round_trip fuzzer enables superblock mode, it checks that the compressed size isn't expanded too much.
Remaining limitations:

O(targetCBlockSize^2) because we recompute statistics every sequence
Unable to split literals of length > targetCBlockSize into multiple sequences
Refuses to generate sub-blocks that don't shrink the compressed data, so we could end up with large sub-blocks. We should emit those sections as uncompressed blocks instead.
...
Fixes #2096

Fix broken CI; make changes in response to the comments

Remove magic constant and made other changes addressing the comments

Fixed tests to use correct workspace size

WIP: Still getting an error

WIP: Increased wksp size, but it's segfaulting

Move rank table into HUF_buildCTable_wksp()

Merge pull request #2101 from bimbashrestha/meson

[build] fix meson build issue

meson msvc build fix

Merge pull request #2097 from facebook/underlink

Fix underlinked libzstd

fixed zstd-nolegacy target

when compiled as part of allVariants

(though I'm unsure why it was working before ...)

added test linking user program to multi-threaded libzstd

generalized pattern rules

fix libzstd-mt underlinking issue

fix #2045
When compiling `libzstd` in multithreading mode,
the `libzstd-mt` recipe would not include `-pthread`,
resulting in an underlinked dynamic library.

Added a test on Travis to check that the library is fully linked.

This makes it possible, in some future release,
to build a multi-threaded `libzstd` dynamic library by default
as it would no longer impact the build script of user programs.

Merge pull request #2094 from terrelln/stable-dst

[lib] Add ZSTD_d_stableOutBuffer + fix single-pass mode for empty frames

new tests created new artifacts

they were not properly ignored

Add extra warnings about not modifying the ZSTD_outBuffer

Merge pull request #2048 from nocnokneo/ctest-support

Add CTest support

[fuzz] Fuzz test ZSTD_d_stableOutBuffer

Add some comments

[lib] Fix single-pass mode for empty frames

[lib] Add ZSTD_d_stableOutBuffer

[zstd] Fix typo in ZSTD_dParameter

Merge pull request #2088 from bimbashrestha/bug

[bug] Making compressStream2 fail when passing rawContent but claiming fullDict

Merge pull request #2086 from bimbashrestha/quick3

[bug] passing cParams.hashLog instead of comprParams->hashLog for ldm trigger

passing dictContentType instead of rawContent every time

adding fail test when passing wrong fullDict using refPrefix

bash to shell conversion

changing to cParams.hashLog

adding test for long mode trigger

Merge pull request #2085 from bimbashrestha/quick2

[doc-bug] Updating the recommended max chainlog for patch-from

updating chainlog bound

Merge pull request #2083 from bimbashrestha/quick1

[nit] Adding missing newline at end of patch-from recommendations

adding newline

Adding --long support for --patch-from (#1959)

* adding long support for patch-from

* adding refPrefix to dictionary_decompress

* adding refPrefix to dictionary_loader

* conversion nit

* triggering log mode on chainLog < fileLog and removing old threshold

* adding refPrefix to dictionary_round_trip

* adding docs

* adding enableldm + forceWindow test for dict

* separate patch-from logic into FIO_adjustParamsForPatchFromMode

* moving memLimit adjustment to outside ifdefs (need for decomp)

* removing refPrefix gate on dictionary_round_trip

* rebase on top of dev refPrefix change

* making sure refPrefx + ldm is < 1% of srcSize

* combining notes for patch-from

* moving memlimit logic inside fileio.c

* adding display for optimal parser and long mode trigger

* conversion nit

* fuzzer found heap-overflow fix

* another conversion nit

* moving FIO_adjustMemLimitForPatchFromMode outside ifndef

* making params immutable

* moving memLimit update before createDictBuffer call

* making maxSrcSize unsigned long long

* making dictSize and maxSrcSize params unsigned long long

* error on files larger than 4gb

* extend refPrefix test to include round trip

* conversion to size_t

* making sure ldm is at least 10x better

* removing break

* including zstd_compress_internal and removing redundant macros

* exposing ZSTD_cycleLog()

* using cycleLog instead of chainLog

* add some more docs about user optimizations

* formatting

Merge pull request #2080 from facebook/minor_fileio_refactor

minor refactor of `fileio.c`

minor refactor

- fix a few comments
- reorder some parameters, to enforce "mutable references first"
- simplified fwriteSparse()

Minor CMake refactoring/simplification

Fix that installation of the libzstd.pc does not respect DESTDIR installations

Generate a better CMake Package Config file

Merge pull request #2040 from caoyzh/dev-2

Optimize by prefetching on aarch64

Merge pull request #2075 from bimbashrestha/dict_fuzzer_ref

[bug] handling case where prefix is NULL or 0 sized in refPrefix_advanced