Add Tool to Diagnose Whether Corrupt Blobs are Plausibly Bit-Flips

I spend an increasing amount of my time looking at "Corrupted block detected"
failures in decompression. Not infrequently, I suspect that it is the result
of hardware failure, and that the blob has become bit-flipped or otherwise
corrupted somewhere along the line.

For that reason I was motivated to write a little tool to inspect blobs that
fail to decompress, to try modifying them, and then check whether they
decompress successfully. This seems like potentially a generally useful tool,
so I figured it might be worth putting in `contrib/`.

Merge pull request #1866 from legrosbuffle/dev

Optimized loop bounds to allow the compiler to unroll the loop.

Merge pull request #1888 from senhuang42/superblocks_fixed

RLE test and re-enable RLE in main compression loop

Merge pull request #1889 from vtorri/dev

shared library: rename import library with .dll.a extension

No margin on RLE test size check

Updated comment to reflect actual compression behavior

shared library: rename import library with .dll.a extension

mort of open source project are using this extension for the import library.
The Win32 linker is supporting this extension, see
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Using_ld_the_GNU_Linker/win32.html
section "direct linking to a dll"

Merge remote-tracking branch 'upstream/master' into dev

Modified existing RLE test to take compressed size into account

Optimized loop bounds to allow the compiler to unroll the loop.

This has no measurable impact on large files but improves small file
decompression by ~1-2% for 10kB, benchmarked with:

head -c 10000 silesia.tar > /tmp/test
make CC=/usr/local/bin/clang-9 BUILD_STATIC=1 && ./lzbench -ezstd -t1,5 /tmp/test

Fixed main compression logic changes

Merge pull request #1868 from senhuang42/superblocks_fixed

Superblocks rebased for merge

Change superblock #include to be last

Merge pull request #1858 from senhuang42/dictionary_header_size

Method to get dictionary header size

Merge pull request #1884 from facebook/specMBS

Specs. clarifications for Block_Maximum_Size

clarifications for Block_Maximum_Size

as a follow up of #1882

Merge pull request #1875 from ryandesign/c89

Change c90 to c89

Merge pull request #1874 from terrelln/adjust-fix

Fix parameter selection and adjustment with srcSize == 0

Remove mixed declarations

Fix static analyze error, use proper bounds for dictEnd

Move asserts to loadZstdDictionary()

Expose ZSTD_reset_compressedBlockState() to shared API

Add error forwarding to loadCEntropy(), make check for dictSize >= 8 from bad merge

Remove redundant comment

Use ZSTD Error codes, improve explanation of ZSTD_loadCEntropy() and ZSTD_loadDEntropy()

Integrated refactor into getDictHeaderSize, now passes tests

First working pass at refactor of loadZstdDictionary()

Revert "Move decompress symbols into zstd_internal.h, remove dependency"

This reverts commit a152b4c67a5266f611db4a2eac4a79003852a795.

Move decompress symbols into zstd_internal.h, remove dependency

Checks malloc() for failure, returns 0 if so

Change to heap allocation, remove implicit type conversion

Added 2 unit tests: one for sanity, one for correctnesson fixed dict

Add ZDICT_getHeaderSize()

Change c90 to c89

c89 and c90 are the same language. Old compilers like gcc 4.2.1 don't
know the c90 alias.

Fix parameter selection and adjustment with srcSize == 0

added target zstd-dictBuilder

check that the dictBuilder can be compiled
with only lib/common and lib/compress as dependencies.

Merge pull request #1873 from felixhandte/make-overlap-log-multithread-only

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

Merge pull request #1843 from moozzyk/issue-1637

Take ZSTD_parameters as a const pointer

Merge pull request #1869 from bket/openbsd

'head -c BYTES' is non-portable.

Merge pull request #1870 from bket/portable

'date -r FILE' is non-portable.

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

This parameter is unused in single-threaded compression. We should make it
behave like the other multithread-only parameters, for which we only accept
zero when we are not built with multithreading.

'date -r FILE' is non-portable.

date(1) is used to display the last modification time of a file, which
is not supported on OpenBSD, FreeBSD and Darwin. Instead use stat(1).

Tested on OpenBSD.

'head -c BYTES' is non-portable.

Similar to #1321: The '-c' option for 'head' is non-portable (not in
POSIX).

Fix FUZZ_rand32() bug

Fix frame argument to compression

Fix more merge conflicts

Fix merge conflicts

Merge pull request #1867 from bimbashrestha/dict_load_fuzz_err

[clean up] Replacing some literals with constants in zstd_compress_literals.c

Replacing some literals with constants

Merge pull request #15 from facebook/dev

Merging facebook/dev into bimbashrestha/dev

update table benchmark with zstd v1.4.4

Merge pull request #1865 from facebook/dev

fix dictionary edge case

Merge pull request #1864 from terrelln/dict-fix

Fix 2 bugs in dictionary loading

Fix 2 bugs in dictionary loading

* Silently skip dictionaries less than 8 bytes, unless using `ZSTD_dct_fullDict`.
  This changes the compressor, which silently skips dictionaries <= 8 bytes.
* Allow repcodes that are equal to the dictionary content size, since it is in bounds.

[fuzz] Add dictionary_loader fuzzer

* Adds the fuzzer
* Adds an additional `InputType` for the fuzzer

I ran the fuzzer for about 10 minutes and it found 2 bugs:

* Catches the original bug without any help
* Catches an additional bug with 8-byte dictionaries

Merge pull request #1859 from facebook/dev

v1.4.4

fixed zlibwrapper build script

Merge pull request #1860 from senhuang42/streaming_compression_using_cdict

Disable reloading dictionary when there is no known srcSize

Make sure contentsize is known

Merge pull request #1857 from 0x123456789A/link-shared

Add CMake flag for linking programs dynamically

Merge pull request #1850 from bimbashrestha/named_pipes

Gating named pipe support on windows

updated CHANGELOG for v1.4.4

Merge pull request #1855 from shashank0791/shtavi-filter-precompressed-files

Added "--exclude-compressed" flag feature

Removed the optimization check

Changed extension comparision logic, added new test cases

Added check to perform comparison only if extension is present

Created utility function to extract extension from filename, fixed tests

Deleting test directory before creation to pass travis-ci test

Merge branch 'named_pipes' of https://github.com/bimbashrestha/zstd into named_pipes

Removing merge side effect

Fixed check for building programs statically

Consider ZSTD_PROGRAMS_LINK_SHARED

Actually consider ZSTD_PROGRAMS_LINK_SHARED in programs CMakeLists

Introduce ZSTD_PROGRAMS_LINK_SHARED

The CMake variable ZSTD_PROGRAMS_LINK_SHARED indicactes wether or not to link the zstd programs dynamically or statically.

Minor fixes in test

Merge branch 'dev' into named_pipes

Removing Visual08 and Visual10 tests

Merge pull request #1856 from terrelln/assert-fix

Fix assert in ZSTD_safecopy

Addressing comments, removing cyclic dependency with header file, updating tests

Fix assert in ZSTD_safecopy

In the case that `op >= oend_w` it is possible that `diff < 8` because
the two buffers could be adjacent.

Credit to OSS-Fuzz, which found the bug. It isn't reproducible because
it depends on the memory layout.

Fixing tests and moving flag to advanced usage

Resolving local merge conflicts

Addressing comments: -Created a list of extensions defined in fileio.h, -Updated test

Added --exclude-compressed flag feature that skips compression of precompressed files

Merge branch 'dev' of github.com:facebook/zstd into dev

updated CHANGELOG for v1.4.4

Merge pull request #1851 from felixhandte/pkg-config-prefix-fix

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

updated API inline doc and manual

regarding ZSTD_CDict created without a dictBuffer.

Merge pull request #1848 from felixhandte/tzst-ext-tmp

Support Decompressing Short Tar Extensions

Merge pull request #1847 from facebook/zlibwrap_visual

fix zlibWrapper for Visual Studio

Added --exclude-compressed flag feature that skips compression of precompressed files

Merge branch 'master' of https://github.com/bimbashrestha/zstd into named_pipes

Gating named pipe support in hedaer file

Cleaning up gate and adding comment to flag

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

Addresses #1794. Instead of deriving the lib dir and include dir at
build-time, let's do it like everyone else does at pkg-config run-time.

This has the disadvantage that we can no longer override LIBDIR and
INCLUDEDIR in the Makefile and have that reflected in the .pc file.

Merge pull request #8 from bimbashrestha/appveyorTest

Appveyor test

Running playtests.sh on PRs too

Gating named file support on windows

Minor Fixes

Merge pull request #1845 from facebook/zbuff

improve deprecation warning macro

Add Tests