Make idiomatic cmake install so third party cmake installers work right.

[fuzz] msan uninitialized unsigned value (#1908)

Fixes new fuzz issue

Credit to OSS-Fuzz

* Initializing unsigned value

* Initialilzing to 1 instead of 0 because its more conservative

* Unconditionoally setting to check first and then checking zero

* Moving bool to before block for c90

* Move check set before block

bumped version number

so that potential issue report do not confuse `dev` with latest release

Merge pull request #1893 from felixhandte/check-flipped-bits

Add Tool to Diagnose Whether Corrupt Blobs are Plausibly Bit-Flips

Merge pull request #1907 from selavy/check-fread-r1895

Check for fread failure

Merge pull request #1918 from facebook/recurse_fix

small refactoring : remove global variable g_displayOut

refactoring : remove global variable g_displayOut

displaying into stderr or stdout is now an explicit operation,
no longer depending on some global state set elsewhere in the code.

Merge pull request #1917 from facebook/recurse_fix

fix recent issue combining -r with empty list of input files

fix recent issue combining -r with empty list of input files

This would resize the table of input filenames to zero,
delivering an empty table,
to which it was no longer possible to add stdin.

Merge pull request #1910 from facebook/travisTest

mingw cross compilation test

Merge pull request #1883 from Ericson2314/fix-mingw-cross

Fix MinGW cross

travis: updated mingw cross compilation test

- only compiles zstd CLI
- enforces zero warning tolerance policy

note : mingw compilation of the library complains (warning) about -fPIC flag.
It mostly ignores it, so it's not a big issue.
Still, it would need to be fixed if library cross-compilation becomes part of CI.
At this stage, it's unclear if this is a scenario.

added mingw cross compilation tests

based on a script in RocksDB project.

also : pushed qemu aarch64 tests to master/cron,
since there are already hardware aarch64 tests on dev.

Merge pull request #1853 from facebook/ahmed_file

--filelist=FILE feature

Check for fread failure

On failure fread may return either a short read or 0. Need to use
ferror to detect error versus eof.

removed scanbuild workaround

reverted ppc qemu and scanbuild on trusty

ppc cross-compilation seems broken outside of trusty
scan-build version changes with distrib version, resulting in a different list of false positives

assembleFNT() can no longer fail

pushed aside stdio.h too

since only UTIL_DISPLAY() depended on it.

moved UTIL_DISPLAY() inside util.c

util: isolated some dependencies

from *.h to *.c
so that they don't get transitively included
into users of util.h.

travisCI : removed `trusty` generic statement

trusty is out of long term support.
let's run (most) tests on "current" platform.

fixed minor VS warning, on parameter difference

complaining about a `const` property on one side but not the other.

switched UTIL_refFilename() to an assert()

Merge branch 'dev' into ahmed_file

fixed fifo test

[fuzz] Only set HUF_repeat_valid if loaded table has all non-zero weights (#1898)

Fixes a fuzz issue where dictionary_round_trip failed because the compressor was generating corrupt files thanks to zero weights in the table.

* Only setting loaded dict huf table to valid on non-zero

* Adding hasNoZeroWeights test to fse tables

* Forbiding nbBits != 0 when weight == 0

* Reverting the last commit

* Setting table log to 0 when weight == 0

* Small (invalid) zero weight dict test

* Small (valid) zero weight dict test

* Initializing repeatMode vars to check before zero check

* Removing FSE changes to seperate pr

* Reverting accidentally changed file

* Negating bool, using unsigned, optimization nit

Merge branch 'dev' into ahmed_file

travisCI: moved compatibility tests to `dev`

they are fast enough, and we want to catch such incompatibility early

moved meson and versions compatibility tests to master/cron

also : joined c99 compatibility tests with gnu90 and c++ ones

travis : added test durations

as a guide when doing test selection

Merge pull request #1905 from facebook/devnull

fix #1904

Optimize decompression speed for gcc and clang (#1892)

* Optimize `ZSTD_decodeSequence()`
* Optimize Huffman decoding
* Optimize `ZSTD_decompressSequences()`
* Delete `ZSTD_decodeSequenceLong()`

silence scan-build false positive

blind attempt

changed name from createX to assembleX

shows that the resulting object just takes ownership of provided buffer.

fix mode_t on Windows

created UTIL_chmod()

protecting "/dev/null" from having its permissions changed.

also : minor : improved consistency of util.h API

added decompression into /dev/null tests

fix #1904

/dev/null permissions were modified when using sudo rights.
This fixes this bug during decompression.

More importantly, this patch  adds a test, triggered in TravisCI,
ensuring unaltered /dev/null permissions.

minor update to travis script

many tests used to be run on Trusty platform,
they are now run on _current_ platform,
and now many test titles are incorrect.
Fixed.

Merge pull request #1897 from sergey-dryabzhinsky/patch-1

WIP: Fix typo in util.c

Merge pull request #1903 from terrelln/null

Fix null pointer addition

Merge pull request #1902 from terrelln/ignore

[cmake][tests] Add zstreamtest executable

Fix null pointer addition

[cmake][tests] Add zstreamtest executable

Merge pull request #1901 from terrelln/ignore

Update .gitignore

Update .gitignore

Merge pull request #1894 from felixhandte/doc-clarify-dctx-reset

Easy: Update Comment on `ZSTD_initDStream()`

Merge pull request #1887 from bimbashrestha/doc-fix

Fixing hashLog error 2^26=64Mib

Merge pull request #1896 from terrelln/test-fixes

Fix Appveyor failure

Update util.c

Fix typo in util.c

There must be mtim*e*

Fix Appveyor failure

Updated some more outdated bounds

Easy: Update Comment on `ZSTD_initDStream()`

Add Tool to Diagnose Whether Corrupt Blobs are Plausibly Bit-Flips

I spend an increasing amount of my time looking at "Corrupted block detected"
failures in decompression. Not infrequently, I suspect that it is the result
of hardware failure, and that the blob has become bit-flipped or otherwise
corrupted somewhere along the line.

For that reason I was motivated to write a little tool to inspect blobs that
fail to decompress, to try modifying them, and then check whether they
decompress successfully. This seems like potentially a generally useful tool,
so I figured it might be worth putting in `contrib/`.

Merge pull request #1866 from legrosbuffle/dev

Optimized loop bounds to allow the compiler to unroll the loop.

Merge pull request #1888 from senhuang42/superblocks_fixed

RLE test and re-enable RLE in main compression loop

Merge pull request #1889 from vtorri/dev

shared library: rename import library with .dll.a extension

No margin on RLE test size check

Updated comment to reflect actual compression behavior

shared library: rename import library with .dll.a extension

mort of open source project are using this extension for the import library.
The Win32 linker is supporting this extension, see
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Using_ld_the_GNU_Linker/win32.html
section "direct linking to a dll"

Merge remote-tracking branch 'upstream/master' into dev

Modified existing RLE test to take compressed size into account

Optimized loop bounds to allow the compiler to unroll the loop.

This has no measurable impact on large files but improves small file
decompression by ~1-2% for 10kB, benchmarked with:

head -c 10000 silesia.tar > /tmp/test
make CC=/usr/local/bin/clang-9 BUILD_STATIC=1 && ./lzbench -ezstd -t1,5 /tmp/test

Fixed main compression logic changes

Merge pull request #1868 from senhuang42/superblocks_fixed

Superblocks rebased for merge

Fix MinGW cross install from Unix

Needed a bunch of `$(EXT)`

Fix MinGW cross build from Unix

generate_res.bat seems rather pointless, am I missing something? I just
inlined it into the Makefile.

Fixing hashLog error 2^26=64Mib

Change superblock #include to be last

Merge pull request #1858 from senhuang42/dictionary_header_size

Method to get dictionary header size

Merge pull request #1884 from facebook/specMBS

Specs. clarifications for Block_Maximum_Size

clarifications for Block_Maximum_Size

as a follow up of #1882

Use lowercase windows.h

Helps for cross builds, doesn't matter on Windows itself.

Merge pull request #1875 from ryandesign/c89

Change c90 to c89

Merge pull request #1874 from terrelln/adjust-fix

Fix parameter selection and adjustment with srcSize == 0

Remove mixed declarations

Fix static analyze error, use proper bounds for dictEnd

Move asserts to loadZstdDictionary()

Expose ZSTD_reset_compressedBlockState() to shared API

Add error forwarding to loadCEntropy(), make check for dictSize >= 8 from bad merge

Remove redundant comment

Use ZSTD Error codes, improve explanation of ZSTD_loadCEntropy() and ZSTD_loadDEntropy()

Integrated refactor into getDictHeaderSize, now passes tests

First working pass at refactor of loadZstdDictionary()

Revert "Move decompress symbols into zstd_internal.h, remove dependency"

This reverts commit a152b4c67a5266f611db4a2eac4a79003852a795.

Move decompress symbols into zstd_internal.h, remove dependency

Checks malloc() for failure, returns 0 if so

Change to heap allocation, remove implicit type conversion

Added 2 unit tests: one for sanity, one for correctnesson fixed dict

Add ZDICT_getHeaderSize()

Change c90 to c89

c89 and c90 are the same language. Old compilers like gcc 4.2.1 don't
know the c90 alias.

Fix parameter selection and adjustment with srcSize == 0

added target zstd-dictBuilder

check that the dictBuilder can be compiled
with only lib/common and lib/compress as dependencies.

Visual compiler bug work-around

minor man page fix

fixed wrong assert() in regression driver

removed experimental_dict_builders

no longer required,
can still be accessed by going to back to an earlier commit or release (<= v1.4.4)

updated fuzz tests to use FileNamesTable* abstraction