removed scanbuild workaround

assembleFNT() can no longer fail

pushed aside stdio.h too

since only UTIL_DISPLAY() depended on it.

moved UTIL_DISPLAY() inside util.c

util: isolated some dependencies

from *.h to *.c
so that they don't get transitively included
into users of util.h.

fixed minor VS warning, on parameter difference

complaining about a `const` property on one side but not the other.

switched UTIL_refFilename() to an assert()

Merge branch 'dev' into ahmed_file

fixed fifo test

[fuzz] Only set HUF_repeat_valid if loaded table has all non-zero weights (#1898)

Fixes a fuzz issue where dictionary_round_trip failed because the compressor was generating corrupt files thanks to zero weights in the table.

* Only setting loaded dict huf table to valid on non-zero

* Adding hasNoZeroWeights test to fse tables

* Forbiding nbBits != 0 when weight == 0

* Reverting the last commit

* Setting table log to 0 when weight == 0

* Small (invalid) zero weight dict test

* Small (valid) zero weight dict test

* Initializing repeatMode vars to check before zero check

* Removing FSE changes to seperate pr

* Reverting accidentally changed file

* Negating bool, using unsigned, optimization nit

Merge branch 'dev' into ahmed_file

Merge pull request #1905 from facebook/devnull

fix #1904

Optimize decompression speed for gcc and clang (#1892)

* Optimize `ZSTD_decodeSequence()`
* Optimize Huffman decoding
* Optimize `ZSTD_decompressSequences()`
* Delete `ZSTD_decodeSequenceLong()`

silence scan-build false positive

blind attempt

changed name from createX to assembleX

shows that the resulting object just takes ownership of provided buffer.

fix mode_t on Windows

created UTIL_chmod()

protecting "/dev/null" from having its permissions changed.

also : minor : improved consistency of util.h API

added decompression into /dev/null tests

fix #1904

/dev/null permissions were modified when using sudo rights.
This fixes this bug during decompression.

More importantly, this patch  adds a test, triggered in TravisCI,
ensuring unaltered /dev/null permissions.

minor update to travis script

many tests used to be run on Trusty platform,
they are now run on _current_ platform,
and now many test titles are incorrect.
Fixed.

Merge pull request #1897 from sergey-dryabzhinsky/patch-1

WIP: Fix typo in util.c

Merge pull request #1903 from terrelln/null

Fix null pointer addition

Merge pull request #1902 from terrelln/ignore

[cmake][tests] Add zstreamtest executable

Fix null pointer addition

[cmake][tests] Add zstreamtest executable

Merge pull request #1901 from terrelln/ignore

Update .gitignore

Update .gitignore

Merge pull request #1894 from felixhandte/doc-clarify-dctx-reset

Easy: Update Comment on `ZSTD_initDStream()`

Merge pull request #1887 from bimbashrestha/doc-fix

Fixing hashLog error 2^26=64Mib

Merge pull request #1896 from terrelln/test-fixes

Fix Appveyor failure

Update util.c

Fix typo in util.c

There must be mtim*e*

Fix Appveyor failure

Updated some more outdated bounds

Easy: Update Comment on `ZSTD_initDStream()`

Merge pull request #1866 from legrosbuffle/dev

Optimized loop bounds to allow the compiler to unroll the loop.

Merge pull request #1888 from senhuang42/superblocks_fixed

RLE test and re-enable RLE in main compression loop

Merge pull request #1889 from vtorri/dev

shared library: rename import library with .dll.a extension

No margin on RLE test size check

Updated comment to reflect actual compression behavior

shared library: rename import library with .dll.a extension

mort of open source project are using this extension for the import library.
The Win32 linker is supporting this extension, see
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Using_ld_the_GNU_Linker/win32.html
section "direct linking to a dll"

Merge remote-tracking branch 'upstream/master' into dev

Modified existing RLE test to take compressed size into account

Optimized loop bounds to allow the compiler to unroll the loop.

This has no measurable impact on large files but improves small file
decompression by ~1-2% for 10kB, benchmarked with:

head -c 10000 silesia.tar > /tmp/test
make CC=/usr/local/bin/clang-9 BUILD_STATIC=1 && ./lzbench -ezstd -t1,5 /tmp/test

Fixed main compression logic changes

Merge pull request #1868 from senhuang42/superblocks_fixed

Superblocks rebased for merge

Fixing hashLog error 2^26=64Mib

Change superblock #include to be last

Merge pull request #1858 from senhuang42/dictionary_header_size

Method to get dictionary header size

Merge pull request #1884 from facebook/specMBS

Specs. clarifications for Block_Maximum_Size

clarifications for Block_Maximum_Size

as a follow up of #1882

Merge pull request #1875 from ryandesign/c89

Change c90 to c89

Merge pull request #1874 from terrelln/adjust-fix

Fix parameter selection and adjustment with srcSize == 0

Remove mixed declarations

Fix static analyze error, use proper bounds for dictEnd

Move asserts to loadZstdDictionary()

Expose ZSTD_reset_compressedBlockState() to shared API

Add error forwarding to loadCEntropy(), make check for dictSize >= 8 from bad merge

Remove redundant comment

Use ZSTD Error codes, improve explanation of ZSTD_loadCEntropy() and ZSTD_loadDEntropy()

Integrated refactor into getDictHeaderSize, now passes tests

First working pass at refactor of loadZstdDictionary()

Revert "Move decompress symbols into zstd_internal.h, remove dependency"

This reverts commit a152b4c67a5266f611db4a2eac4a79003852a795.

Move decompress symbols into zstd_internal.h, remove dependency

Checks malloc() for failure, returns 0 if so

Change to heap allocation, remove implicit type conversion

Added 2 unit tests: one for sanity, one for correctnesson fixed dict

Add ZDICT_getHeaderSize()

Change c90 to c89

c89 and c90 are the same language. Old compilers like gcc 4.2.1 don't
know the c90 alias.

Fix parameter selection and adjustment with srcSize == 0

added target zstd-dictBuilder

check that the dictBuilder can be compiled
with only lib/common and lib/compress as dependencies.

Visual compiler bug work-around

minor man page fix

fixed wrong assert() in regression driver

removed experimental_dict_builders

no longer required,
can still be accessed by going to back to an earlier commit or release (<= v1.4.4)

updated fuzz tests to use FileNamesTable* abstraction

Merge pull request #1873 from felixhandte/make-overlap-log-multithread-only

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

Merge pull request #1843 from moozzyk/issue-1637

Take ZSTD_parameters as a const pointer

Merge pull request #1869 from bket/openbsd

'head -c BYTES' is non-portable.

Merge pull request #1870 from bket/portable

'date -r FILE' is non-portable.

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

This parameter is unused in single-threaded compression. We should make it
behave like the other multithread-only parameters, for which we only accept
zero when we are not built with multithreading.

updated pzstd and largeNbDicts to use the new FileNamesTable* abstraction

'date -r FILE' is non-portable.

date(1) is used to display the last modification time of a file, which
is not supported on OpenBSD, FreeBSD and Darwin. Instead use stat(1).

Tested on OpenBSD.

'head -c BYTES' is non-portable.

Similar to #1321: The '-c' option for 'head' is non-portable (not in
POSIX).

updated zwrapbench to use FileNamesTable* abstraction

refactor code to only use FileNamesTable*

refactoring (simplification) of util.h public API

Merge branch 'dev' into ahmed_file

Fix FUZZ_rand32() bug

Fix frame argument to compression

Fix more merge conflicts

Fix merge conflicts

Merge pull request #1867 from bimbashrestha/dict_load_fuzz_err

[clean up] Replacing some literals with constants in zstd_compress_literals.c

Replacing some literals with constants

Merge pull request #15 from facebook/dev

Merging facebook/dev into bimbashrestha/dev

update table benchmark with zstd v1.4.4

Merge pull request #1865 from facebook/dev

fix dictionary edge case

Merge pull request #1864 from terrelln/dict-fix

Fix 2 bugs in dictionary loading

Fix 2 bugs in dictionary loading

* Silently skip dictionaries less than 8 bytes, unless using `ZSTD_dct_fullDict`.
  This changes the compressor, which silently skips dictionaries <= 8 bytes.
* Allow repcodes that are equal to the dictionary content size, since it is in bounds.

[fuzz] Add dictionary_loader fuzzer

* Adds the fuzzer
* Adds an additional `InputType` for the fuzzer

I ran the fuzzer for about 10 minutes and it found 2 bugs:

* Catches the original bug without any help
* Catches an additional bug with 8-byte dictionaries