Fix parameter selection and adjustment with srcSize == 0

added target zstd-dictBuilder

check that the dictBuilder can be compiled
with only lib/common and lib/compress as dependencies.

Merge pull request #1873 from felixhandte/make-overlap-log-multithread-only

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

Merge pull request #1843 from moozzyk/issue-1637

Take ZSTD_parameters as a const pointer

Merge pull request #1869 from bket/openbsd

'head -c BYTES' is non-portable.

Merge pull request #1870 from bket/portable

'date -r FILE' is non-portable.

Fix #1861: Restrict overlapLog Parameter When Not Built With Multithreading

This parameter is unused in single-threaded compression. We should make it
behave like the other multithread-only parameters, for which we only accept
zero when we are not built with multithreading.

'date -r FILE' is non-portable.

date(1) is used to display the last modification time of a file, which
is not supported on OpenBSD, FreeBSD and Darwin. Instead use stat(1).

Tested on OpenBSD.

'head -c BYTES' is non-portable.

Similar to #1321: The '-c' option for 'head' is non-portable (not in
POSIX).

Merge pull request #1867 from bimbashrestha/dict_load_fuzz_err

[clean up] Replacing some literals with constants in zstd_compress_literals.c

Replacing some literals with constants

Merge pull request #15 from facebook/dev

Merging facebook/dev into bimbashrestha/dev

update table benchmark with zstd v1.4.4

Merge pull request #1864 from terrelln/dict-fix

Fix 2 bugs in dictionary loading

Fix 2 bugs in dictionary loading

* Silently skip dictionaries less than 8 bytes, unless using `ZSTD_dct_fullDict`.
  This changes the compressor, which silently skips dictionaries <= 8 bytes.
* Allow repcodes that are equal to the dictionary content size, since it is in bounds.

[fuzz] Add dictionary_loader fuzzer

* Adds the fuzzer
* Adds an additional `InputType` for the fuzzer

I ran the fuzzer for about 10 minutes and it found 2 bugs:

* Catches the original bug without any help
* Catches an additional bug with 8-byte dictionaries

fixed zlibwrapper build script

Merge pull request #1860 from senhuang42/streaming_compression_using_cdict

Disable reloading dictionary when there is no known srcSize

Make sure contentsize is known

Merge pull request #1857 from 0x123456789A/link-shared

Add CMake flag for linking programs dynamically

Merge pull request #1850 from bimbashrestha/named_pipes

Gating named pipe support on windows

updated CHANGELOG for v1.4.4

Merge pull request #1855 from shashank0791/shtavi-filter-precompressed-files

Added "--exclude-compressed" flag feature

Removed the optimization check

Changed extension comparision logic, added new test cases

Added check to perform comparison only if extension is present

Created utility function to extract extension from filename, fixed tests

Deleting test directory before creation to pass travis-ci test

Merge branch 'named_pipes' of https://github.com/bimbashrestha/zstd into named_pipes

Removing merge side effect

Fixed check for building programs statically

Consider ZSTD_PROGRAMS_LINK_SHARED

Actually consider ZSTD_PROGRAMS_LINK_SHARED in programs CMakeLists

Introduce ZSTD_PROGRAMS_LINK_SHARED

The CMake variable ZSTD_PROGRAMS_LINK_SHARED indicactes wether or not to link the zstd programs dynamically or statically.

Minor fixes in test

Merge branch 'dev' into named_pipes

Removing Visual08 and Visual10 tests

Merge pull request #1856 from terrelln/assert-fix

Fix assert in ZSTD_safecopy

Addressing comments, removing cyclic dependency with header file, updating tests

Fix assert in ZSTD_safecopy

In the case that `op >= oend_w` it is possible that `diff < 8` because
the two buffers could be adjacent.

Credit to OSS-Fuzz, which found the bug. It isn't reproducible because
it depends on the memory layout.

Fixing tests and moving flag to advanced usage

Resolving local merge conflicts

Addressing comments: -Created a list of extensions defined in fileio.h, -Updated test

Added --exclude-compressed flag feature that skips compression of precompressed files

Merge branch 'dev' of github.com:facebook/zstd into dev

updated CHANGELOG for v1.4.4

Merge pull request #1851 from felixhandte/pkg-config-prefix-fix

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

updated API inline doc and manual

regarding ZSTD_CDict created without a dictBuffer.

Merge pull request #1848 from felixhandte/tzst-ext-tmp

Support Decompressing Short Tar Extensions

Merge pull request #1847 from facebook/zlibwrap_visual

fix zlibWrapper for Visual Studio

Added --exclude-compressed flag feature that skips compression of precompressed files

Merge branch 'master' of https://github.com/bimbashrestha/zstd into named_pipes

Gating named pipe support in hedaer file

Cleaning up gate and adding comment to flag

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

Addresses #1794. Instead of deriving the lib dir and include dir at
build-time, let's do it like everyone else does at pkg-config run-time.

This has the disadvantage that we can no longer override LIBDIR and
INCLUDEDIR in the Makefile and have that reflected in the .pc file.

Merge pull request #8 from bimbashrestha/appveyorTest

Appveyor test

Running playtests.sh on PRs too

Gating named file support on windows

Minor Fixes

Merge pull request #1845 from facebook/zbuff

improve deprecation warning macro

Add Tests

Fix Build; Refactor

fix zlibWrapper for Visual Studio

As per https://github.com/facebook/zstd/issues/1800#issuecomment-545945050,
Visual does not support `ssize_t` type,
which is an issue for `gzread.c`.

Added a work around, suggested by @bluenlive

Note : I have not been able to confirm the problem,
so this is a blind fix.
This seems safe outside of Visual, since it is gated by _MSC_VER macro.

Merge pull request #1790 from stokito/tzst-ext

Add short tar's extensions .tgz (.tar.gz), .txz (.tar.xz), .tzst (.tar.zst)

Merge branch 'tzst-ext-tmp' into tzst-ext

Merge pull request #1841 from bimbashrestha/travis

Adding arm64 make check to travis.ci

Merge pull request #1839 from bimbashrestha/named_pipes

Allowing named pipes to go through in zstdcli

Merge pull request #1824 from senhuang42/new_path_for_cdict

Avoid using CDict params when input is large.

improve deprecation warning macro

fix #1488

although, curiously enough, I was never able to reproduce the issue
(according to the bug report, it should be present while using gcc 4.8).

Moving arm64 test outside the meson scope

Take ZSTD_parameters as a const pointer

Fixes: #1637

Merge pull request #1840 from terrelln/regression-fix

[regression] Fix the old streaming regression test

Adding arm64 make check

added documentation on DYNAMIC_BMI2 build macro

Merge pull request #4 from facebook/dev

Merging dev

Adding shell test and removing bash test file

Merge pull request #1838 from facebook/fixAdvanced

fix initCStream_advanced() for fast strategies

Adding bash test for named pipes

[regression] Fix the old streaming regression test

* A copy-paste error made it so we weren't running the advanced/cdict
  streaming tests with the old API.
* Clean up the old streaming tests to skip incompatible configs.
* Update `results.csv`.

The tests now catch the bug in #1787.

Allowing named pipes to go through zstdcli

Merge pull request #1836 from facebook/dirFlat2

Added --output-dir-flat=

fix initCStream_advanced() for fast strategies

Compression ratio of fast strategies (levels 1 & 2)
was seriously reduced, due to accidental disabling of Literals compression.

Credit to @QrczakMK, which perfectly described the issue, and implementation details,
making the fix straightforward.

Example : initCStream with level 1 on synthetic sample P50 :
Before : 5,273,976 bytes
After  : 3,154,678 bytes
ZSTD_compress (for comparison) : 3,154,550

Fix #1787.

To follow : refactor the test which was supposed to catch this issue (and failed)

update documentation on deprecated functions

mostly : note that these functions will soon generate deprecation warnings

Merge pull request #1837 from terrelln/magic-isnt-real

Fix ZSTD_f_zstd1_magicless for small data

Fix ZSTD_f_zstd1_magicless for small data

* Fix `ZSTD_FRAMEHEADERSIZE_PREFIX` and `ZSTD_FRAMEHEADERSIZE_MIN` to
  take a `format` parameter, so it is impossible to get the wrong size.
* Fix the places that called `ZSTD_FRAMEHEADERSIZE_PREFIX` without
  taking the format into account, which is now impossible by design.
* Call `ZSTD_frameHeaderSize_internal()` with `dctx->format`.
* The added tests catch both bugs in `ZSTD_decompressFrame()`.

Fixes #1813.

((x or y) or z) == (x or y or z), remove brackets

Line up comments :)

Trailing comma

Merge branch 'dev' of github.com:senhuang42/zstd into new_path_for_cdict

merge

Fix bad merge

Merge pull request #1831 from terrelln/zstdmt-bad-memset

[zstdmt] Don't memset the jobDescription

merge

Added --output-dir-flat=

which is a preferred construction when applicable.

Also, added --output-dir-flat into man page.

Merge pull request #1834 from facebook/winFix

Windows fixes

turned off zlib tests during msan

since the local zlib library is not msan-instrumented

Added multiplier, renamed new enum to something more useful

Updated forceAttachDict param bounds

Add enum to decision process

Added support for forcing new CDict behavior and updated enum

Changed to int from BYTE