Make sure contentsize is known

Merge pull request #1856 from terrelln/assert-fix

Fix assert in ZSTD_safecopy

Fix assert in ZSTD_safecopy

In the case that `op >= oend_w` it is possible that `diff < 8` because
the two buffers could be adjacent.

Credit to OSS-Fuzz, which found the bug. It isn't reproducible because
it depends on the memory layout.

Merge branch 'dev' of github.com:facebook/zstd into dev

updated CHANGELOG for v1.4.4

Merge pull request #1851 from felixhandte/pkg-config-prefix-fix

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

updated API inline doc and manual

regarding ZSTD_CDict created without a dictBuffer.

Merge pull request #1848 from felixhandte/tzst-ext-tmp

Support Decompressing Short Tar Extensions

Merge pull request #1847 from facebook/zlibwrap_visual

fix zlibWrapper for Visual Studio

In pkg-config File, Derive Lib and Include Dir from Prefix at Use-Time

Addresses #1794. Instead of deriving the lib dir and include dir at
build-time, let's do it like everyone else does at pkg-config run-time.

This has the disadvantage that we can no longer override LIBDIR and
INCLUDEDIR in the Makefile and have that reflected in the .pc file.

Minor Fixes

Merge pull request #1845 from facebook/zbuff

improve deprecation warning macro

Add Tests

Fix Build; Refactor

fix zlibWrapper for Visual Studio

As per https://github.com/facebook/zstd/issues/1800#issuecomment-545945050,
Visual does not support `ssize_t` type,
which is an issue for `gzread.c`.

Added a work around, suggested by @bluenlive

Note : I have not been able to confirm the problem,
so this is a blind fix.
This seems safe outside of Visual, since it is gated by _MSC_VER macro.

Merge pull request #1790 from stokito/tzst-ext

Add short tar's extensions .tgz (.tar.gz), .txz (.tar.xz), .tzst (.tar.zst)

Merge branch 'tzst-ext-tmp' into tzst-ext

Merge pull request #1841 from bimbashrestha/travis

Adding arm64 make check to travis.ci

Merge pull request #1839 from bimbashrestha/named_pipes

Allowing named pipes to go through in zstdcli

Merge pull request #1824 from senhuang42/new_path_for_cdict

Avoid using CDict params when input is large.

improve deprecation warning macro

fix #1488

although, curiously enough, I was never able to reproduce the issue
(according to the bug report, it should be present while using gcc 4.8).

Moving arm64 test outside the meson scope

Merge pull request #1840 from terrelln/regression-fix

[regression] Fix the old streaming regression test

Adding arm64 make check

added documentation on DYNAMIC_BMI2 build macro

Merge pull request #4 from facebook/dev

Merging dev

Adding shell test and removing bash test file

Merge pull request #1838 from facebook/fixAdvanced

fix initCStream_advanced() for fast strategies

Adding bash test for named pipes

[regression] Fix the old streaming regression test

* A copy-paste error made it so we weren't running the advanced/cdict
  streaming tests with the old API.
* Clean up the old streaming tests to skip incompatible configs.
* Update `results.csv`.

The tests now catch the bug in #1787.

Allowing named pipes to go through zstdcli

Merge pull request #1836 from facebook/dirFlat2

Added --output-dir-flat=

fix initCStream_advanced() for fast strategies

Compression ratio of fast strategies (levels 1 & 2)
was seriously reduced, due to accidental disabling of Literals compression.

Credit to @QrczakMK, which perfectly described the issue, and implementation details,
making the fix straightforward.

Example : initCStream with level 1 on synthetic sample P50 :
Before : 5,273,976 bytes
After  : 3,154,678 bytes
ZSTD_compress (for comparison) : 3,154,550

Fix #1787.

To follow : refactor the test which was supposed to catch this issue (and failed)

update documentation on deprecated functions

mostly : note that these functions will soon generate deprecation warnings

Merge pull request #1837 from terrelln/magic-isnt-real

Fix ZSTD_f_zstd1_magicless for small data

Fix ZSTD_f_zstd1_magicless for small data

* Fix `ZSTD_FRAMEHEADERSIZE_PREFIX` and `ZSTD_FRAMEHEADERSIZE_MIN` to
  take a `format` parameter, so it is impossible to get the wrong size.
* Fix the places that called `ZSTD_FRAMEHEADERSIZE_PREFIX` without
  taking the format into account, which is now impossible by design.
* Call `ZSTD_frameHeaderSize_internal()` with `dctx->format`.
* The added tests catch both bugs in `ZSTD_decompressFrame()`.

Fixes #1813.

((x or y) or z) == (x or y or z), remove brackets

Line up comments :)

Trailing comma

Merge branch 'dev' of github.com:senhuang42/zstd into new_path_for_cdict

merge

Fix bad merge

Merge pull request #1831 from terrelln/zstdmt-bad-memset

[zstdmt] Don't memset the jobDescription

merge

Added --output-dir-flat=

which is a preferred construction when applicable.

Also, added --output-dir-flat into man page.

Merge pull request #1834 from facebook/winFix

Windows fixes

turned off zlib tests during msan

since the local zlib library is not msan-instrumented

Added multiplier, renamed new enum to something more useful

Updated forceAttachDict param bounds

Add enum to decision process

Added support for forcing new CDict behavior and updated enum

Changed to int from BYTE

Changed to int from BYTE

Trailing whitespace

Fix test

Cast to BYTE to appease appveyor

merge conflicts round 2

formatting

Fix error

Add compressionlevel to cdict

minor refactor of FIO_compressGzFrame()

mostly narrowing variables lifetime and mutability.

Merge pull request #1795 from felixhandte/workspace-asan

Add Poisoned Redzones to the Workspace When Compiling with ASAN

Updated forceAttachDict param bounds

Add enum to decision process

Added support for forcing new CDict behavior and updated enum

Merge pull request #1835 from facebook/format034

clarifications for the FSE decoding table

clarifications for the FSE decoding table

requested in #1782

Merge branch 'dev' of github.com:facebook/zstd into dev

added mode documentation on ZSTD_CLEVEL

providing range restriction [1-19] explicitly
partially answering #1829

fixed visual defined test

removed Visual warning

for pointer casts

Merge pull request #1832 from terrelln/fuzz-stream-fix

[fuzz] Increase output buffer size of stream_round_trip

fix function cast warning on Windows with gcc9

updated windows binary resources

validated 'make test' for mingw environment

made `make check` faster

for shorter feedback loop

[zstdmt] Don't memset the jobDescription

[threading] Add debug utilities

minor appveyor test script fix

attempt to run 'make check' tests on Appveyor

for mingw builds

fix test on windows

isDirectory() doesn't work on Windows
if directory name is followed by '/'

[fuzz] Increase output buffer size of stream_round_trip

Fixes OSS-Fuzz crash.
Credit to OSS-Fuzz

rewrite FIO_createFilename_fromOutDir()

fix : no output file opened in test mode

also : redistributed error code within fileio.c
for more precise diagnosis.

removed regular file test on Windows

since it does not work well on this platform
(tested with MinGW).

Note : could be an issue within UTIL_isRegularFile()

improved test mode `-t`

The test mode do no longer open a file `/dev/null` nor write anything to output.

This is supposed to be more efficient than writing to `/dev/null`,
and more universal too : the previous method was failing on Windows.

refactored FIO_compressMultipleFilenames() prototype

for consistency

fixed multiple implicit casts

tests: can override isTerminal with environment variable

fixed isSameFile()

fix harness test

fixed dict ptr init

minor refactoring of harness

minor: DIFF determination

use gdiff on SunOS

force compression during tests

to erase potentially remaining artifacts from previous runs

fix several cast

fix incorrect dictName/FileName comparison on Windows

inode identification does not seem to work on Windows,
even with on a msys2 posix layer.

Merge branch 'dev' of github.com:facebook/zstd into dev

ignore build artifact from educational decoder test

Merge pull request #1827 from facebook/dm_Dct

updated erroneous comments using ZSTD_dm_*