Make the build reproducible

Whilst working on the Reproducible Builds effort [0], we noticed
that zstd could not be built reproducibly.

This is due to the manual page encoding the number of CPUs from the
build machine and thus varies across builds.

This was originally filed in Debian as #897904 [1].

 [0] https://reproducible-builds.org/
 [1] https://bugs.debian.org/897904

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge pull request #1118 from terrelln/playtests-typo

Fix playTests.sh typo

Fix playTests.sh typo

Thanks to @mestia for reporting and finding the bug!
Fixes #1116.

ignore Windows build/test artefacts

Merge pull request #1114 from pseiderer/ps-devel-001

Split library install target into pc, static, shared and include only target

Clarifications of Zstandard format specification

from IETF RFC review

Split library install target into pc, static, shared and include only target

Signed-off-by: Peter Seiderer <ps.report@gmx.net>

Merge pull request #1113 from terrelln/dict-fix

Fix parameter adjustment with dictionary

Fix parameter adjustment with dictionary

The new advanced API basically set `requestedParams = appliedParams` when
using a dictionary. This halted all parameter adjustment, which can hurt
compression ratio if, for example, the window log is small for the first
call, but the rest of the files are large.

This patch fixes the bug, and checks that the `requestedParams` don't change
in the new advanced API when using a dictionary, and generally in the fuzzer.

clarified documentation related to refPrefix()

Merge pull request #1112 from facebook/lz4dec

fixed decoding bogus lz4 frame

updated documentation of streaming compression api

fixed decoding bogus lz4 frame

FIO would keep presenting data after an LZ4F decoding error
resulting in a NULL pointer dereference
when associated with older liblz4 version (< v1.8.1.2)

Fix the problem that enables DYNAMIC_BMI2 macro by mistake on ARM architecture with Clang (#1110)

Merge pull request #1107 from terrelln/reset-params

Add ZSTD_CCtx_resetParameters() function

Fix documentation

Only reset CDict in ZSTD_CCtx_resetParameters()

Add ZSTD_CCtx_resetParameters() function

* Fix docs for `ZSTD_CCtx_reset()`.
* Add `ZSTD_CCtx_resetParameters()`.

Fixes #1094.

Enforce pledgeSrcSize whenever known (#1106)

The test fails before the patch and passes after.

Fixes #1095.

Merge pull request #1105 from terrelln/get-param

Add ZSTD_CCtx(Param)?_getParameter() function

Add ZSTD_CCtx(Param)?_getParameter() function

Closes #1096.

doc : clarified advanced API usage

sticky parameters only work with `ZSTD_compress_generic()`

updated comment on parameters that can be changed during compression

Merge pull request #1104 from terrelln/fast-train

Allow negative compression levels in training

Allow negative compression levels in training

* Set `dictCLevel` in `zstdcli.c`.
* Only set to default level if the compression level `== 0`, not `<= 0`.

Merge pull request #1103 from kilobyte/dev

Fix riscv.

Use -pthread rather than -lpthread.

It can have other effects, such as pulling in extra libraries.  Without it,
riscv build fails with undefined reference to `__atomic_compare_exchange_1'.

Merge pull request #1100 from bket/stable_sort

zstd requires a stable sort.

updated ZSTD_p_chainLog description

Merge pull request #1099 from bket/fix_typo

fix typo in programs/zstd.{1,1.md}

zstd requires a stable sort.

On OpenBSD qsort() is not guaranteed to be stable, their mergesort() is.
This fixes issue #1088. All the hard work has been done by @terrelln.

fix typo in programs/zstd.{1,1.md}

s/nodictID/no-dictID/g

Merge pull request #1098 from terrelln/nd-mt

Only load extra table positions for CDicts

Only load extra table positions for CDicts

Zstdmt uses prefixes to load the overlap between segments. Loading extra
positions makes compression non-deterministic, depending on the previous
job the context was used for. Since loading extra position takes extra
time as well, only do it when creating a `ZSTD_CDict`.

Fixes #1077.

Merge pull request #1089 from bket/portability

examples/Makefile assumes GNU make.

Merge pull request #1090 from bket/openbsd

Fix building zstd on OpenBSD.

Make sure that make check runs on OpenBSD. (#1091)

OpenBSD uses md5 instead of md5sum, and has no device called full.

With this patch, make check runs until #1088. With the assumption made
in the issue make check runs succesfully.

Merge pull request #1080 from facebook/getFrameHeader

 added ZSTD_getFrameHeader_advanced()

Fix building zstd on OpenBSD.

examples/Makefile assumes GNU make.

This fixes a building issue on systems that default to a different
flavour of make (as is the case with OpenBSD).

fixed comments as suggested by @terrelln

Merge pull request #1086 from hagemt/hagemt-patch-1

 Correct small typo in manual (man file and markdown)

Update zstd.1.md

Update zstd.1

Merge pull request #1079 from facebook/ovlog

restore ability to set overlapLog

Merge pull request #1085 from terrelln/readme

Clarify license in the second paragraph

Clarify license in the second paragraph

added ZSTD_getFrameHeader_advanced()

makes it possible to request frame header from a magicless frame

added more code documentation for ZSTD_getFrameHeader()

added ovlog tests

check that setting ovlog has a direct impact on compression ratio
(hence is not silently ignored)

restored ability to manually set overlapLog

Merge pull request #1075 from terrelln/cmake

Fix CMake build

Fix CMake build

`MAN_INSTALL_DIR` was undefined.

Tested with `make cmakebuild`, and saw that the man pages got installed to the right place:

```
-- Installing: /Users/terrelln/install_test_dir/lib/pkgconfig/libzstd.pc
-- Installing: /Users/terrelln/install_test_dir/include/zstd.h
-- Installing: /Users/terrelln/install_test_dir/include/zbuff.h
-- Installing: /Users/terrelln/install_test_dir/include/zdict.h
-- Installing: /Users/terrelln/install_test_dir/include/zstd_errors.h
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.1.3.4.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.a
-- Installing: /Users/terrelln/install_test_dir/bin/zstd
-- Up-to-date: /Users/terrelln/install_test_dir/bin/zstd
-- Installing: /Users/terrelln/install_test_dir/bin/zstdcat
-- Installing: /Users/terrelln/install_test_dir/bin/unzstd
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstd.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstdcat.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/unzstd.1
-- Installing: /Users/terrelln/install_test_dir/bin/zstdmt
-- Installing: /Users/terrelln/install_test_dir/bin/pzstd
-- Installing: /Users/terrelln/install_test_dir/zstd_manual.html
```

updated NEWS for v1.3.4

updated VS studio readme

Merge pull request #1065 from HaydnTrigg/dev

Generic Visual Studio 2017 build script

Merge pull request #1072 from facebook/srcPackage

Src package

Merge pull request #1074 from rxrbln/dev

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*
like in other files

Swapped VS2017 preference order

Merge branch 'dev' into srcPackage

Merge pull request #1073 from facebook/hasAttribute

make `DYNAMIC_BMI2` support of `clang` conditional to `__has_attribute()`

added __has_attribute() define for non-clang compilers

make DYNAMIC_BMI2 support of clang conditional to __has_attribute()

to support older clang versions such as 3.4

Merge branch 'dev' of github.com:facebook/zstd into dev

Revert "create .tar.zst source package"

This reverts commit 929608146a439c4bd28b989a5af47cb9afce2af5.

make artifacts ande extended tests only on master

restored certutil command line

clean certutil output

added sha256 sig

created zstd archive from git archive

export zstd/master from github using svn

git clone master branch (hardcoded)

git clone for clean src tar

added tar command

added path print

removed src artifact lines

commented src archive lines

added srcPackage to list of branch producing artifacts

create .tar.zst source package

Merge pull request #1071 from terrelln/mt-pics

Add zstdmt long range mode graphs

Add zstdmt long range mode graphs

updated graph for dictionary compression

Merge pull request #1069 from facebook/statusLine

restored simple status line during zstd compression

updated benchmark figures

restored simple status line during zstd compression

the more advanced one, featuring amount of data buffered,
is triggered on `-v`.

Merge pull request #1067 from facebook/targetLength

removed limit ZSTD_TARGETLENGTH_MAX

Merge pull request #1068 from terrelln/mt-fixes

Fix broken assertion

fixed fuzz test

Fix broken assertion

The `avgJobSize` must not be lower than 256 KB for single-pass mode.
In `zstd.h` we say the minimum value for `ZSTD_p_jobSize` is 1 MB,
so ensure that we always pick a size >= 1 MB.

Found by libFuzzer fuzzer tests with large input limits.

fixed paramgrill

added large negative level test case

removed limit ZSTD_TARGETLENGTH_MAX

this makes it possible to specify extremely large negative compression levels,
achieving the side effect as "no compression".

It will also be possible to define larger targetlength for ultra compression mode.

There is no adverse side effect due to removing this limit.

Refined build script

Merge pull request #1062 from facebook/advancedDecompress

Advanced decompression API

Merge branch 'dev' into advancedDecompress

Merge pull request #1057 from facebook/lrmSettings

LRM parameters

Merge pull request #1063 from Varunram/manpage

Update man page variables in CMakeLists

Generic Visual Studio 2017 build script

Update man page variables in CMakeLists