Merge branch 'dev' into tableLevels

Merge pull request #1131 from facebook/zstdcli

minor: control numeric argument overflow

Merge pull request #1130 from facebook/man

fix #1115

Merge pull request #1129 from facebook/paramgrill

Paramgrill refactoring

Merge branch 'dev' into tableLevels

Merge pull request #1133 from felixhandte/travis-fix

Make Travis CI Run `apt-get update`

Travis CI Runs apt-get Update

paramgrill: use NB_LEVELS_TRACKED in loop

make it easier to generate/track more levels
than ZSTD_maxClevel()

update table for 128 KB blocks

update compression levels for large inputs

cli: control numeric argument overflow

exit on overflow
backported from paramgrill
added associated test case

minor : factor out errorOut()

fix #1115

paramgrill: subtle change in level spacing

distance between levels is slightly increased
to compensate for level 1 speed improvements
and the will to have stronger level 19
extending the range of speed to cover.

added programmable constraints

generalized use of readU32FromChar()

and check input overflow

Merge pull request #1128 from facebook/libdir

minor Makefile patch

minor patch, ensuring LIBDIR is created before installation

follow-up from #1123

Merge pull request #1123 from baruchsiach/fix-install-pc

lib/Makefile: create include directory before headers installation

Merge pull request #1124 from terrelln/playtests-gnu

Write to /dev/random for test

Write to /dev/random for test

lib/Makefile: create include directory before headers installation

Make sure that $(INCLUDEDIR) exists before copying the headers there.
Otherwise, the contest of header files is copied over
$(DESTDIR)$(INCLUDEDIR), making it a regular file.

While at it, remove $(DESTDIR)$(INCLUDEDIR) from the list of directories
to create in the install-pc target. The install-pc target does not need
this directory.

Merge pull request #1122 from facebook/fixCDictBlock

fix ZSTD_compressBlock() associated with ZSTD_CDict

fix ZSTD_compressBlock() associated with CDict

reported by @let-def.

It's actually a bug in ZSTD_compressBegin_usingCDict()
which would pass a wrong pledgedSrcSize value (0 instead of ZSTD_CONTENTSIZE_UNKNOWN)
resulting in wrong window size, resulting in downsized seqStore,
resulting in segfault when writing into the seqStore later in the process.

Added a test in fuzzer to cover this use case (fails before the patch).

Merge pull request #1120 from lamby/897904-libzstd-please-make-the-build-reproducible

Make the build reproducible

Make the build reproducible

Whilst working on the Reproducible Builds effort [0], we noticed
that zstd could not be built reproducibly.

This is due to the manual page encoding the number of CPUs from the
build machine and thus varies across builds.

This was originally filed in Debian as #897904 [1].

 [0] https://reproducible-builds.org/
 [1] https://bugs.debian.org/897904

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge pull request #1118 from terrelln/playtests-typo

Fix playTests.sh typo

Fix playTests.sh typo

Thanks to @mestia for reporting and finding the bug!
Fixes #1116.

ignore Windows build/test artefacts

Merge pull request #1114 from pseiderer/ps-devel-001

Split library install target into pc, static, shared and include only target

Clarifications of Zstandard format specification

from IETF RFC review

Split library install target into pc, static, shared and include only target

Signed-off-by: Peter Seiderer <ps.report@gmx.net>

Merge pull request #1113 from terrelln/dict-fix

Fix parameter adjustment with dictionary

Fix parameter adjustment with dictionary

The new advanced API basically set `requestedParams = appliedParams` when
using a dictionary. This halted all parameter adjustment, which can hurt
compression ratio if, for example, the window log is small for the first
call, but the rest of the files are large.

This patch fixes the bug, and checks that the `requestedParams` don't change
in the new advanced API when using a dictionary, and generally in the fuzzer.

clarified documentation related to refPrefix()

Merge pull request #1112 from facebook/lz4dec

fixed decoding bogus lz4 frame

updated documentation of streaming compression api

fixed decoding bogus lz4 frame

FIO would keep presenting data after an LZ4F decoding error
resulting in a NULL pointer dereference
when associated with older liblz4 version (< v1.8.1.2)

Fix the problem that enables DYNAMIC_BMI2 macro by mistake on ARM architecture with Clang (#1110)

Merge pull request #1107 from terrelln/reset-params

Add ZSTD_CCtx_resetParameters() function

Fix documentation

Only reset CDict in ZSTD_CCtx_resetParameters()

Add ZSTD_CCtx_resetParameters() function

* Fix docs for `ZSTD_CCtx_reset()`.
* Add `ZSTD_CCtx_resetParameters()`.

Fixes #1094.

Enforce pledgeSrcSize whenever known (#1106)

The test fails before the patch and passes after.

Fixes #1095.

Merge pull request #1105 from terrelln/get-param

Add ZSTD_CCtx(Param)?_getParameter() function

Add ZSTD_CCtx(Param)?_getParameter() function

Closes #1096.

doc : clarified advanced API usage

sticky parameters only work with `ZSTD_compress_generic()`

updated comment on parameters that can be changed during compression

Merge pull request #1104 from terrelln/fast-train

Allow negative compression levels in training

Allow negative compression levels in training

* Set `dictCLevel` in `zstdcli.c`.
* Only set to default level if the compression level `== 0`, not `<= 0`.

Merge pull request #1103 from kilobyte/dev

Fix riscv.

Use -pthread rather than -lpthread.

It can have other effects, such as pulling in extra libraries.  Without it,
riscv build fails with undefined reference to `__atomic_compare_exchange_1'.

Merge pull request #1100 from bket/stable_sort

zstd requires a stable sort.

updated ZSTD_p_chainLog description

Merge pull request #1099 from bket/fix_typo

fix typo in programs/zstd.{1,1.md}

zstd requires a stable sort.

On OpenBSD qsort() is not guaranteed to be stable, their mergesort() is.
This fixes issue #1088. All the hard work has been done by @terrelln.

fix typo in programs/zstd.{1,1.md}

s/nodictID/no-dictID/g

Merge pull request #1098 from terrelln/nd-mt

Only load extra table positions for CDicts

Only load extra table positions for CDicts

Zstdmt uses prefixes to load the overlap between segments. Loading extra
positions makes compression non-deterministic, depending on the previous
job the context was used for. Since loading extra position takes extra
time as well, only do it when creating a `ZSTD_CDict`.

Fixes #1077.

Merge pull request #1089 from bket/portability

examples/Makefile assumes GNU make.

Merge pull request #1090 from bket/openbsd

Fix building zstd on OpenBSD.

Make sure that make check runs on OpenBSD. (#1091)

OpenBSD uses md5 instead of md5sum, and has no device called full.

With this patch, make check runs until #1088. With the assumption made
in the issue make check runs succesfully.

Merge pull request #1080 from facebook/getFrameHeader

 added ZSTD_getFrameHeader_advanced()

Fix building zstd on OpenBSD.

examples/Makefile assumes GNU make.

This fixes a building issue on systems that default to a different
flavour of make (as is the case with OpenBSD).

fixed comments as suggested by @terrelln

Merge pull request #1086 from hagemt/hagemt-patch-1

 Correct small typo in manual (man file and markdown)

Update zstd.1.md

Update zstd.1

Merge pull request #1079 from facebook/ovlog

restore ability to set overlapLog

Merge pull request #1085 from terrelln/readme

Clarify license in the second paragraph

Clarify license in the second paragraph

added ZSTD_getFrameHeader_advanced()

makes it possible to request frame header from a magicless frame

added more code documentation for ZSTD_getFrameHeader()

added ovlog tests

check that setting ovlog has a direct impact on compression ratio
(hence is not silently ignored)

restored ability to manually set overlapLog

Merge pull request #1075 from terrelln/cmake

Fix CMake build

Fix CMake build

`MAN_INSTALL_DIR` was undefined.

Tested with `make cmakebuild`, and saw that the man pages got installed to the right place:

```
-- Installing: /Users/terrelln/install_test_dir/lib/pkgconfig/libzstd.pc
-- Installing: /Users/terrelln/install_test_dir/include/zstd.h
-- Installing: /Users/terrelln/install_test_dir/include/zbuff.h
-- Installing: /Users/terrelln/install_test_dir/include/zdict.h
-- Installing: /Users/terrelln/install_test_dir/include/zstd_errors.h
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.1.3.4.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.a
-- Installing: /Users/terrelln/install_test_dir/bin/zstd
-- Up-to-date: /Users/terrelln/install_test_dir/bin/zstd
-- Installing: /Users/terrelln/install_test_dir/bin/zstdcat
-- Installing: /Users/terrelln/install_test_dir/bin/unzstd
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstd.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstdcat.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/unzstd.1
-- Installing: /Users/terrelln/install_test_dir/bin/zstdmt
-- Installing: /Users/terrelln/install_test_dir/bin/pzstd
-- Installing: /Users/terrelln/install_test_dir/zstd_manual.html
```

updated NEWS for v1.3.4

updated VS studio readme

Merge pull request #1065 from HaydnTrigg/dev

Generic Visual Studio 2017 build script

Merge pull request #1072 from facebook/srcPackage

Src package

Merge pull request #1074 from rxrbln/dev

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*
like in other files

Swapped VS2017 preference order

Merge branch 'dev' into srcPackage

Merge pull request #1073 from facebook/hasAttribute

make `DYNAMIC_BMI2` support of `clang` conditional to `__has_attribute()`

added __has_attribute() define for non-clang compilers

make DYNAMIC_BMI2 support of clang conditional to __has_attribute()

to support older clang versions such as 3.4

Merge branch 'dev' of github.com:facebook/zstd into dev

Revert "create .tar.zst source package"

This reverts commit 929608146a439c4bd28b989a5af47cb9afce2af5.

make artifacts ande extended tests only on master

restored certutil command line

clean certutil output

added sha256 sig

created zstd archive from git archive

export zstd/master from github using svn

git clone master branch (hardcoded)

git clone for clean src tar

added tar command