__builtin_prefetch did probably not exist before gcc 3.1.

Merge pull request #1140 from fbrosson/cpu-asm

Drop colon in asm snippet to make old versions of gcc happy.

Drop colon in asm snippet to make old versions of gcc happy.

Merge pull request #1135 from facebook/frameCSize

decompress: changed error code when input is too large

Merge pull request #1136 from terrelln/fix

Fix failing Travis tests

Fix failing Travis tests

Merge pull request #1127 from facebook/staticDictCost

Improved optimal parser with dictionary

decompress: changed error code when input is too large

ZSTD_decompress() can decompress multiple frames sent as a single input.
But the input size must be the exact sum of all compressed frames, no more.

In the case of a mistake on srcSize, being larger than required,
ZSTD_decompress() will try to decompress a new frame after current one, and fail.
As a consequence, it will issue an error code, ERROR(prefix_unknown).

While the error is technically correct
(the decoder could not recognise the header of _next_ frame),
it's confusing, as users will believe that the first header of the first frame is wrong,
which is not the case (it's correct).
It makes it more difficult to understand that the error is in the source size, which is too large.

This patch changes the error code provided in such a scenario.
If (at least) a first frame was successfully decoded,
and then following bytes are garbage values,
the decoder assumes the provided input size is wrong (too large),
and issue the error code ERROR(srcSize_wrong).

Merge pull request #1131 from facebook/zstdcli

minor: control numeric argument overflow

Merge pull request #1130 from facebook/man

fix #1115

Merge pull request #1129 from facebook/paramgrill

Paramgrill refactoring

Merge pull request #1133 from felixhandte/travis-fix

Make Travis CI Run `apt-get update`

Travis CI Runs apt-get Update

paramgrill: use NB_LEVELS_TRACKED in loop

make it easier to generate/track more levels
than ZSTD_maxClevel()

cli: control numeric argument overflow

exit on overflow
backported from paramgrill
added associated test case

minor : factor out errorOut()

fix #1115

paramgrill: subtle change in level spacing

distance between levels is slightly increased
to compensate for level 1 speed improvements
and the will to have stronger level 19
extending the range of speed to cover.

added programmable constraints

generalized use of readU32FromChar()

and check input overflow

replaced FSE_count by FSE_count_simple

to reduce usage of stack memory.

Also : tweaked a few comments, as suggested by @terrelln

Merge pull request #1128 from facebook/libdir

minor Makefile patch

minor patch, ensuring LIBDIR is created before installation

follow-up from #1123

fixed wrong assertion

base can actually overflow

fixed c++ conversion warning

minor adjusting of weights

opt: init statistics from dictionary

instead of starting from fake "default" statistics.

btopt : minor adjustment of update frequencies

Merge pull request #1123 from baruchsiach/fix-install-pc

lib/Makefile: create include directory before headers installation

opt: minor improvements to log traces

slight improvement when using fractional-bit evaluation (opt:dictionay)

fixed declaration-after-statement warning

added traces to look at symbol costs

evaluation looks correct.

switchable bit-approximation / fractional-bit accuracy modes

also : makes it possible to select nb of fractional bits.

Merge pull request #1124 from terrelln/playtests-gnu

Write to /dev/random for test

implemented fractional bit cost evaluation

for FSE symbols.

While it seems to work, the gains are negligible compared to rough maxNbBits evaluation.
There are even a few losses sometimes, that still need to be explained.
Furthermode, there are still cases where btlazy2 does a better job than btopt,
which seems rather strange too.

opt: shift all costs by 8 bits (* 256)

making it possible to represent fractional bit costs.

opt: estimate cost of both Hufman and FSE symbols

For FSE symbols : provide an upper bound,
in nb of bits,
since cost function is not able to store fractional bit costs.

pass entropy tables to optimal parser

for proper estimation of symbol's weights
when using dictionary compression.

Note : using only huffman costs is not good enough,
presumably because sequence symbol costs are incorrect.

minor code refactor for readability

removed some useless operations from optimal parser
(should not change performance, too small a difference)

Write to /dev/random for test

lib/Makefile: create include directory before headers installation

Make sure that $(INCLUDEDIR) exists before copying the headers there.
Otherwise, the contest of header files is copied over
$(DESTDIR)$(INCLUDEDIR), making it a regular file.

While at it, remove $(DESTDIR)$(INCLUDEDIR) from the list of directories
to create in the install-pc target. The install-pc target does not need
this directory.

Merge pull request #1122 from facebook/fixCDictBlock

fix ZSTD_compressBlock() associated with ZSTD_CDict

fix ZSTD_compressBlock() associated with CDict

reported by @let-def.

It's actually a bug in ZSTD_compressBegin_usingCDict()
which would pass a wrong pledgedSrcSize value (0 instead of ZSTD_CONTENTSIZE_UNKNOWN)
resulting in wrong window size, resulting in downsized seqStore,
resulting in segfault when writing into the seqStore later in the process.

Added a test in fuzzer to cover this use case (fails before the patch).

Merge pull request #1120 from lamby/897904-libzstd-please-make-the-build-reproducible

Make the build reproducible

Make the build reproducible

Whilst working on the Reproducible Builds effort [0], we noticed
that zstd could not be built reproducibly.

This is due to the manual page encoding the number of CPUs from the
build machine and thus varies across builds.

This was originally filed in Debian as #897904 [1].

 [0] https://reproducible-builds.org/
 [1] https://bugs.debian.org/897904

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge pull request #1118 from terrelln/playtests-typo

Fix playTests.sh typo

Fix playTests.sh typo

Thanks to @mestia for reporting and finding the bug!
Fixes #1116.

ignore Windows build/test artefacts

Merge pull request #1114 from pseiderer/ps-devel-001

Split library install target into pc, static, shared and include only target

Clarifications of Zstandard format specification

from IETF RFC review

Split library install target into pc, static, shared and include only target

Signed-off-by: Peter Seiderer <ps.report@gmx.net>

Merge pull request #1113 from terrelln/dict-fix

Fix parameter adjustment with dictionary

Fix parameter adjustment with dictionary

The new advanced API basically set `requestedParams = appliedParams` when
using a dictionary. This halted all parameter adjustment, which can hurt
compression ratio if, for example, the window log is small for the first
call, but the rest of the files are large.

This patch fixes the bug, and checks that the `requestedParams` don't change
in the new advanced API when using a dictionary, and generally in the fuzzer.

clarified documentation related to refPrefix()

Merge pull request #1112 from facebook/lz4dec

fixed decoding bogus lz4 frame

updated documentation of streaming compression api

fixed decoding bogus lz4 frame

FIO would keep presenting data after an LZ4F decoding error
resulting in a NULL pointer dereference
when associated with older liblz4 version (< v1.8.1.2)

Fix the problem that enables DYNAMIC_BMI2 macro by mistake on ARM architecture with Clang (#1110)

Merge pull request #1107 from terrelln/reset-params

Add ZSTD_CCtx_resetParameters() function

Fix documentation

Only reset CDict in ZSTD_CCtx_resetParameters()

Add ZSTD_CCtx_resetParameters() function

* Fix docs for `ZSTD_CCtx_reset()`.
* Add `ZSTD_CCtx_resetParameters()`.

Fixes #1094.

Enforce pledgeSrcSize whenever known (#1106)

The test fails before the patch and passes after.

Fixes #1095.

Merge pull request #1105 from terrelln/get-param

Add ZSTD_CCtx(Param)?_getParameter() function

Add ZSTD_CCtx(Param)?_getParameter() function

Closes #1096.

doc : clarified advanced API usage

sticky parameters only work with `ZSTD_compress_generic()`

updated comment on parameters that can be changed during compression

Merge pull request #1104 from terrelln/fast-train

Allow negative compression levels in training

Allow negative compression levels in training

* Set `dictCLevel` in `zstdcli.c`.
* Only set to default level if the compression level `== 0`, not `<= 0`.

Merge pull request #1103 from kilobyte/dev

Fix riscv.

Use -pthread rather than -lpthread.

It can have other effects, such as pulling in extra libraries.  Without it,
riscv build fails with undefined reference to `__atomic_compare_exchange_1'.

Merge pull request #1100 from bket/stable_sort

zstd requires a stable sort.

updated ZSTD_p_chainLog description

Merge pull request #1099 from bket/fix_typo

fix typo in programs/zstd.{1,1.md}

zstd requires a stable sort.

On OpenBSD qsort() is not guaranteed to be stable, their mergesort() is.
This fixes issue #1088. All the hard work has been done by @terrelln.

fix typo in programs/zstd.{1,1.md}

s/nodictID/no-dictID/g

Merge pull request #1098 from terrelln/nd-mt

Only load extra table positions for CDicts

Only load extra table positions for CDicts

Zstdmt uses prefixes to load the overlap between segments. Loading extra
positions makes compression non-deterministic, depending on the previous
job the context was used for. Since loading extra position takes extra
time as well, only do it when creating a `ZSTD_CDict`.

Fixes #1077.

Merge pull request #1089 from bket/portability

examples/Makefile assumes GNU make.

Merge pull request #1090 from bket/openbsd

Fix building zstd on OpenBSD.

Make sure that make check runs on OpenBSD. (#1091)

OpenBSD uses md5 instead of md5sum, and has no device called full.

With this patch, make check runs until #1088. With the assumption made
in the issue make check runs succesfully.

Merge pull request #1080 from facebook/getFrameHeader

 added ZSTD_getFrameHeader_advanced()

Fix building zstd on OpenBSD.

examples/Makefile assumes GNU make.

This fixes a building issue on systems that default to a different
flavour of make (as is the case with OpenBSD).

fixed comments as suggested by @terrelln

Merge pull request #1086 from hagemt/hagemt-patch-1

 Correct small typo in manual (man file and markdown)

Update zstd.1.md

Update zstd.1

Merge pull request #1079 from facebook/ovlog

restore ability to set overlapLog

Merge pull request #1085 from terrelln/readme

Clarify license in the second paragraph

Clarify license in the second paragraph

added ZSTD_getFrameHeader_advanced()

makes it possible to request frame header from a magicless frame

added more code documentation for ZSTD_getFrameHeader()

added ovlog tests

check that setting ovlog has a direct impact on compression ratio
(hence is not silently ignored)

restored ability to manually set overlapLog

Merge pull request #1075 from terrelln/cmake

Fix CMake build

Fix CMake build

`MAN_INSTALL_DIR` was undefined.

Tested with `make cmakebuild`, and saw that the man pages got installed to the right place:

```
-- Installing: /Users/terrelln/install_test_dir/lib/pkgconfig/libzstd.pc
-- Installing: /Users/terrelln/install_test_dir/include/zstd.h
-- Installing: /Users/terrelln/install_test_dir/include/zbuff.h
-- Installing: /Users/terrelln/install_test_dir/include/zdict.h
-- Installing: /Users/terrelln/install_test_dir/include/zstd_errors.h
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.1.3.4.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.a
-- Installing: /Users/terrelln/install_test_dir/bin/zstd
-- Up-to-date: /Users/terrelln/install_test_dir/bin/zstd
-- Installing: /Users/terrelln/install_test_dir/bin/zstdcat
-- Installing: /Users/terrelln/install_test_dir/bin/unzstd
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstd.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstdcat.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/unzstd.1
-- Installing: /Users/terrelln/install_test_dir/bin/zstdmt
-- Installing: /Users/terrelln/install_test_dir/bin/pzstd
-- Installing: /Users/terrelln/install_test_dir/zstd_manual.html
```

updated NEWS for v1.3.4

updated VS studio readme

Merge pull request #1065 from HaydnTrigg/dev

Generic Visual Studio 2017 build script