replaced FSE_count by FSE_count_simple

to reduce usage of stack memory.

Also : tweaked a few comments, as suggested by @terrelln

fixed wrong assertion

base can actually overflow

fixed c++ conversion warning

minor adjusting of weights

opt: init statistics from dictionary

instead of starting from fake "default" statistics.

btopt : minor adjustment of update frequencies

opt: minor improvements to log traces

slight improvement when using fractional-bit evaluation (opt:dictionay)

fixed declaration-after-statement warning

added traces to look at symbol costs

evaluation looks correct.

switchable bit-approximation / fractional-bit accuracy modes

also : makes it possible to select nb of fractional bits.

implemented fractional bit cost evaluation

for FSE symbols.

While it seems to work, the gains are negligible compared to rough maxNbBits evaluation.
There are even a few losses sometimes, that still need to be explained.
Furthermode, there are still cases where btlazy2 does a better job than btopt,
which seems rather strange too.

opt: shift all costs by 8 bits (* 256)

making it possible to represent fractional bit costs.

opt: estimate cost of both Hufman and FSE symbols

For FSE symbols : provide an upper bound,
in nb of bits,
since cost function is not able to store fractional bit costs.

pass entropy tables to optimal parser

for proper estimation of symbol's weights
when using dictionary compression.

Note : using only huffman costs is not good enough,
presumably because sequence symbol costs are incorrect.

minor code refactor for readability

removed some useless operations from optimal parser
(should not change performance, too small a difference)

Merge pull request #1120 from lamby/897904-libzstd-please-make-the-build-reproducible

Make the build reproducible

Make the build reproducible

Whilst working on the Reproducible Builds effort [0], we noticed
that zstd could not be built reproducibly.

This is due to the manual page encoding the number of CPUs from the
build machine and thus varies across builds.

This was originally filed in Debian as #897904 [1].

 [0] https://reproducible-builds.org/
 [1] https://bugs.debian.org/897904

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge pull request #1118 from terrelln/playtests-typo

Fix playTests.sh typo

Fix playTests.sh typo

Thanks to @mestia for reporting and finding the bug!
Fixes #1116.

ignore Windows build/test artefacts

Merge pull request #1114 from pseiderer/ps-devel-001

Split library install target into pc, static, shared and include only target

Clarifications of Zstandard format specification

from IETF RFC review

Split library install target into pc, static, shared and include only target

Signed-off-by: Peter Seiderer <ps.report@gmx.net>

Merge pull request #1113 from terrelln/dict-fix

Fix parameter adjustment with dictionary

Fix parameter adjustment with dictionary

The new advanced API basically set `requestedParams = appliedParams` when
using a dictionary. This halted all parameter adjustment, which can hurt
compression ratio if, for example, the window log is small for the first
call, but the rest of the files are large.

This patch fixes the bug, and checks that the `requestedParams` don't change
in the new advanced API when using a dictionary, and generally in the fuzzer.

clarified documentation related to refPrefix()

Merge pull request #1112 from facebook/lz4dec

fixed decoding bogus lz4 frame

updated documentation of streaming compression api

fixed decoding bogus lz4 frame

FIO would keep presenting data after an LZ4F decoding error
resulting in a NULL pointer dereference
when associated with older liblz4 version (< v1.8.1.2)

Fix the problem that enables DYNAMIC_BMI2 macro by mistake on ARM architecture with Clang (#1110)

Merge pull request #1107 from terrelln/reset-params

Add ZSTD_CCtx_resetParameters() function

Fix documentation

Only reset CDict in ZSTD_CCtx_resetParameters()

Add ZSTD_CCtx_resetParameters() function

* Fix docs for `ZSTD_CCtx_reset()`.
* Add `ZSTD_CCtx_resetParameters()`.

Fixes #1094.

Enforce pledgeSrcSize whenever known (#1106)

The test fails before the patch and passes after.

Fixes #1095.

Merge pull request #1105 from terrelln/get-param

Add ZSTD_CCtx(Param)?_getParameter() function

Add ZSTD_CCtx(Param)?_getParameter() function

Closes #1096.

doc : clarified advanced API usage

sticky parameters only work with `ZSTD_compress_generic()`

updated comment on parameters that can be changed during compression

Merge pull request #1104 from terrelln/fast-train

Allow negative compression levels in training

Allow negative compression levels in training

* Set `dictCLevel` in `zstdcli.c`.
* Only set to default level if the compression level `== 0`, not `<= 0`.

Merge pull request #1103 from kilobyte/dev

Fix riscv.

Use -pthread rather than -lpthread.

It can have other effects, such as pulling in extra libraries.  Without it,
riscv build fails with undefined reference to `__atomic_compare_exchange_1'.

Merge pull request #1100 from bket/stable_sort

zstd requires a stable sort.

updated ZSTD_p_chainLog description

Merge pull request #1099 from bket/fix_typo

fix typo in programs/zstd.{1,1.md}

zstd requires a stable sort.

On OpenBSD qsort() is not guaranteed to be stable, their mergesort() is.
This fixes issue #1088. All the hard work has been done by @terrelln.

fix typo in programs/zstd.{1,1.md}

s/nodictID/no-dictID/g

Merge pull request #1098 from terrelln/nd-mt

Only load extra table positions for CDicts

Only load extra table positions for CDicts

Zstdmt uses prefixes to load the overlap between segments. Loading extra
positions makes compression non-deterministic, depending on the previous
job the context was used for. Since loading extra position takes extra
time as well, only do it when creating a `ZSTD_CDict`.

Fixes #1077.

Merge pull request #1089 from bket/portability

examples/Makefile assumes GNU make.

Merge pull request #1090 from bket/openbsd

Fix building zstd on OpenBSD.

Make sure that make check runs on OpenBSD. (#1091)

OpenBSD uses md5 instead of md5sum, and has no device called full.

With this patch, make check runs until #1088. With the assumption made
in the issue make check runs succesfully.

Merge pull request #1080 from facebook/getFrameHeader

 added ZSTD_getFrameHeader_advanced()

Fix building zstd on OpenBSD.

examples/Makefile assumes GNU make.

This fixes a building issue on systems that default to a different
flavour of make (as is the case with OpenBSD).

fixed comments as suggested by @terrelln

Merge pull request #1086 from hagemt/hagemt-patch-1

 Correct small typo in manual (man file and markdown)

Update zstd.1.md

Update zstd.1

Merge pull request #1079 from facebook/ovlog

restore ability to set overlapLog

Merge pull request #1085 from terrelln/readme

Clarify license in the second paragraph

Clarify license in the second paragraph

added ZSTD_getFrameHeader_advanced()

makes it possible to request frame header from a magicless frame

added more code documentation for ZSTD_getFrameHeader()

added ovlog tests

check that setting ovlog has a direct impact on compression ratio
(hence is not silently ignored)

restored ability to manually set overlapLog

Merge pull request #1075 from terrelln/cmake

Fix CMake build

Fix CMake build

`MAN_INSTALL_DIR` was undefined.

Tested with `make cmakebuild`, and saw that the man pages got installed to the right place:

```
-- Installing: /Users/terrelln/install_test_dir/lib/pkgconfig/libzstd.pc
-- Installing: /Users/terrelln/install_test_dir/include/zstd.h
-- Installing: /Users/terrelln/install_test_dir/include/zbuff.h
-- Installing: /Users/terrelln/install_test_dir/include/zdict.h
-- Installing: /Users/terrelln/install_test_dir/include/zstd_errors.h
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.1.3.4.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.a
-- Installing: /Users/terrelln/install_test_dir/bin/zstd
-- Up-to-date: /Users/terrelln/install_test_dir/bin/zstd
-- Installing: /Users/terrelln/install_test_dir/bin/zstdcat
-- Installing: /Users/terrelln/install_test_dir/bin/unzstd
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstd.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstdcat.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/unzstd.1
-- Installing: /Users/terrelln/install_test_dir/bin/zstdmt
-- Installing: /Users/terrelln/install_test_dir/bin/pzstd
-- Installing: /Users/terrelln/install_test_dir/zstd_manual.html
```

updated NEWS for v1.3.4

updated VS studio readme

Merge pull request #1065 from HaydnTrigg/dev

Generic Visual Studio 2017 build script

Merge pull request #1072 from facebook/srcPackage

Src package

Merge pull request #1074 from rxrbln/dev

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*
like in other files

Swapped VS2017 preference order

Merge branch 'dev' into srcPackage

Merge pull request #1073 from facebook/hasAttribute

make `DYNAMIC_BMI2` support of `clang` conditional to `__has_attribute()`

added __has_attribute() define for non-clang compilers

make DYNAMIC_BMI2 support of clang conditional to __has_attribute()

to support older clang versions such as 3.4

Merge branch 'dev' of github.com:facebook/zstd into dev

Revert "create .tar.zst source package"

This reverts commit 929608146a439c4bd28b989a5af47cb9afce2af5.

make artifacts ande extended tests only on master

restored certutil command line

clean certutil output

added sha256 sig

created zstd archive from git archive

export zstd/master from github using svn

git clone master branch (hardcoded)

git clone for clean src tar

added tar command

added path print

removed src artifact lines

commented src archive lines

added srcPackage to list of branch producing artifacts

create .tar.zst source package

Merge pull request #1071 from terrelln/mt-pics

Add zstdmt long range mode graphs

Add zstdmt long range mode graphs

updated graph for dictionary compression

Merge pull request #1069 from facebook/statusLine

restored simple status line during zstd compression