Merge pull request #1075 from terrelln/cmake

Fix CMake build

Fix CMake build

`MAN_INSTALL_DIR` was undefined.

Tested with `make cmakebuild`, and saw that the man pages got installed to the right place:

```
-- Installing: /Users/terrelln/install_test_dir/lib/pkgconfig/libzstd.pc
-- Installing: /Users/terrelln/install_test_dir/include/zstd.h
-- Installing: /Users/terrelln/install_test_dir/include/zbuff.h
-- Installing: /Users/terrelln/install_test_dir/include/zdict.h
-- Installing: /Users/terrelln/install_test_dir/include/zstd_errors.h
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.1.3.4.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.dylib
-- Installing: /Users/terrelln/install_test_dir/lib/libzstd.a
-- Installing: /Users/terrelln/install_test_dir/bin/zstd
-- Up-to-date: /Users/terrelln/install_test_dir/bin/zstd
-- Installing: /Users/terrelln/install_test_dir/bin/zstdcat
-- Installing: /Users/terrelln/install_test_dir/bin/unzstd
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstd.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/zstdcat.1
-- Installing: /Users/terrelln/install_test_dir/share/man/man1/unzstd.1
-- Installing: /Users/terrelln/install_test_dir/bin/zstdmt
-- Installing: /Users/terrelln/install_test_dir/bin/pzstd
-- Installing: /Users/terrelln/install_test_dir/zstd_manual.html
```

updated NEWS for v1.3.4

updated VS studio readme

Merge pull request #1065 from HaydnTrigg/dev

Generic Visual Studio 2017 build script

Merge pull request #1072 from facebook/srcPackage

Src package

Merge pull request #1074 from rxrbln/dev

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*

fixed legacy/zstd_v* with older gcc version, by guarding builtin_*
like in other files

Swapped VS2017 preference order

Merge branch 'dev' into srcPackage

Merge pull request #1073 from facebook/hasAttribute

make `DYNAMIC_BMI2` support of `clang` conditional to `__has_attribute()`

added __has_attribute() define for non-clang compilers

make DYNAMIC_BMI2 support of clang conditional to __has_attribute()

to support older clang versions such as 3.4

Merge branch 'dev' of github.com:facebook/zstd into dev

Revert "create .tar.zst source package"

This reverts commit 929608146a439c4bd28b989a5af47cb9afce2af5.

make artifacts ande extended tests only on master

restored certutil command line

clean certutil output

added sha256 sig

created zstd archive from git archive

export zstd/master from github using svn

git clone master branch (hardcoded)

git clone for clean src tar

added tar command

added path print

removed src artifact lines

commented src archive lines

added srcPackage to list of branch producing artifacts

create .tar.zst source package

Merge pull request #1071 from terrelln/mt-pics

Add zstdmt long range mode graphs

Add zstdmt long range mode graphs

updated graph for dictionary compression

Merge pull request #1069 from facebook/statusLine

restored simple status line during zstd compression

updated benchmark figures

restored simple status line during zstd compression

the more advanced one, featuring amount of data buffered,
is triggered on `-v`.

Merge pull request #1067 from facebook/targetLength

removed limit ZSTD_TARGETLENGTH_MAX

Merge pull request #1068 from terrelln/mt-fixes

Fix broken assertion

fixed fuzz test

Fix broken assertion

The `avgJobSize` must not be lower than 256 KB for single-pass mode.
In `zstd.h` we say the minimum value for `ZSTD_p_jobSize` is 1 MB,
so ensure that we always pick a size >= 1 MB.

Found by libFuzzer fuzzer tests with large input limits.

fixed paramgrill

added large negative level test case

removed limit ZSTD_TARGETLENGTH_MAX

this makes it possible to specify extremely large negative compression levels,
achieving the side effect as "no compression".

It will also be possible to define larger targetlength for ultra compression mode.

There is no adverse side effect due to removing this limit.

Refined build script

Merge pull request #1062 from facebook/advancedDecompress

Advanced decompression API

Merge branch 'dev' into advancedDecompress

Merge pull request #1057 from facebook/lrmSettings

LRM parameters

Merge pull request #1063 from Varunram/manpage

Update man page variables in CMakeLists

Generic Visual Studio 2017 build script

Update man page variables in CMakeLists

fixed minor declaration warning

Merge pull request #1059 from terrelln/mt-ldm

Integrate ldm with zstdmt

fixed legacy test case

fixed several comments by @terrelln

Merge pull request #1060 from facebook/compressImpl

merge bmi2 implementation of encodeSequence into zstd_compress.c

zstreamtest : slightly decreased time to build dictionary size

added test with ZSTD_decompress_generic() + ZSTD_DCtx_refPrefix()

also :
clarified stage condition to accept new parameters,
fixed initializers correspondingly.

added a test with ZSTD_decompress_generic() + ZSTD_DCtx_loadDictionary_byReference()

implemented ZSTD_DCtx_refPrefix*()

implemented ZSTD_DCtx_refDDict()

Quiet appveyor warnings

changed dictMore for dictContentType

which seems clearer to describe what the variable/argument is about.

updated ZSTD_initStaticDDict() prototype

can also specify dictContentType.

Fix external sequence corner cases

* Clear external sequences when we reset the `ZSTD_CCtx`.
* Skip external sequences when a block is too small to compress.

implemented ZSTD_DCtx_loadDictionary*()

this required updating ZSTD_createDDict_advanced()
to accept a dictContentType parameter (raw, full, auto).

Merge pull request #1058 from facebook/cctxParams

updated CCtxParams API

merge bmi2 implementation of encodeSequence into zstd_compress.c

Fix window size for 1 worker + flushing

Set ldmParams to 0 when disabled

Fix corner cases exposed by zstreamtest

Integrate ldm with zstdmt

Integrate ldm into zstdmt by running it in serial and in order in the first
step of each job, in the same place as the hash gets updated. The input
buffer is sized to fit the whole LDM window and 2 full buffers of slack.
Input buffers cannot be reused until the LDM step is done with them.
After the LDM step is finished, the jobs don't actually have access to the
full window, only the overlap.

Tested on a few different multi-GB files with and without sanitizers,
and with different numbers of threads.

moved snap to /contrib

Merge pull request #1015 from elopio/snapcraft

Add the packaging metadata to build the zstd snap

added docker readme

Merge pull request #1052 from Varunram/dockerfile

Add Dockerfile

add a test for unordered parameters

Pull job/overlap log logic into common function (#1055)

Prepares for LDM integration by separating the job size and overlap logic
into helper functions.

updated CCtxParams API

to respect naming convention :
ZSTD_CCtxParams_*()

make it possible to express compression parameters in any order

Merge pull request #1056 from terrelln/xxh-parallel

Move XXH64_update() into worker threads

Merge pull request #1049 from facebook/contrib

`/contrib` projects as part of CI tests

Move XXH64_update() into worker threads

* Computes the XXH hash in the worker threads.
* Workers get a sequence number and wait until ther number shows up. On
  error, ensures that its sequence is finished, so future threads don't
  get blocked.
* Sets up for ldm integration, which will go in the same spot.

make it possible to specify LDM parameters in any order

Merge pull request #1053 from Varunram/cmakelists

Add missing checks to CMakeLists

Merge pull request #1045 from terrelln/mt-single

Use a single buffer in zstdmt

Add missing checks to CMakeLists;closes #1023

Add Dockerfile

Dockerfile initially proposed by @gyscos at #880

Merge branch 'dev' into mt-single

Merge pull request #1050 from terrelln/restore-loadedDictEnd

Restore setting loadedDictEnd

Restore setting loadedDictEnd

Setting `loadedDictEnd` was accidently removed from `ZSTD_loadDictionaryContent()`,
which means that dictionary compression will only be able to reference the parts of
the dictionary within the window. The spec allows us to reference the entire
dictionary so long as even one byte is in the window.

`ZSTD_enforceMaxDist()` incorrectly always allowed offsets up to `loadedDictEnd`
beyond the window, even once the dictionary was out of range.

When overflow protection kicked in, the check `current > loadedDictEnd + maxDist`
is incorrect if `loadedDictEnd` isn't reset back to zero. `current` could be reset
below the value, which would incorrectly allow references beyond the window. This
bug is present in `master`, but is very hard to trigger, since it requires both
dictionaries and data which triggers overflow correction.

moving LRM parameters out of experimental section

into "normal" range,
start pinned at 160.

fixed contrib/adaptive-compression

added /contrib projects to `make all`

fixed seekable format example

removed LRM exploratory experiment

Use a single buffer in zstdmt

Summary:
Allocate a single input buffer large enough to house each job, as well as
enough space for the IO thread to write 2 extra buffers. One goes in the
`POOL` queue, and one to fill, and then block on a full `POOL` queue.
Since we can't overlap with the prefix, we allocate space for 3 extra
input buffers.

Test Plan:
* CI
* With and without ASAN/UBSAN run zstdmt with different number of threads
  on two large binaries, and verify that their checksums match.
* Test on the tip of the zstdmt ldm integration.

Reviewers: cyan

Differential Revision: https://phabricator.intern.facebook.com/D7284007

Tasks: T25664120

Merge pull request #1047 from facebook/hufCompress

 removed huf_compress_impl.h

Merge pull request #1037 from terrelln/extern-seq

Expose reference external sequence API

Expose reference external sequence API

Summary:
* Expose the reference external sequences API for zstdmt.
  Allows external sequences of any length, which get split when necessary.
* Reset the LDM window when the context is reset.
* Store the maximum number of LDM sequences.
* Sequence generation now returns the number of last literals.
* Fix sequence generation to not throw out the last literals when blocks of
  more than 1 MB are encountered.

Expose reference external sequence API

* Expose the reference external sequences API for zstdmt.
* Allows external sequences of any length, which get split when necessary.
* Reset the LDM window when the context is reset.
* Store the maximum number of LDM sequences.
* Sequence generation now returns the number of last literals.
* Fix sequence generation to not throw out the last literals when blocks of
  more than 1 MB are encountered.

Test Plan:
* CI
* Test the zstdmt ldm integration stacked on top of this diff

Reviewers: cyan

Differential Revision: https://phabricator.intern.facebook.com/D7283968

Tasks: T25664120

Merge remote-tracking branch 'upstream/dev' into extern-seq

* upstream/dev:
  Fix overflow protection with wlog=31

Merge pull request #1035 from terrelln/31-overflow

Fix overflow protection with wlog=31