no zero

Merge pull request #1246 from jennifermliu/benchmark

Benchmark dictionary builders

Minor fix

Refactoring and benchmark without dictionary

Benchmark dictionary builders

Merge pull request #1245 from terrelln/disable-arm

Revert "attempt to re-enable arm64 tests"

Revert "attempt to re-enable arm64 tests"

This reverts commit 9c277f137cbcaa385ff5b95ec4cbdce50675541d.

Merge pull request #1238 from jennifermliu/random

Add random dictionary builder

Update Makefile

Rename cleanup

Add cleanup to trainfromFiles and move RANDOM_segment_t declaration

Merge pull request #1230 from terrelln/train-out

zstdcli: Allow -o before --train

Merge pull request #1237 from terrelln/init-cstream-adv

Set requestedParams in ZSTD_initCStream*()

Merge pull request #1242 from facebook/mingw_traces

zstdmt debug traces compatibles with mingw

Merge pull request #1244 from terrelln/ferror

fileio: Error in compression on read errors

Update freeSampleInfo

Fix deallocation problem and add documentation

fileio: Error in compression on read errors

We can write a corrupted file if the input file errors during a read.
We should return a non-zero error code in this case.

Make test PHONY target

Move file loading functions to new file for access by benchmarking tool

zstdmt debug traces compatibles with mingw

since mingw does not have `sys/times.h`,
remove this path when detecting mingw compilation.

Remove CLevel cli option which was accidentally added back in the last commit

Fix spacing and Edit Makefile (now run with make instead of make run)

Refactor RANDOM

zstdcli: Allow -o before --train

Only set the default value if `outFileName` is unset.

Fixes #1227.

Merge pull request #1234 from codecat/add-premake

Added premake4/GENie script to contrib folder

Merge pull request #1233 from terrelln/doc-fiz

Small fixes to zstd specification

Fix wrong conditions

Update zstd.lua

Update README

Remove clevel and update documentation

Add random dictionary builder

Merge pull request #1225 from jennifermliu/dev

Split samples when building dictionary for COVER

Set requestedParams in ZSTD_initCStream*()

The correct parameters are used once, but once `ZSTD_resetCStream()` is
called the default parameters (level 3) are used. Fix this by setting
`requestedParams` in the `ZSTD_initCStream*()` functions.

The added tests both fail before this patch and pass after.

Merge pull request #1235 from ldv-alt/dev

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

Add explanation for split=100

Added premake4/GENie script to contrib folder

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

https://github.com/facebook/zstd/pull/1124 broke the test suite
on Linux.  Looks like GNU/Hurd is the only operating system where
/dev/random is available for writing by unprivileged processes.

https://github.com/facebook/zstd/pull/1222 reverted the change
introduced by https://github.com/facebook/zstd/pull/1124 for OpenBSD
only, other operating systems need that change to be reverted, too.

Fixes: 2dde9d5abaad ("Write to /dev/random for test")
Complements: 276988f7948d ("OpenBSD is unable to write to /dev/zero")

Small fixes to zstd specification

Update to keep in sync with the RFC.

Change default splitPoint to 100

Change back to splitPoint<=0

Only make 0.0 default splitPoint

Merge pull request #1226 from facebook/noPrefetch

add build macro NO_PREFETCH

add build macro NO_PREFETCH

prevent usage of prefetch intrinsic commands
which are not supported by c2rust
(see https://github.com/immunant/c2rust/issues/13)

Change cover_sum back to 2 parameters and fix splitPoint issues

Fix testing parameter

Update doc for split==100

Allow splitPoint==1.0 (using all samples for both training and testing)

Some edits based on pull request comments

Update minimal training sample size

Merge pull request #1206 from GeorgeLu97/FullBenchParam

Fullbench Param

Merge pull request #1188 from GeorgeLu97/BenchModule

Bench module

Update COVER dictionary builder tests

Merge pull request #1223 from jon-turney/dev

meson: fix build

meson: fix build

Update documentation

Merge pull request #1222 from bket/openbsd

2 separate issues found when running zstd's tests on OpenBSD

xz/lzma warning causes test to fail

OpenBSD's port building infrastructure is able to build in a privilege
separated mode. It uses a privilege drop model. Regression tests fail in
this mode as xz/lzma is unable to set file group and errors out with:

xz: tmp.xz: Cannot set the file group: Operation not permitted
gmake[1]: *** [Makefile:307: zstd-playTests] Error 2

Actually it is not a xz/lzma error but a warning causing zstd's
regression test to fail. Proposed fix is to have xz/lzma not set the
exit status to 2 even if a condition worth a warning was detected (-Q
flag).

OpenBSD is unable to write to /dev/zero

https://github.com/facebook/zstd/pull/1124 fixes an issue with GNU/Hurd
being unable to write to /dev/zero. Implemented fix is writing to
/dev/random instead.

On OpenBSD a regular user is unable to write to /dev/random because of
permissions set on this device. Result is failing a regression test.

Proposed solution should work for all platforms.

Fix another declaration issue

Add split=# to cli

make build tests more unforgiving

`-Werror` will ensure they fail if there is the slightest warning.

fix a minor warning specific to `zstd_decompress` variant.

fix `test-zstd` can be run with parallel compilation

fix #1221

Explicitly cast double to unsigned

Fix variable declaration problem

Another fix to comparator

Merge pull request #1220 from felixhandte/list-stdin-check

Allow Invoking `zstd --list` When `stdin` is not a `tty`

Make One Travis CI Run Run Tests With Non-TTY `stdin`

Fix Tests of `--list` Behavior with `stdin`

Fix splitPoint floating point comparison problem

Allow Invoking `zstd --list` When `stdin` is not a `tty`

Also now returns an error when no inputs are given.

New proposed behavior:

```
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l; echo $?
No files given
1
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l Makefile.zst; echo $?
Frames  Skips  Compressed  Uncompressed  Ratio  Check  Filename
     1      0     3.08 KB      10.92 KB  3.544  XXH64  Makefile.zst
0
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l <Makefile.zst; echo $?
zstd: --list does not support reading from standard input
No files given
1
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l Makefile.zst <Makefile.zst; echo $?
Frames  Skips  Compressed  Uncompressed  Ratio  Check  Filename
     1      0     3.08 KB      10.92 KB  3.544  XXH64  Makefile.zst
0
felix@odin:~/prog/zstd (list-stdin-check)$
```

Split samples into train and test sets

Merge pull request #1214 from jennifermliu/dev

Make --fast=0 fail

Merge pull request #1218 from facebook/man

minor man page update

minor man page update

regarding advanced parameter `tlen`
which was recently changed.
`0` in association with `ZSTD_fast` now means "normal fast mode".

Merge pull request #1216 from felixhandte/pool-test-time-t-fix

poolTests.c: Fix Interval Var Type

Redirect failed test result to INTOVOID and update comment about parsing fast command

Consolidate Fast-Running Travis Jobs

Also Run test-pool Target in Travis

poolTests.c: Fix Interval Var Type

removed unused imaged

added graph for cdict speed v1.3.5 improvements

Make fast=0 fail

Merge pull request #1213 from facebook/arm64

re-enable arm64 tests

attempt to re-enable arm64 tests

Merge pull request #1211 from facebook/staticAssert

updated DEBUG_STATIC_ASSERT()

Merge pull request #1212 from facebook/decSpeed

Fix decoding speed

slightly adjusted default-distribution threshold

depending on strategy.
fast favors faster compression and decompression speeds.

zeroise freq table with memset()

improves decoding speed by ~5% in github_users sample set

Merge pull request #1208 from facebook/msys2

minor fixes for MSYS2 compilation

switched to a sizeof() version

avoid -Werror=unused-variable issue

Merge pull request #1207 from oleid/cmake_multithread_logic

Correct multithread logic, fixing 'unsupported parameter' error

updated DEBUG_STATIC_ASSERT()

following suggestion from #1209

minor fixes for MSYS2 compilation

Correct multithread logic, fixing 'unsupported parameter' error

The original conditions only worked, when both, static and shared variants where built, resulting in an inconsistency between programs and library. The program was built with MT support enabled, the library not. That lead to error 11 'unsupported parameter' when compressing anything with the command line tool.

When changing the AND condition to `ZSTD_MULTITHREAD_SUPPORT AND (ZSTD_BUILD_SHARED OR ZSTD_BUILD_SHARED)`, cmake stopps complaining one of the targets wasn't built. This commit works for any case.

New fullbench args

-l# gives some level
--zstd= style parameters also supported

[zstdmt] Fix jobsize bugs (#1205)

[zstdmt] Fix jobsize bugs

* `ZSTDMT_serialState_reset()` should use `targetSectionSize`, not `jobSize` when sizing the seqstore.
  Add an assert that checks that we sized the seqstore using the right job size.
* `ZSTDMT_compressionJob()` should check if `rawSeqStore.seq == NULL`.
* `ZSTDMT_initCStream_internal()` should not adjust `mtctx->params.jobSize` (clamping to MIN/MAX is okay).

Interleave compression/decompression

Fix Bugs

Merge pull request #1200 from felixhandte/zstd-attach-dict-pref

Add CCtx Param Controlling Dict Attachment Behavior

Opaque State

And minor fixups (comments/alignment/checks/fix memory leak)