zstdcli: Allow -o before --train

Only set the default value if `outFileName` is unset.

Fixes #1227.

Merge pull request #1234 from codecat/add-premake

Added premake4/GENie script to contrib folder

Merge pull request #1233 from terrelln/doc-fiz

Small fixes to zstd specification

Fix wrong conditions

Update zstd.lua

Merge pull request #1225 from jennifermliu/dev

Split samples when building dictionary for COVER

Merge pull request #1235 from ldv-alt/dev

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

Add explanation for split=100

Added premake4/GENie script to contrib folder

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

https://github.com/facebook/zstd/pull/1124 broke the test suite
on Linux.  Looks like GNU/Hurd is the only operating system where
/dev/random is available for writing by unprivileged processes.

https://github.com/facebook/zstd/pull/1222 reverted the change
introduced by https://github.com/facebook/zstd/pull/1124 for OpenBSD
only, other operating systems need that change to be reverted, too.

Fixes: 2dde9d5abaad ("Write to /dev/random for test")
Complements: 276988f7948d ("OpenBSD is unable to write to /dev/zero")

Small fixes to zstd specification

Update to keep in sync with the RFC.

Change default splitPoint to 100

Change back to splitPoint<=0

Only make 0.0 default splitPoint

Merge pull request #1226 from facebook/noPrefetch

add build macro NO_PREFETCH

add build macro NO_PREFETCH

prevent usage of prefetch intrinsic commands
which are not supported by c2rust
(see https://github.com/immunant/c2rust/issues/13)

Change cover_sum back to 2 parameters and fix splitPoint issues

Fix testing parameter

Update doc for split==100

Allow splitPoint==1.0 (using all samples for both training and testing)

Some edits based on pull request comments

Update minimal training sample size

Merge pull request #1206 from GeorgeLu97/FullBenchParam

Fullbench Param

Merge pull request #1188 from GeorgeLu97/BenchModule

Bench module

Update COVER dictionary builder tests

Merge pull request #1223 from jon-turney/dev

meson: fix build

meson: fix build

Update documentation

Merge pull request #1222 from bket/openbsd

2 separate issues found when running zstd's tests on OpenBSD

xz/lzma warning causes test to fail

OpenBSD's port building infrastructure is able to build in a privilege
separated mode. It uses a privilege drop model. Regression tests fail in
this mode as xz/lzma is unable to set file group and errors out with:

xz: tmp.xz: Cannot set the file group: Operation not permitted
gmake[1]: *** [Makefile:307: zstd-playTests] Error 2

Actually it is not a xz/lzma error but a warning causing zstd's
regression test to fail. Proposed fix is to have xz/lzma not set the
exit status to 2 even if a condition worth a warning was detected (-Q
flag).

OpenBSD is unable to write to /dev/zero

https://github.com/facebook/zstd/pull/1124 fixes an issue with GNU/Hurd
being unable to write to /dev/zero. Implemented fix is writing to
/dev/random instead.

On OpenBSD a regular user is unable to write to /dev/random because of
permissions set on this device. Result is failing a regression test.

Proposed solution should work for all platforms.

Fix another declaration issue

Add split=# to cli

make build tests more unforgiving

`-Werror` will ensure they fail if there is the slightest warning.

fix a minor warning specific to `zstd_decompress` variant.

fix `test-zstd` can be run with parallel compilation

fix #1221

Explicitly cast double to unsigned

Fix variable declaration problem

Another fix to comparator

Merge pull request #1220 from felixhandte/list-stdin-check

Allow Invoking `zstd --list` When `stdin` is not a `tty`

Make One Travis CI Run Run Tests With Non-TTY `stdin`

Fix Tests of `--list` Behavior with `stdin`

Fix splitPoint floating point comparison problem

Allow Invoking `zstd --list` When `stdin` is not a `tty`

Also now returns an error when no inputs are given.

New proposed behavior:

```
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l; echo $?
No files given
1
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l Makefile.zst; echo $?
Frames  Skips  Compressed  Uncompressed  Ratio  Check  Filename
     1      0     3.08 KB      10.92 KB  3.544  XXH64  Makefile.zst
0
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l <Makefile.zst; echo $?
zstd: --list does not support reading from standard input
No files given
1
felix@odin:~/prog/zstd (list-stdin-check)$ ./zstd -l Makefile.zst <Makefile.zst; echo $?
Frames  Skips  Compressed  Uncompressed  Ratio  Check  Filename
     1      0     3.08 KB      10.92 KB  3.544  XXH64  Makefile.zst
0
felix@odin:~/prog/zstd (list-stdin-check)$
```

Split samples into train and test sets

Merge pull request #1214 from jennifermliu/dev

Make --fast=0 fail

Merge pull request #1218 from facebook/man

minor man page update

minor man page update

regarding advanced parameter `tlen`
which was recently changed.
`0` in association with `ZSTD_fast` now means "normal fast mode".

Merge pull request #1216 from felixhandte/pool-test-time-t-fix

poolTests.c: Fix Interval Var Type

Redirect failed test result to INTOVOID and update comment about parsing fast command

Consolidate Fast-Running Travis Jobs

Also Run test-pool Target in Travis

poolTests.c: Fix Interval Var Type

removed unused imaged

added graph for cdict speed v1.3.5 improvements

Make fast=0 fail

Merge pull request #1213 from facebook/arm64

re-enable arm64 tests

attempt to re-enable arm64 tests

Merge pull request #1211 from facebook/staticAssert

updated DEBUG_STATIC_ASSERT()

Merge pull request #1212 from facebook/decSpeed

Fix decoding speed

slightly adjusted default-distribution threshold

depending on strategy.
fast favors faster compression and decompression speeds.

zeroise freq table with memset()

improves decoding speed by ~5% in github_users sample set

Merge pull request #1208 from facebook/msys2

minor fixes for MSYS2 compilation

switched to a sizeof() version

avoid -Werror=unused-variable issue

Merge pull request #1207 from oleid/cmake_multithread_logic

Correct multithread logic, fixing 'unsupported parameter' error

updated DEBUG_STATIC_ASSERT()

following suggestion from #1209

minor fixes for MSYS2 compilation

Correct multithread logic, fixing 'unsupported parameter' error

The original conditions only worked, when both, static and shared variants where built, resulting in an inconsistency between programs and library. The program was built with MT support enabled, the library not. That lead to error 11 'unsupported parameter' when compressing anything with the command line tool.

When changing the AND condition to `ZSTD_MULTITHREAD_SUPPORT AND (ZSTD_BUILD_SHARED OR ZSTD_BUILD_SHARED)`, cmake stopps complaining one of the targets wasn't built. This commit works for any case.

New fullbench args

-l# gives some level
--zstd= style parameters also supported

[zstdmt] Fix jobsize bugs (#1205)

[zstdmt] Fix jobsize bugs

* `ZSTDMT_serialState_reset()` should use `targetSectionSize`, not `jobSize` when sizing the seqstore.
  Add an assert that checks that we sized the seqstore using the right job size.
* `ZSTDMT_compressionJob()` should check if `rawSeqStore.seq == NULL`.
* `ZSTDMT_initCStream_internal()` should not adjust `mtctx->params.jobSize` (clamping to MIN/MAX is okay).

Interleave compression/decompression

Fix Bugs

Merge pull request #1200 from felixhandte/zstd-attach-dict-pref

Add CCtx Param Controlling Dict Attachment Behavior

Opaque State

And minor fixups (comments/alignment/checks/fix memory leak)

Merge pull request #1204 from facebook/noForwardProgress

Error code on no forward progress

error on no forward progress

streaming decoders, such as ZSTD_decompressStream() or ZSTD_decompress_generic(),
may end up making no forward progress,
(aka no byte read from input __and__ no byte written to output),
due to unusual parameters conditions,
such as providing an output buffer already full.

In such case, the caller may be caught in an infinite loop,
calling the streaming decompression function again and again,
without making any progress.

This version detects such situation, and generates an error instead :
ZSTD_error_dstSize_tooSmall when output buffer is full,
ZSTD_error_srcSize_wrong when input buffer is empty.

The detection tolerates a number of attempts before triggering an error,
controlled by ZSTD_NO_FORWARD_PROGRESS_MAX macro constant,
which is set to 16 by default, and can be re-defined at compilation time.
This behavior tolerates potentially existing implementations
where such cases happen sporadically, like once or twice,
which is not dangerous (only infinite loops are),
without generating an error, hence without breaking these implementations.

Merge pull request #1197 from facebook/poolResize

Thread Pool resize

changed POOL_resize() return type to int

return is now just en error code.
This guarantee that `ctx` remains valid after POOL_resize().
Gets rid of internal POOL_free() operation.

Merge pull request #1201 from facebook/rfcUpdate

updated Zstandard frame format

Merge pull request #1196 from felixhandte/zstd-btopt-in-place-dict

ZSTD_btopt: Support Searching the Dictionary Context In-Place

Merge pull request #1202 from facebook/barelyCompressible

Increase threshold detection of poorly compressible data

huf: increase threshold detection of poorly compressible data

fixed minor typos, detected by @terrelln

add a cond_broadcast after resize

to make sure all threads (notably newly available threads)
get awaken to immediately process potential items in the queue.

updated Zstandard frame format

adding clarifications from IETF RFC DISCUSS.

benchFunction Timed Wrappers

Add BMK_benchFunctionTimed
Add BMK_init_customResultCont..
Change benchMem to use benchFunctionTimed
Minor Fixes/Adjustments

Incremental Display + Fn Separations

Seperate syntheticTest and fileTableTest (now renamed as benchFiles)
Add incremental display to benchMem
Change to only iterMode for benchFunction
Make Synthetic test's compressibility configurable from cli (using -P#)

added extended POOL test

abrupt end + downsizing with running jobs remaining in queue.

also : POOL_resize() requires numThreads >= 1

Add CCtx Param Controlling Dict Attachment Behavior

Add Repcode Bounds Check

Add Debug Log Statement

Fix `dmsBtLow` Test

added a test for POOL (multithreading)

ensuring all jobs in queue are nonetheless completed
when POOL is instructed to end abruptly (POOL_free())

Conceivably Dedup ZSTD_noDict and ZSTD_dictMatchState _insertBt1 Impls

By reverting to the bool extDict flag, we call ZSTD_insertBt1 with the same
const args in both non-extDict dictModes.

fixed: bug when counting nb of active threads

when queueSize > 1

also : added a test in testpool.c
       verifying resizing is effective.

change control of threadLimit

now limits maximum nb of active threads
even when queueSize > 1.

set up sample config.yml

Consistency in Guarding DMS-Only Variable Initializations

Also Use `matchLow` for HC3 Match

Minor Changes

Remove Dead(!) HC3 DMS Lookup

Merge pull request #1198 from facebook/msdebug

made Visual Studio compatible with DEBUGLEVEL >= 2