added zstdgrep documentation

presenting `zstdgrep` limit regarding dictionary compression
with workaround recommended by @tobwen (#1268)

Merge pull request #1272 from facebook/travisTest

gcc-8 travis test

Merge pull request #1271 from felixhandte/circleci-2.0-config

Migrate Config to CircleCI 2.0

Preserve Commented-Out Longer Tests

some errors may only happen when optimizations are enabled

Remove Old CircleCI Config

Fix Path

Add an Auto-Gen'ed CircleCI 2.0 Config

Built via the cci-config-generator.sh script.

try adding gcc-8 compilation tests

try to improve some travis test speed

Merge pull request #1243 from facebook/fix1241

fix #1241

Merge pull request #1269 from felixhandte/fix-fix1241

Fix fix1241: Fix CDict Attachment to Handle CDicts with Non-Zero Starts

Fix CDict Attachment to Handle CDicts with Non-Zero Starts

CDicts were previously guaranteed to be generated with `lowLimit=dictLimit=0`.
This is no longer true, and so the old length and index calculations are no
longer valid. This diff fixes them to handle non-zero start indices in CDicts.

Merge branch 'dev' into fix1241

Merge pull request #1263 from facebook/travisTest

Fix Makefile on Linux and ZSTD_NOBENCH

fix unused variable warning

fix .travis.yml

fix : zstd cli can be built with build macro ZSTD_NOBENCH

which disables bench.c module

Merge branch 'dev' into travisTest

Merge branch 'travisTest' of github.com:facebook/zstd into travisTest

Merge pull request #1255 from terrelln/norm-fix

[FSE] Fix division by zero

Disallow tableLog == srcLog

Add non-optimize FASTCOVER (#1260)

* Add non-optimize FASTCOVER

* Minor fix

* Pass param as value instead of pointer

Merge pull request #1258 from jennifermliu/fastCover

Use CDict instead of CCtx in analyzeEntropy

Refactoring

Use CDict instead of CCtx in analyzeEntropy

Merge pull request #1257 from jennifermliu/fastCover

Increment frequency for every dmer occurence within same sample

[FSE] Add division by zero test

Increment frequency for every dmer occurence within same sample instead of at most once per sample

speed up appveyor tests

fix %zu support under minGW

and relevant test on Appveyor

ensure appveyor test fails due to formatting error

to catch %zu incompatibility

Merge branch 'dev' into fix1241

support %zu under mingw

Merge pull request #1254 from jennifermliu/fastCover

 Save segmentFreqs in ctx instead of malloc and memset in SelectSegment

Delete old benchmarking result

[FSE] Fix division by zero

When the primary normalization method fails, and
`(1 << tableLog) == (maxSymbolValue + 1)`, and every symbol gets assigned
normalized weight 1 or -1 in the first loop, then the next division can
raise `SIGFPE`.

Undo deleting clean in make

Revert test.sh

Save segmentFreqs in ctx instead of malloc and memset in SelectSegment

Merge pull request #1250 from jennifermliu/fastCover

Add Fast Cover Dictionary Builder

Use same param after optimizing cover and fastCover and record k and d for benchmarking

Rerun cover and fastCover with optimized values

Benchmark different f values

Merge pull request #1252 from GeorgeLu97/bench-quiet-display-fix

Fixes bug

no zero

Add array to keep track of frequency within active segment, fix malloc bug, update benchmarking result

Allow d=6

Benchmark fast cover optimize vs k=200

Initial benchmarking result for fastCover

Make hash value const

Add Fast Cover Dictionary Builder

Merge pull request #1246 from jennifermliu/benchmark

Benchmark dictionary builders

Minor fix

Refactoring and benchmark without dictionary

Benchmark dictionary builders

Merge pull request #1245 from terrelln/disable-arm

Revert "attempt to re-enable arm64 tests"

Revert "attempt to re-enable arm64 tests"

This reverts commit 9c277f137cbcaa385ff5b95ec4cbdce50675541d.

Merge pull request #1238 from jennifermliu/random

Add random dictionary builder

Update Makefile

Rename cleanup

Add cleanup to trainfromFiles and move RANDOM_segment_t declaration

Merge pull request #1230 from terrelln/train-out

zstdcli: Allow -o before --train

Merge pull request #1237 from terrelln/init-cstream-adv

Set requestedParams in ZSTD_initCStream*()

fix minor conversion warning

Merge pull request #1242 from facebook/mingw_traces

zstdmt debug traces compatibles with mingw

Merge pull request #1244 from terrelln/ferror

fileio: Error in compression on read errors

Update freeSampleInfo

Fix deallocation problem and add documentation

fileio: Error in compression on read errors

We can write a corrupted file if the input file errors during a read.
We should return a non-zero error code in this case.

Make test PHONY target

Move file loading functions to new file for access by benchmarking tool

fix make test on Linux

MOREFLAGS+= doesn't work on Linux

added a test to be played on travis

to check a make variable construction

fix #1241

Ensure that first input position is valid for a match
even during first usage of context
by starting reference at 1
(avoiding the problematic 0).

zstdmt debug traces compatibles with mingw

since mingw does not have `sys/times.h`,
remove this path when detecting mingw compilation.

Remove CLevel cli option which was accidentally added back in the last commit

Fix spacing and Edit Makefile (now run with make instead of make run)

Refactor RANDOM

zstdcli: Allow -o before --train

Only set the default value if `outFileName` is unset.

Fixes #1227.

Merge pull request #1234 from codecat/add-premake

Added premake4/GENie script to contrib folder

Merge pull request #1233 from terrelln/doc-fiz

Small fixes to zstd specification

Fix wrong conditions

Update zstd.lua

Update README

Remove clevel and update documentation

Add random dictionary builder

Merge pull request #1225 from jennifermliu/dev

Split samples when building dictionary for COVER

Set requestedParams in ZSTD_initCStream*()

The correct parameters are used once, but once `ZSTD_resetCStream()` is
called the default parameters (level 3) are used. Fix this by setting
`requestedParams` in the `ZSTD_initCStream*()` functions.

The added tests both fail before this patch and pass after.

Merge pull request #1235 from ldv-alt/dev

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

Add explanation for split=100

Added premake4/GENie script to contrib folder

tests: use /dev/zero instead of /dev/random on all systems except GNU/Hurd

https://github.com/facebook/zstd/pull/1124 broke the test suite
on Linux.  Looks like GNU/Hurd is the only operating system where
/dev/random is available for writing by unprivileged processes.

https://github.com/facebook/zstd/pull/1222 reverted the change
introduced by https://github.com/facebook/zstd/pull/1124 for OpenBSD
only, other operating systems need that change to be reverted, too.

Fixes: 2dde9d5abaad ("Write to /dev/random for test")
Complements: 276988f7948d ("OpenBSD is unable to write to /dev/zero")

Small fixes to zstd specification

Update to keep in sync with the RFC.

Change default splitPoint to 100

Change back to splitPoint<=0

Only make 0.0 default splitPoint

Merge pull request #1226 from facebook/noPrefetch

add build macro NO_PREFETCH

add build macro NO_PREFETCH

prevent usage of prefetch intrinsic commands
which are not supported by c2rust
(see https://github.com/immunant/c2rust/issues/13)

Change cover_sum back to 2 parameters and fix splitPoint issues