Merge pull request #7 from ephiepark/decodecorpus

reflect code review comments

reflect code review comments

Merge pull request #6 from ephiepark/decodecorpus

Add test case for short bistream

Add test case for short bistream

Merge pull request #5 from ephiepark/decodecorpus

Decodecorpus

Fix a constraint stricter than the spec

enable repeat mode on rle

Merge branch 'dev' of https://github.com/ephiepark/zstd into dev

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

Merge pull request #2 from ephiepark/circleci

CircleCI : use custom Docker Image with pre-installed dependencies

Merge pull request #1631 from ephiepark/dev

zstdcli : expose cpu load indicator for each file on -vv mode

Merge pull request #1629 from facebook/streamSize

Added comments on I/O buffer sizes for streaming

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

better title formatting for html documentation

must pay attention to /** and /*! patterns.

Added comments on I/O buffer sizes for streaming

It seems this is still a confusing topic,
as in https://github.com/klauspost/compress/issues/109 .

zstdcli : align output message with previous message

zstdcli : remove extra semicolon

zstdcli : trying to fix declaration after statement

zstdcli : moving cpu load calculation from FIO_compressFilename_dstFile to FIO_compressFilename_internal

zstdcli : fixing mixed declarations and code error

zstdcli : moving start time and cpu initialization after potential prompt

zstdcli : exposing cpu load indicator for each file on -vv mode

Merge pull request #1623 from facebook/fullbench

fullbench minor improvements

consistency : changed constant name to kSampleSizeDefault

as suggested by @terrelln.

added <assert.h> include

define CONTROL, to ensure check cannot be disabled

assert() can be disabled with NDEBUG

fullbench : minor refactoring, for readability

fullbench: pass proper parameters in scenario 43

Merge pull request #1622 from facebook/nextToUpdate3

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

fullbench 43: ensure context is freed after each usage

fullbench: added streaming with fresh CCtx scenario

worst case situation, where context must be recreated every time
but without knowledge of the input size
thus sizing the context for some large input.

fullbench can now select sample size with command `-B#`

removed nextToUpdate3 from ZSTD_window

it's now a local variable of ZSTD_compressBlock_opt()

get bt matches : made it a bit clearer which parameters are input and output

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

It's re-synchronized with nextToUpdate at beginning of each block.
It only needs to be tracked from within zstd_opt block parser.

Made the logic clear, so that no code tried to maintain this variable.

An even better solution would be to make nextToUpdate3
an internal variable of ZSTD_compressBlock_opt_generic().
That would make it possible to remove it from ZSTD_matchState_t,
thus restricting its visibility to only where it's actually useful.

This would require deeper changes though,
since the matchState is the natural structure to transport parameters into and inside the parser.

complementary code comments

on variables used / impacted during maxDist check

added comments to better understand enforceMaxDist()

Merge pull request #1618 from felixhandte/zstgrep-f-flag

Handle `-f` Flag in `zstgrep`

Add Test

zstdgrep: Handle -f Flag

Build Manual

[dictBuilder] Be more specific than ERROR(generic) (#1616)

* Specify errors at a finer granularity than `ERROR(generic)`.
* Add tests for bad parameters in the dictionary builder.

Merge pull request #1613 from neheb/patch-1

fileio: Disable BACKTRACE under uClibc

fileio: Disable BACKTRACE under uClibc

uClibc does not support BACKTRACE. It also defines __GLIBC__ and minor as both 2.
This fixes compilation under such a setup.

Merge pull request #1610 from terrelln/pool-test

[test] Fix poolTests deadlock and flakiness

[tests] Only sleep 10ms in poolTests

[test] Fix poolTests deadlock and flakiness

meson: Enable testing in CI (#1609)

* tests: Fix shellcheck warnings in playTests.sh

* tests: Do not use ../programs which is relative to tests dirs

This commit fixes error when running playTests.sh in Meson.
Mesonbuild runs out of tree, so ./datagen not in `zstd/tests` dir,
it lies in <mesonbuilddir>/tests. This leads to ../programs invalid.

* tests: Replace relative paths for zstd/tests dir

* playTests: Set shell options explicitly, not in shebang

* playTests: Replace echo -e with printf

* meson: Fix test-zstd

Use std=gnu99 to build and test just like `make test`.

* meson: Fix legacy test

* meson: Enable testing in CI

Run build under release mode for faster test time.

* meson: Increase timeout time for test-zstream

Merge pull request #1602 from lzutao/meson

meson: Update default project version

meson: Error out if fail to extracted version number

Merge pull request #1604 from vejnar/dev

Make zstdcat to follow symbolic links

add test for zstdcat and zcat on symlink

Merge pull request #1603 from sjnam/examples-test-fail

fails to "make test" in examples

set followLinks option true to cat, zcat and gzcat programs

fix test fail

meson: Update default project version

* Update to use ninja v1.9.0 on CI

Merge pull request #1600 from myzhang1029/long-tell

Fix #1591 - Not building on MinGW-W64

Fix #1591 - Not building on MinGW-W64

Add a static function LONG_TELL for the forth #if branch

Merge pull request #1598 from terrelln/decode-seq

[libzstd] Error if all sequence bits aren't consumed

[libzstd] Add a ZSTD_STATIC_ASSERT for BIT_DStream_status

[libzstd] Error if all sequence bits aren't consumed

Merge pull request #1595 from terrelln/legacy-fix

[legacy] Fix ZSTDv0*_decodeSequence()

[legacy] Fix ZSTDv0*_decodeSequence()

* Version <= 0.5 could read beyond the end of `dumps`, which points into
  the input buffer.
* Check the validity of `dumps` before using it, if it is out of bounds
  return garbage values. There is no return code for this function.
* Introduce `MEM_readLE24()` for simplicity, since I don't want to trust
  that there is an extra byte after `dumps`.

Merge pull request #1594 from terrelln/legacy-fix

[legacy] Fix Huffman jump table reads in v01 and v05

[legacy] Fix Huffman jump table reads in v01 and v05

Merge pull request #1593 from terrelln/legacy-fix

[fuzzer] Run fuzzers in legacy mode and fix legacy code

[paramgrill] Fix mingw build errors

[legacy] Fix bug in ZSTD_decodeSeqHeaders()

[legacy] Fix a bug in ZSTDv06_findFrameSizeInfoLegacy()

[fuzzer] Compile with legacy support

[fuzzer] Size the decompression output buffer randomly

Merge pull request #1590 from terrelln/frame-info-fuzz

[fuzzer] Fuzz frame info functions

[fuzz] Add a seedcorpora target for oss-fuzz

[libzstd] Check the size in readSkippableFrameSize()

[legacy] Return the right error code

[fuzzer] Add a fuzzer for frame info functions

Add a fuzzer that fuzzes all helper functions that take compressed
input. This fuzzer caught one out of bounds read in
`ZSTD_decompressBound()`.

[libzstd] Fix ZSTD_decompressBound() on bad skippable frames

The function didn't verify that the skippable frame size is correct.

Merge pull request #1589 from terrelln/appveyorTest

 [libzstd] Require ZSTD_MULTITHREAD to create a ZSTDMT_CCtx

[visual] Fix unreachable code warning

Merge pull request #1588 from terrelln/release-prep

[fullbench] Fix speed measurements

[visual] Compile with ZSTD_MULTITHREAD=1

This branch `appveyorTests` runs the tests that `master` runs, so
passing Appveyor means that the tests are fixed.

[libzstd] Require ZSTD_MULTITHREAD to create a ZSTDMT_CCtx

ZSTDMT was broken when compiled without ZSTD_MULTITHREAD defined,
because `ZSTD_CCtx_setParameter(cctx, ZSTD_c_nbWorkers, nbWorkerss)`
failed. It was detected by the MSVC test which runs the fuzzer with
multithreading disabled.

This is a very niche use case of a deprecated API, because the API is
inefficient and synchronous, since `threading.h` will be synchronous.
Users almost certainly don't want this, and anyone who tested their code
should realize that it is broken. Therefore, I think it is safe to
require `ZSTD_MULTITHREAD` to be defined to use ZSTDMT.

[fullbench] Fix measurements

Merge pull request #1587 from terrelln/release-prep

[playTets] Don't pass status=none to dd

[playTets] Don't pass status=none to dd

The OS X test machine on TravisCI doesn't recognize the parameter
https://travis-ci.org/facebook/zstd/jobs/520517933.

Merge pull request #1585 from terrelln/release-prep

Prepare for the zstd-1.4.0 release

Update the changelog for zstd-1.4.0

Update benchmarks in README

Spelling (#1582)

* spelling: accidentally

* spelling: across

* spelling: additionally

* spelling: addresses

* spelling: appropriate

* spelling: assumed

* spelling: available

* spelling: builder

* spelling: capacity

* spelling: compiler

* spelling: compressibility

* spelling: compressor

* spelling: compression

* spelling: contract

* spelling: convenience

* spelling: decompress

* spelling: description

* spelling: deflate

* spelling: deterministically

* spelling: dictionary

* spelling: display

* spelling: eliminate

* spelling: preemptively

* spelling: exclude

* spelling: failure

* spelling: independence

* spelling: independent

* spelling: intentionally

* spelling: matching

* spelling: maximum

* spelling: meaning

* spelling: mishandled

* spelling: memory

* spelling: occasionally

* spelling: occurrence

* spelling: official

* spelling: offsets

* spelling: original

* spelling: output

* spelling: overflow

* spelling: overridden

* spelling: parameter

* spelling: performance

* spelling: probability

* spelling: receives

* spelling: redundant

* spelling: recompression

* spelling: resources

* spelling: sanity

* spelling: segment

* spelling: series

* spelling: specified

* spelling: specify

* spelling: subtracted

* spelling: successful

* spelling: return

* spelling: translation

* spelling: update

* spelling: unrelated

* spelling: useless

* spelling: variables

* spelling: variety

* spelling: verbatim

* spelling: verification

* spelling: visited

* spelling: warming

* spelling: workers

* spelling: with

Merge pull request #1583 from lzutao/meson

Fix tests and meson build

travis: Make Mesonbuild non-optional

meson: Fix build

tests: Add missing header timefn.h

Merge pull request #1581 from facebook/benchfn

benchfn's reduced dependencies

fixed timespec_get() initialization bug on some targets

not sure why, but msan fires an "unitialized variable" error
when time gets properly initialized by timespec_get().
Maybe in some cases, not all bytes of the structure are initialized ?
Or maybe msan fails to detect the initialization ?

Anyway, pre-initializing the variable before passing it to timespec_get() works.

fixed minor conversion warning

fixed poolTests on Windows

must use ZSTD_ prefix in front of pthread types
so that they get properly translated for Windows.

fixed poolTests

added poolTests to all

Merge pull request #1580 from terrelln/dict-fuzz

[libzstd] Fix decompression dictionary bugs and clean up initialization