[opt] Only update repcodes upon arrival

[opt] Don't recompute repcodes while emitting sequences

[opt] Delete ZSTD_litLengthContribution

[opt] Explain why we don't include literals price

[opt] Don't recompute initial literals price

Merge pull request #2019 from bimbashrestha/quick

--show-default-cparams Adding hashLog

Adding hashLog to --show-default-cparams

[cirrus-ci] Removing pkg -y update and using 11.3-snap instead of 11.2  (#2018)

* Replacing with boilerplate from cirrus

* Adding task name and adding back freebsd 11.x

* Changing from 11.3 to freebsd-11-3-snap

* Rearanging the order of matrix and instance

Merge pull request #2017 from facebook/verbose

man page : added `--verbose` long command

man page : added `--verbose` long command

also updated `zstd.1`
stacking prior updates completed on `zstd.1.md`.

Revert "Fix pkg-config File Generation Again" (#2016)

Merge pull request #2001 from felixhandte/pkg-config-fix-again

Fix pkg-config File Generation Again

Merge pull request #2013 from terrelln/oss-fuzz

Update CIFuzz file and turn off dry-run mode

Update CIFuzz file and turn off dry-run mode

Merge pull request #2007 from lgarrison/cli-allow-sizet

Allow some CLI options to accept numeric values up to size_t

Allow some cli options to accept numeric values up to size_t instead of unsigned int

Merge pull request #1999 from bket/fix_have_lz4

Fix forgotten portable header prefix

Merge pull request #2002 from bimbashrestha/docs

[doc] Adding notes about CI and an outline of collaboration workflow

Fix integer parsing in cli (#2003)

Remove redundant section and typo

Outlining our current workflow

Fix Variable Capitalization

Allow Manual Overriding of pkg-config Lib and Include Dirs

When the `PCLIBDIR` or `PCINCDIR` is non-empty (either because we succeeded
in removing the prefix, or because it was manually set), we don't need to
perform the check. This lets us trust users who go to the trouble of setting
a manual override, rather than still blindly failing the make.

They'll still be prefixed with `${prefix}/` / `${exec_prefix}/` in the
pkg-config file though.

Fix pkg-config File Generation Again

Revises #1851. Fixes #1900. Replaces #1930.

Thanks to @orbea, @neheb, @Polynomial-C, and particularly @eli-schwartz for
pointing out the problem and suggesting solutions.

Tested with

  ```
  make -C lib clean libzstd.pc
  cat lib/libzstd.pc

  # should fail
  make -C lib clean libzstd.pc     LIBDIR=/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/foo
  make -C lib clean libzstd.pc     LIBDIR=/usr/localfoo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/localfoo
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/lib     prefix=/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/include prefix=/foo

  # should succeed
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/foo
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/
  make -C lib clean libzstd.pc     LIBDIR=/usr/local
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local
  make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp
  make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp
  make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp/foo

  # should also succeed
  make -C lib clean libzstd.pc prefix=/foo LIBDIR=/foo/bar INCLUDEDIR=/foo/
  cat lib/libzstd.pc

  mkdir out
  cd out
  cmake ../build/cmake
  make
  cat lib/libzstd.pc
  ```

Adding steps for setting up travis and appveyor (and some general notes)

Fix forgotten portable header prefix

PR #1987 forgot to prefix another include causing lz4 detection to fail.

Merge pull request #1996 from terrelln/cifuzz-dogfood

[CIFuzz] Rename output path to artifacts

[CIFuzz] Rename output path to artifacts

Merge pull request #1993 from terrelln/cifuzz-dogfood

Enable oss-fuzz CIFuzz dogfood

Enable oss-fuzz CIFuzz dogfood

[build-issue] More portable header prefix usage (#) (#1987)

* make 4.3 build issue fix

* Changing header name and adding comment

Displaying level in --show-default-cparams (#1991)

* Displaying level in --show-default-cparams

* Displaying actual enum value instead of level

Removing symbols already in unit tests and adding some new unit tests for missing symbols (#1985)

* Removing symbols that are not being tested

* Removing symbols used in zstdcli, fileio, dibio and benchzstd

* Removing symbols used in zbuff and add test-zbuff to travis

* Removing remaining symbols and adding unit tests instead

* Removing symbols test entirely

Merge pull request #1982 from bimbashrestha/quick

Using appliedParams instead of "supplied" params in compressBegin()

Merge pull request #1980 from bimbashrestha/params

Adding --show-default-cparams to cli

Merge pull request #1981 from bimbashrestha/bug-fix

Benchzstd multiple file decompression enable

Adding assert(NB_STRATEGIES == upperLimit)

Line-wrapping

Using appliedParams instead of supplied params

Removing assert and changing ratio cSize

Adding (void)ZSTD_strategyMap

Adding static assert and using it in cli

Moving to same category as -v

Moving documentation and elaborating

Adding assert and using ZSTD_STRATEGY_MAX as ZSTD_NB_STRATEGIES

Adding back one cast and using UTIL_FILESIZE_UNKNOWN to check unknown file size

Documenting in the man file

Removing more casts

Removing unnecessary cast

Moving default cparams back, checking for unknown file size, using getCParams()

Convertion nit U32 -> size_t

Update comment

Adding --show-default-cparams (show cparams before compressing

Merge pull request #1977 from terrelln/copyless

Improve wildcopy performance across the board

Merge pull request #1978 from bimbashrestha/quick

[Typo][fix] make benchmarking typo fix

Typo baseline_build -> baseline_label

Improve wildcopy performance across the board

[automated_benchmarking] Make arguments optional and add --dict argument (#1968)

* Make arugments optional and add --dict argument

* Removing accidental print statement

* Change to more likely scenario for dictionary compression benchmark

added ability to remove error messages and dictionary support (#1975)

for the benefit of smaller binary.

refactor of harness, for clarity (#1974)

following #1953 (false positive, due to heuristic confusion)

Merge branch 'dev' of github.com:facebook/zstd into dev

updated CHANGELOG

Merge pull request #1972 from terrelln/check-cont

Move ZSTD_checkContinuity() to zstd_decompress_block.c

Merge pull request #1973 from terrelln/mobile-perf

Fix performance regression on aarch64 with clang

Initialize dctx->bType to silence valgrind false positive

Fix performance regression on aarch64 with clang

Move ZSTD_checkContinuity() to zstd_decompress_block.c

Merge pull request #1965 from terrelln/android-fix

Fix timefn on android

Update comment in timefn

Fix timefn on android

Merge pull request #1956 from PhoebeHui/dev

Add vcpkg installation instructions

Update comments

Merge pull request #1957 from terrelln/fix-ultra

Fix lowLimit underflow in overflow correction

Merge pull request #1958 from terrelln/docs

Add --single-thread to zstd --help

Fix playTests.sh for 32-bit mode

Add --single-thread to zstd --help

Fix lowLimit underflow in overflow correction

Add vcpkg installation instructions

Merge pull request #1950 from terrelln/ctest

[cmake] Add playTests.sh as a test

[util] Fix readLineFromFile on Cygwin

[cmake] Add playTests.sh as a test

Merge pull request #1948 from lazka/cygwin-fix-c99-build

Fix the c99/cmake build under Cygwin/MSYS2

appveyor: build with CMake under Cygwin

Fix super block compression and stream raw blocks in decompression (#1947)

Super blocks must never violate the zstd block bound of input_size + ZSTD_blockHeaderSize. The individual sub-blocks may, but not the super block. If the superblock violates the block bound we are liable to violate ZSTD_compressBound(), which we must not do. Whenever the super block violates the block bound we instead emit an uncompressed block.

This means we increase the latency because of the single uncompressed block. I fix this by enabling streaming an uncompressed block, so the latency of an uncompressed block is 1 byte. This doesn't reduce the latency of the buffer-less API, but I don't think we really care.

* I added a test case that verifies that the decompression has 1 byte latency.
* I rely on existing zstreamtest / fuzzer / libfuzzer regression tests for correctness. During development I had several correctness bugs, and they easily caught them.
* The added assert that the superblock doesn't violate the block bound will help us discover any missed conditions (though I think I got them all).

Credit to OSS-Fuzz.

Fix the c99/cmake build under Cygwin/MSYS2

When building zst under cygwin or msys2 with std=c99 the build would fail because
of an undefined fileno()/_fileno(), which is used by the IS_CONSOLE() macro.

When building with -std=c99 (gcc otherwise defaults to gnu, which implies POSIX),
which is the default of the cmake build, then including unistd.h wont define
_POSIX_VERSION and all other headers also wont expose POSIX API.

To fix this make sure to define _POSIX_C_SOURCE with the version we want before including
unistd.h and so that _POSIX_VERSION is set to the version provided by the system.

Since Cygwin/MSYS2 just follow POSIX we can also remove their special cases for
defining IS_CONSOLE().

And, for completeness, also explicitly include stdio.h which is what actually declares fileno().

Tested with the normal make file and cmake under MSYS2 and Cygwin.

Adding new cli endpoint --patch-from= (#1940)

* Adding new cli endpoint --diff-from=

* Appveyor conversion nit

* Using bool set trick instead of direct set

* Removing --diff-from and only leaving --diff-from=#

* Throwing error when both dictFileName vars are set

* Clean up syntax

* Renaming diff-from to patch-from

* Revering comma separated syntax clean up

* Updating playtests with patch-from

* Uncommenting accidentally commented

* Updating remaining docs and var names to be patch-from instead of diff-from

* Constifying

* Using existing log2 function and removing newly created one

* Argument order (moving prefs to end)

* Using comma separated syntax

* Moving to outside #ifndef

[fuzz] Allow zero sized buffers for streaming fuzzers (#1945)

* Allow zero sized buffers in `stream_decompress`. Ensure that we never have two
  zero sized buffers in a row so we guarantee forwards progress.
* Make case 4 in `stream_round_trip` do a zero sized buffers call followed by
  a full call to guarantee forwards progress.
* Fix `limitCopy()` in legacy decoders.
* Fix memcpy in `zstdmt_compress.c`.

Catches the bug fixed in PR #1939

fix UBSAN's invalid-null-argument error in zstd_decompress.c (#1939)

[fuzz] Fix regression_driver.c with directory input (#1944)

The `numFiles` variable wasn't updated, so the fuzzer didn't do anything.
I did two things to fix this:

1. Remove the `numFiles` variable entirely.
2. Error if we can't open a file and print the number of files tested.

Make UTIL_countPhysicalCores() work under Cygwin (#1941)

Cygwin currently uses the fallback implementation which just returns 1 every time,
which leads to bad performance when zstd is called with -T0 for example.

Instead use the POSIX implementation used for the BSDs which works just fine under Cygwin.

Tested under Cygwin and MSYS2.

updated CHANGELOG

one missing item in v1.4.4

[bench] Automated benchmarking script (#1906)

* Initial revised automated benchmarking script

* Updating nb_iterations and making loop infinite

* Allowing benchmarking params to be changed from cli

* Renaming old speed test

* Removing numpy dependency for cli

* Change filename and benchmakr on pr level

* Moving build outside loop and adding iterations param

* Moving benchmarking to seperate travis ci test

* Fixing typo and using unused variable

* Added mode labels and updated README accordingly

* Adding new mode 'current' that compraes facebook:dev against current hash

* Typo

* Reverting previous accidental diff

* Typo

* Adding frequency config variable to prevent github from blacklisting

* Added new argument for frequency of fetching new prs

* Updating documentation

[fuzz] Dividing by targetCBlockSize instead of blockSize for nbBlocks fit (#1936)

* Adding fail logging for superblock flow

* Dividing by targetCBlockSize instead of blockSize

* Adding new const and using more acurate formula for nbBlocks

* Only do dstCapacity check if using superblock

* Remvoing disabling logic

* Updating test to make it catch more extreme case of previou bug

* Also updating comment

* Only taking compressEnd shortcut on non-superblock

[doc] Adding -M# decompression operation modifier documentation (#1938)

* Adding -M# operation modifier documentation

* Adding long name, typo and update desc

Merge pull request #1920 from felixhandte/fix-mtim-again

Use statbuf->st_mtim Again

Fix playTests.sh Under QEMU (#1923)

Also Define _ATFILE_SOURCE

Add Comment

Use statbuf->st_mtim Again

Add Travis Test that Builds ARM on Trusty