no percentage on readsize == 0

removing max(1, ..)

Fixes decompressor when using -Wshorten-64-to-32 (#2062)

Spotted on iOS when building with `-Wshorten-64-to-32` (since `__builtin_expect` returns a `long`).

Merge pull request #2054 from terrelln/license-fix

Standardize and fix copyright and licenses

Merge pull request #2053 from terrelln/fix-play-test

[test] Fix playTests.sh with space in binary path

[circleci] Run test-license.py

Run it first because it is very fast (~1 second)

[test] Fix playTests.sh with space in binary path

playTests.sh didn't work when `ZSTD_BIN` or `DATAGEN_BIN` had a space in
the path name. This happens for me because I split the cmake build
directory by compiler name, like "Clang 9.0.0".

The fix is to replace all instances of `$ZSTD` with the `zstd()`
function, and the replace `$DATAGEN` with `datagen()`. This will allow
us to change how we call zstd/datagen in the future without having to
change every callsite.

[test] Add a test that checks for valid copyright and licenses

Tests all `.h`, `.c`, `.py`, and `Makefile` files for valid copyright
and license lines. Excludes a small number of exceptions (threading, and
divsufsort).

* Copyright does not contains `present`
* Copyright contains `Facebook, Inc`
* Copyright contains the current year
* License contains exactly the lines we expect

Fix copyright and license lines

* All copyright lines now have -2020 instead of -present
* All copyright lines include "Facebook, Inc"
* All licenses are now standardized

The copyright in `threading.{h,c}` is not changed because it comes from
zstdmt.

The copyright and license of `divsufsort.{h,c}` is not changed.

Merge pull request #2050 from terrelln/align

Align decompress sequences loop to 32+16 bytes

Align decompress sequences loop to 32+16 bytes

The alignment is added before the loop, so this shouldn't hurt
performance in any case. The only way it hurts is if there is already
performance instability, and we force it to be stable but in the bad
case.

This consistently gets us into the good case with gcc-{7,8,9} on an
Intel i9-9900K and clang-9. gcc-5 is 5% worse than its best case but has
stable performance. We get consistently good behavior on my Macbook Pro
compiled with both clang and gcc-8. It ends up in the 50% from DSB and
50% from MITE case, but the performance is the same as the 85% DSB case,
so thats fine.

Merge pull request #2029 from terrelln/minor-opt

[opt] Update repcodes less often

Merge pull request #2036 from bimbashrestha/edist

[contrib] Edit distance match finder

Merge pull request #2047 from bimbashrestha/doc

[doc] targetLen -> targetLength

targetLen -> targetLength

Edit distance match finder

Merge pull request #2033 from bimbashrestha/icc

[opt] Small icc level 1 compression speed gain using #pragma vector

Merge pull request #2031 from bimbashrestha/bitscan

_BitScan{Reverse,Forward} add check for undefined

Typo

Adding comment and remvoing ivdep

Merge pull request #2032 from bimbashrestha/no-size

Adding --[no-]content-size to the cli

Setting ZSTD_c_contentSizeFlag instead of UNKNOWN filesize

Adding documentation

Adding test for --[no-]content-size

Adding --content-size

Inverting content size prefs bool

Adding (void)noContentSize

--no-content-size cli

Missed returns

bitscan add undef check

Merge pull request #2030 from bimbashrestha/quick

Removing no-tree-vectorize for intel

Removing no-tree-vectorize for intel

adding vector to main loop

[opt] Only update repcodes upon arrival

Merge pull request #2028 from terrelln/minor-opt

[opt] Don't recompute initial literals price

[opt] Don't recompute repcodes while emitting sequences

[opt] Delete ZSTD_litLengthContribution

[opt] Explain why we don't include literals price

[opt] Don't recompute initial literals price

Merge pull request #2027 from bimbashrestha/travis-icc

[ci] Adding icc make check to travis

Merge pull request #2026 from bimbashrestha/issues-temp

Add issue templates to zstd

Removing mmx compiler flags

Adding icc make check to travis ci

Add issue templates to zstd

LZ4 just added this. I think it would be helpful here too.

Merge pull request #2025 from bimbashrestha/doc

[doc] Fixing ZSTD_c_compressionLevel confusing note

Fixing ZSTD_c_compressionLevel confusing note

Merge pull request #2024 from terrelln/zstdgrep-error

[zstdgrep] Log zstd decompression errors to stderr

[zstdgrep] Add a simple test

Merge pull request #2023 from terrelln/fix-logs

Dont log errors when ZSTD_fseBitCost() returns an error

[zstdgrep] Remove -f because zstdcat implies it

[zstdgrep] Log zstd decompression errors to stderr

Dont log errors when ZSTD_fseBitCost() returns an error

Merge pull request #2019 from bimbashrestha/quick

--show-default-cparams Adding hashLog

Adding hashLog to --show-default-cparams

[cirrus-ci] Removing pkg -y update and using 11.3-snap instead of 11.2  (#2018)

* Replacing with boilerplate from cirrus

* Adding task name and adding back freebsd 11.x

* Changing from 11.3 to freebsd-11-3-snap

* Rearanging the order of matrix and instance

Merge pull request #2017 from facebook/verbose

man page : added `--verbose` long command

man page : added `--verbose` long command

also updated `zstd.1`
stacking prior updates completed on `zstd.1.md`.

Revert "Fix pkg-config File Generation Again" (#2016)

Merge pull request #2001 from felixhandte/pkg-config-fix-again

Fix pkg-config File Generation Again

Merge pull request #2013 from terrelln/oss-fuzz

Update CIFuzz file and turn off dry-run mode

Update CIFuzz file and turn off dry-run mode

Merge pull request #2007 from lgarrison/cli-allow-sizet

Allow some CLI options to accept numeric values up to size_t

Allow some cli options to accept numeric values up to size_t instead of unsigned int

Merge pull request #1999 from bket/fix_have_lz4

Fix forgotten portable header prefix

Merge pull request #2002 from bimbashrestha/docs

[doc] Adding notes about CI and an outline of collaboration workflow

Fix integer parsing in cli (#2003)

Remove redundant section and typo

Outlining our current workflow

Fix Variable Capitalization

Allow Manual Overriding of pkg-config Lib and Include Dirs

When the `PCLIBDIR` or `PCINCDIR` is non-empty (either because we succeeded
in removing the prefix, or because it was manually set), we don't need to
perform the check. This lets us trust users who go to the trouble of setting
a manual override, rather than still blindly failing the make.

They'll still be prefixed with `${prefix}/` / `${exec_prefix}/` in the
pkg-config file though.

Fix pkg-config File Generation Again

Revises #1851. Fixes #1900. Replaces #1930.

Thanks to @orbea, @neheb, @Polynomial-C, and particularly @eli-schwartz for
pointing out the problem and suggesting solutions.

Tested with

  ```
  make -C lib clean libzstd.pc
  cat lib/libzstd.pc

  # should fail
  make -C lib clean libzstd.pc     LIBDIR=/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/foo
  make -C lib clean libzstd.pc     LIBDIR=/usr/localfoo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/localfoo
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/lib     prefix=/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/include prefix=/foo

  # should succeed
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/foo
  make -C lib clean libzstd.pc     LIBDIR=/usr/local/
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local/
  make -C lib clean libzstd.pc     LIBDIR=/usr/local
  make -C lib clean libzstd.pc INCLUDEDIR=/usr/local
  make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp
  make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp
  make -C lib clean libzstd.pc     LIBDIR=/tmp/foo prefix=/tmp/foo
  make -C lib clean libzstd.pc INCLUDEDIR=/tmp/foo prefix=/tmp/foo

  # should also succeed
  make -C lib clean libzstd.pc prefix=/foo LIBDIR=/foo/bar INCLUDEDIR=/foo/
  cat lib/libzstd.pc

  mkdir out
  cd out
  cmake ../build/cmake
  make
  cat lib/libzstd.pc
  ```

Adding steps for setting up travis and appveyor (and some general notes)

Fix forgotten portable header prefix

PR #1987 forgot to prefix another include causing lz4 detection to fail.

Merge pull request #1996 from terrelln/cifuzz-dogfood

[CIFuzz] Rename output path to artifacts

[CIFuzz] Rename output path to artifacts

Merge pull request #1993 from terrelln/cifuzz-dogfood

Enable oss-fuzz CIFuzz dogfood

Enable oss-fuzz CIFuzz dogfood

[build-issue] More portable header prefix usage (#) (#1987)

* make 4.3 build issue fix

* Changing header name and adding comment

Displaying level in --show-default-cparams (#1991)

* Displaying level in --show-default-cparams

* Displaying actual enum value instead of level

Removing symbols already in unit tests and adding some new unit tests for missing symbols (#1985)

* Removing symbols that are not being tested

* Removing symbols used in zstdcli, fileio, dibio and benchzstd

* Removing symbols used in zbuff and add test-zbuff to travis

* Removing remaining symbols and adding unit tests instead

* Removing symbols test entirely

Merge pull request #1982 from bimbashrestha/quick

Using appliedParams instead of "supplied" params in compressBegin()

Merge pull request #1980 from bimbashrestha/params

Adding --show-default-cparams to cli

Merge pull request #1981 from bimbashrestha/bug-fix

Benchzstd multiple file decompression enable

Adding assert(NB_STRATEGIES == upperLimit)

Line-wrapping

Using appliedParams instead of supplied params

Removing assert and changing ratio cSize

Adding (void)ZSTD_strategyMap

Adding static assert and using it in cli

Moving to same category as -v

Moving documentation and elaborating

Adding assert and using ZSTD_STRATEGY_MAX as ZSTD_NB_STRATEGIES

Adding back one cast and using UTIL_FILESIZE_UNKNOWN to check unknown file size

Documenting in the man file

Removing more casts

Removing unnecessary cast

Moving default cparams back, checking for unknown file size, using getCParams()

Convertion nit U32 -> size_t

Update comment

Adding --show-default-cparams (show cparams before compressing