Merge pull request #2083 from bimbashrestha/quick1

[nit] Adding missing newline at end of patch-from recommendations

adding newline

Adding --long support for --patch-from (#1959)

* adding long support for patch-from

* adding refPrefix to dictionary_decompress

* adding refPrefix to dictionary_loader

* conversion nit

* triggering log mode on chainLog < fileLog and removing old threshold

* adding refPrefix to dictionary_round_trip

* adding docs

* adding enableldm + forceWindow test for dict

* separate patch-from logic into FIO_adjustParamsForPatchFromMode

* moving memLimit adjustment to outside ifdefs (need for decomp)

* removing refPrefix gate on dictionary_round_trip

* rebase on top of dev refPrefix change

* making sure refPrefx + ldm is < 1% of srcSize

* combining notes for patch-from

* moving memlimit logic inside fileio.c

* adding display for optimal parser and long mode trigger

* conversion nit

* fuzzer found heap-overflow fix

* another conversion nit

* moving FIO_adjustMemLimitForPatchFromMode outside ifndef

* making params immutable

* moving memLimit update before createDictBuffer call

* making maxSrcSize unsigned long long

* making dictSize and maxSrcSize params unsigned long long

* error on files larger than 4gb

* extend refPrefix test to include round trip

* conversion to size_t

* making sure ldm is at least 10x better

* removing break

* including zstd_compress_internal and removing redundant macros

* exposing ZSTD_cycleLog()

* using cycleLog instead of chainLog

* add some more docs about user optimizations

* formatting

Merge pull request #2080 from facebook/minor_fileio_refactor

minor refactor of `fileio.c`

minor refactor

- fix a few comments
- reorder some parameters, to enforce "mutable references first"
- simplified fwriteSparse()

Merge pull request #2040 from caoyzh/dev-2

Optimize by prefetching on aarch64

Merge pull request #2075 from bimbashrestha/dict_fuzzer_ref

[bug] handling case where prefix is NULL or 0 sized in refPrefix_advanced

handling nil case for refprefix

Merge pull request #2065 from cwoffenden/single-file-lib

Single-file decoder script can now (optionally) create an encoder

Fixed clash when projects are already using xxHash

Undefing XXH_* macros allows the `.c` to build standalone without clashes. Removing `xxhash.c` and only including the header is the correct usage (according to `XXH_PRIVATE_API`).

Fixed-up single-file libs directory

Renamed directory

Improved documentation

Further replication removed

`CHECK_F` is now in `error_private.h`. Minor tidy.

Merge remote-tracking branch 'upstream/dev' into single-file-lib

Code replicated in compression and decompression moved to shared headers

`CHECK_F` macro moved to `error_private.h` (shared between `fse_compress.c` and `fse_decompress.c`). `ZSTD_limitCopy()` moved to `zstd_internal.h` (shared between `zstd_compress.c` and `zstd_decompress.c`). Erroneous build artefact `zstd.h` removed from repo.

adding refPrefix

Merge pull request #2069 from bimbashrestha/doversize

[memory opt] Downsize decompression buffers when large for too long

adding test for dctx size reduction

Merge pull request #2068 from bimbashrestha/quick

[bug] Fixing Incorrect/inconsistent reported compression percentage for empty files

moving consts to zstd_internal and reusing them

converting to if

adding dctx to function name

only computing sizes once

Using in and out size together

Merge pull request #2067 from bimbashrestha/res-leak

[bug] adding fclose before return

returning on null check

adding fclose before return

adding oversized check on decompression

adding oversizeDuration to dctx and macros

no percentage on readsize == 0

removing max(1, ..)

Minor typo

Added missing -pthread flag (was breaking on BSD)

Single-file decoder script can now (optionally) create an encoder

To complement the single-file decoder a new script was added to create an amalgamated single-file of all of the Zstd source, along with examples and (simple) tests.

Fixes decompressor when using -Wshorten-64-to-32 (#2062)

Spotted on iOS when building with `-Wshorten-64-to-32` (since `__builtin_expect` returns a `long`).

Merge pull request #2054 from terrelln/license-fix

Standardize and fix copyright and licenses

Merge pull request #2053 from terrelln/fix-play-test

[test] Fix playTests.sh with space in binary path

[circleci] Run test-license.py

Run it first because it is very fast (~1 second)

[test] Fix playTests.sh with space in binary path

playTests.sh didn't work when `ZSTD_BIN` or `DATAGEN_BIN` had a space in
the path name. This happens for me because I split the cmake build
directory by compiler name, like "Clang 9.0.0".

The fix is to replace all instances of `$ZSTD` with the `zstd()`
function, and the replace `$DATAGEN` with `datagen()`. This will allow
us to change how we call zstd/datagen in the future without having to
change every callsite.

[test] Add a test that checks for valid copyright and licenses

Tests all `.h`, `.c`, `.py`, and `Makefile` files for valid copyright
and license lines. Excludes a small number of exceptions (threading, and
divsufsort).

* Copyright does not contains `present`
* Copyright contains `Facebook, Inc`
* Copyright contains the current year
* License contains exactly the lines we expect

Fix copyright and license lines

* All copyright lines now have -2020 instead of -present
* All copyright lines include "Facebook, Inc"
* All licenses are now standardized

The copyright in `threading.{h,c}` is not changed because it comes from
zstdmt.

The copyright and license of `divsufsort.{h,c}` is not changed.

Merge pull request #2050 from terrelln/align

Align decompress sequences loop to 32+16 bytes

Align decompress sequences loop to 32+16 bytes

The alignment is added before the loop, so this shouldn't hurt
performance in any case. The only way it hurts is if there is already
performance instability, and we force it to be stable but in the bad
case.

This consistently gets us into the good case with gcc-{7,8,9} on an
Intel i9-9900K and clang-9. gcc-5 is 5% worse than its best case but has
stable performance. We get consistently good behavior on my Macbook Pro
compiled with both clang and gcc-8. It ends up in the 50% from DSB and
50% from MITE case, but the performance is the same as the 85% DSB case,
so thats fine.

Merge pull request #2029 from terrelln/minor-opt

[opt] Update repcodes less often

Merge pull request #2036 from bimbashrestha/edist

[contrib] Edit distance match finder

Merge pull request #2047 from bimbashrestha/doc

[doc] targetLen -> targetLength

targetLen -> targetLength

Optimize by prefetching on aarch64

Edit distance match finder

Merge pull request #2033 from bimbashrestha/icc

[opt] Small icc level 1 compression speed gain using #pragma vector

Merge pull request #2031 from bimbashrestha/bitscan

_BitScan{Reverse,Forward} add check for undefined

Typo

Adding comment and remvoing ivdep

Merge pull request #2032 from bimbashrestha/no-size

Adding --[no-]content-size to the cli

Setting ZSTD_c_contentSizeFlag instead of UNKNOWN filesize

Adding documentation

Adding test for --[no-]content-size

Adding --content-size

Inverting content size prefs bool

Adding (void)noContentSize

--no-content-size cli

Missed returns

bitscan add undef check

Merge pull request #2030 from bimbashrestha/quick

Removing no-tree-vectorize for intel

Removing no-tree-vectorize for intel

adding vector to main loop

[opt] Only update repcodes upon arrival

Merge pull request #2028 from terrelln/minor-opt

[opt] Don't recompute initial literals price

[opt] Don't recompute repcodes while emitting sequences

[opt] Delete ZSTD_litLengthContribution

[opt] Explain why we don't include literals price

[opt] Don't recompute initial literals price

Merge pull request #2027 from bimbashrestha/travis-icc

[ci] Adding icc make check to travis

Merge pull request #2026 from bimbashrestha/issues-temp

Add issue templates to zstd

Removing mmx compiler flags

Adding icc make check to travis ci

Add issue templates to zstd

LZ4 just added this. I think it would be helpful here too.

Merge pull request #2025 from bimbashrestha/doc

[doc] Fixing ZSTD_c_compressionLevel confusing note

Fixing ZSTD_c_compressionLevel confusing note

Merge pull request #2024 from terrelln/zstdgrep-error

[zstdgrep] Log zstd decompression errors to stderr

[zstdgrep] Add a simple test

Merge pull request #2023 from terrelln/fix-logs

Dont log errors when ZSTD_fseBitCost() returns an error

[zstdgrep] Remove -f because zstdcat implies it

[zstdgrep] Log zstd decompression errors to stderr

Dont log errors when ZSTD_fseBitCost() returns an error

Merge pull request #2019 from bimbashrestha/quick

--show-default-cparams Adding hashLog

Adding hashLog to --show-default-cparams

[cirrus-ci] Removing pkg -y update and using 11.3-snap instead of 11.2  (#2018)

* Replacing with boilerplate from cirrus

* Adding task name and adding back freebsd 11.x

* Changing from 11.3 to freebsd-11-3-snap

* Rearanging the order of matrix and instance

Merge pull request #2017 from facebook/verbose

man page : added `--verbose` long command

man page : added `--verbose` long command

also updated `zstd.1`
stacking prior updates completed on `zstd.1.md`.

Revert "Fix pkg-config File Generation Again" (#2016)

Merge pull request #2001 from felixhandte/pkg-config-fix-again

Fix pkg-config File Generation Again

Merge pull request #2013 from terrelln/oss-fuzz

Update CIFuzz file and turn off dry-run mode

Update CIFuzz file and turn off dry-run mode

Merge pull request #2007 from lgarrison/cli-allow-sizet

Allow some CLI options to accept numeric values up to size_t

Allow some cli options to accept numeric values up to size_t instead of unsigned int

Merge pull request #1999 from bket/fix_have_lz4

Fix forgotten portable header prefix

Merge pull request #2002 from bimbashrestha/docs

[doc] Adding notes about CI and an outline of collaboration workflow

Fix integer parsing in cli (#2003)