adding tests back

adding help text

fixing inconsistencies

Merge pull request #2048 from nocnokneo/ctest-support

Add CTest support

Merge pull request #2088 from bimbashrestha/bug

[bug] Making compressStream2 fail when passing rawContent but claiming fullDict

Merge pull request #2086 from bimbashrestha/quick3

[bug] passing cParams.hashLog instead of comprParams->hashLog for ldm trigger

passing dictContentType instead of rawContent every time

adding fail test when passing wrong fullDict using refPrefix

bash to shell conversion

changing to cParams.hashLog

adding test for long mode trigger

Merge pull request #2085 from bimbashrestha/quick2

[doc-bug] Updating the recommended max chainlog for patch-from

updating chainlog bound

Merge pull request #2083 from bimbashrestha/quick1

[nit] Adding missing newline at end of patch-from recommendations

adding newline

Adding --long support for --patch-from (#1959)

* adding long support for patch-from

* adding refPrefix to dictionary_decompress

* adding refPrefix to dictionary_loader

* conversion nit

* triggering log mode on chainLog < fileLog and removing old threshold

* adding refPrefix to dictionary_round_trip

* adding docs

* adding enableldm + forceWindow test for dict

* separate patch-from logic into FIO_adjustParamsForPatchFromMode

* moving memLimit adjustment to outside ifdefs (need for decomp)

* removing refPrefix gate on dictionary_round_trip

* rebase on top of dev refPrefix change

* making sure refPrefx + ldm is < 1% of srcSize

* combining notes for patch-from

* moving memlimit logic inside fileio.c

* adding display for optimal parser and long mode trigger

* conversion nit

* fuzzer found heap-overflow fix

* another conversion nit

* moving FIO_adjustMemLimitForPatchFromMode outside ifndef

* making params immutable

* moving memLimit update before createDictBuffer call

* making maxSrcSize unsigned long long

* making dictSize and maxSrcSize params unsigned long long

* error on files larger than 4gb

* extend refPrefix test to include round trip

* conversion to size_t

* making sure ldm is at least 10x better

* removing break

* including zstd_compress_internal and removing redundant macros

* exposing ZSTD_cycleLog()

* using cycleLog instead of chainLog

* add some more docs about user optimizations

* formatting

Merge pull request #2080 from facebook/minor_fileio_refactor

minor refactor of `fileio.c`

minor refactor

- fix a few comments
- reorder some parameters, to enforce "mutable references first"
- simplified fwriteSparse()

Merge pull request #2040 from caoyzh/dev-2

Optimize by prefetching on aarch64

Merge pull request #2075 from bimbashrestha/dict_fuzzer_ref

[bug] handling case where prefix is NULL or 0 sized in refPrefix_advanced

handling nil case for refprefix

Merge pull request #2065 from cwoffenden/single-file-lib

Single-file decoder script can now (optionally) create an encoder

Fixed clash when projects are already using xxHash

Undefing XXH_* macros allows the `.c` to build standalone without clashes. Removing `xxhash.c` and only including the header is the correct usage (according to `XXH_PRIVATE_API`).

Fixed-up single-file libs directory

Renamed directory

Improved documentation

Further replication removed

`CHECK_F` is now in `error_private.h`. Minor tidy.

Merge remote-tracking branch 'upstream/dev' into single-file-lib

Code replicated in compression and decompression moved to shared headers

`CHECK_F` macro moved to `error_private.h` (shared between `fse_compress.c` and `fse_decompress.c`). `ZSTD_limitCopy()` moved to `zstd_internal.h` (shared between `zstd_compress.c` and `zstd_decompress.c`). Erroneous build artefact `zstd.h` removed from repo.

adding refPrefix

Merge pull request #2069 from bimbashrestha/doversize

[memory opt] Downsize decompression buffers when large for too long

adding test for dctx size reduction

Merge pull request #2068 from bimbashrestha/quick

[bug] Fixing Incorrect/inconsistent reported compression percentage for empty files

moving consts to zstd_internal and reusing them

converting to if

adding dctx to function name

only computing sizes once

Using in and out size together

Merge pull request #2067 from bimbashrestha/res-leak

[bug] adding fclose before return

returning on null check

adding fclose before return

adding oversized check on decompression

adding oversizeDuration to dctx and macros

no percentage on readsize == 0

removing max(1, ..)

Minor typo

Added missing -pthread flag (was breaking on BSD)

Single-file decoder script can now (optionally) create an encoder

To complement the single-file decoder a new script was added to create an amalgamated single-file of all of the Zstd source, along with examples and (simple) tests.

Fixes decompressor when using -Wshorten-64-to-32 (#2062)

Spotted on iOS when building with `-Wshorten-64-to-32` (since `__builtin_expect` returns a `long`).

Add support for running more tests via CTest

Merge pull request #2054 from terrelln/license-fix

Standardize and fix copyright and licenses

Merge pull request #2053 from terrelln/fix-play-test

[test] Fix playTests.sh with space in binary path

[circleci] Run test-license.py

Run it first because it is very fast (~1 second)

[test] Fix playTests.sh with space in binary path

playTests.sh didn't work when `ZSTD_BIN` or `DATAGEN_BIN` had a space in
the path name. This happens for me because I split the cmake build
directory by compiler name, like "Clang 9.0.0".

The fix is to replace all instances of `$ZSTD` with the `zstd()`
function, and the replace `$DATAGEN` with `datagen()`. This will allow
us to change how we call zstd/datagen in the future without having to
change every callsite.

[test] Add a test that checks for valid copyright and licenses

Tests all `.h`, `.c`, `.py`, and `Makefile` files for valid copyright
and license lines. Excludes a small number of exceptions (threading, and
divsufsort).

* Copyright does not contains `present`
* Copyright contains `Facebook, Inc`
* Copyright contains the current year
* License contains exactly the lines we expect

Fix copyright and license lines

* All copyright lines now have -2020 instead of -present
* All copyright lines include "Facebook, Inc"
* All licenses are now standardized

The copyright in `threading.{h,c}` is not changed because it comes from
zstdmt.

The copyright and license of `divsufsort.{h,c}` is not changed.

Merge pull request #2050 from terrelln/align

Align decompress sequences loop to 32+16 bytes

Align decompress sequences loop to 32+16 bytes

The alignment is added before the loop, so this shouldn't hurt
performance in any case. The only way it hurts is if there is already
performance instability, and we force it to be stable but in the bad
case.

This consistently gets us into the good case with gcc-{7,8,9} on an
Intel i9-9900K and clang-9. gcc-5 is 5% worse than its best case but has
stable performance. We get consistently good behavior on my Macbook Pro
compiled with both clang and gcc-8. It ends up in the 50% from DSB and
50% from MITE case, but the performance is the same as the 85% DSB case,
so thats fine.

Merge pull request #2029 from terrelln/minor-opt

[opt] Update repcodes less often

Respect the conventional BUILD_TESTS CMake option on the first configure

Add documentation for -T option

Fix testing documentation typo

Merge pull request #2036 from bimbashrestha/edist

[contrib] Edit distance match finder

Merge pull request #2047 from bimbashrestha/doc

[doc] targetLen -> targetLength

targetLen -> targetLength

Optimize by prefetching on aarch64

Edit distance match finder

Merge pull request #2033 from bimbashrestha/icc

[opt] Small icc level 1 compression speed gain using #pragma vector

Merge pull request #2031 from bimbashrestha/bitscan

_BitScan{Reverse,Forward} add check for undefined

Typo

Adding comment and remvoing ivdep

Merge pull request #2032 from bimbashrestha/no-size

Adding --[no-]content-size to the cli

Setting ZSTD_c_contentSizeFlag instead of UNKNOWN filesize

Adding documentation

Adding test for --[no-]content-size

Adding --content-size

Inverting content size prefs bool

Adding (void)noContentSize

--no-content-size cli

Missed returns

bitscan add undef check

Merge pull request #2030 from bimbashrestha/quick

Removing no-tree-vectorize for intel

Removing no-tree-vectorize for intel

adding vector to main loop

[opt] Only update repcodes upon arrival

Merge pull request #2028 from terrelln/minor-opt

[opt] Don't recompute initial literals price

[opt] Don't recompute repcodes while emitting sequences

[opt] Delete ZSTD_litLengthContribution

[opt] Explain why we don't include literals price

[opt] Don't recompute initial literals price

Merge pull request #2027 from bimbashrestha/travis-icc

[ci] Adding icc make check to travis

Merge pull request #2026 from bimbashrestha/issues-temp

Add issue templates to zstd

Removing mmx compiler flags

Adding icc make check to travis ci

Add issue templates to zstd

LZ4 just added this. I think it would be helpful here too.

Merge pull request #2025 from bimbashrestha/doc

[doc] Fixing ZSTD_c_compressionLevel confusing note

Fixing ZSTD_c_compressionLevel confusing note

Merge pull request #2024 from terrelln/zstdgrep-error

[zstdgrep] Log zstd decompression errors to stderr

[zstdgrep] Add a simple test

Merge pull request #2023 from terrelln/fix-logs

Dont log errors when ZSTD_fseBitCost() returns an error