Add option to use logical cores for default threads

Merge pull request #2708 from binhdvo/skippable

Add API for fetching skippable frame content

Add API for fetching skippable frame content

Merge pull request #2709 from terrelln/bounds-check-fix

[fix] Add missing bounds checks during compression

[fix] Add missing bounds checks during compression

* The block splitter missed a bounds check, so when the buffer is too small it
  passes an erroneously large size to `ZSTD_entropyCompressSeqStore()`, which
  can then write the compressed data past the end of the buffer. This is a new
  regression in v1.5.0 when the block splitter is enabled. It is either enabled
  explicitly, or implicitly when using the optimal parser and `ZSTD_compress2()`
  or `ZSTD_compressStream*()`.
* `HUF_writeCTable_wksp()` omits a bounds check when calling
  `HUF_compressWeights()`. If it is called with `dstCapacity == 0` it will pass
  an erroneously large size to `HUF_compressWeights()`, which can then write
  past the end of the buffer. This bug has been present for ages. However, I
  believe that zstd cannot trigger the bug, because it never calls
  `HUF_compress*()` with `dstCapacity == 0` because of [this check][1].

Credit to: Oss-Fuzz

[1]: https://github.com/facebook/zstd/blob/89127e5ee2f3c1e141668fa6d4ee91245f05d132/lib/compress/zstd_compress_literals.c#L100

Merge pull request #2705 from binhdvo/bootcamp

Add support for negative values in advanced flags

Add support for negative levels in --adapt=min and --adapt=max"

Merge pull request #2702 from felixhandte/human_size_output

Format File Sizes Human-Readable in the CLI

Whitespace Fixes to Improve Cross-Line Alignment

Update Tests to Reflect New Formatting

Convert Other Size Displays to Use Human-Readable Formatting

Switch to Binary Size Prefixes (e.g., "MB" -> "MiB")

Suggested by @aqrit, a little more verbose, but hopefully addresses a real
ambiguity.

Require `-vv` to Enable Full Precision

Apply to Other Print Statement as Well

Fix Whitespace

Change Suffix (e.g., "G" -> " GB")

In Verbose Mode, Preserve Full Precision Where Possible

Fix Integer Constants; Fix Comparison

Avoid `snprintf()` in Preparing Human-Readable Sizes; Improve Formatting

This produces the following formatting:

   Size    | `zstd` | `ls -lh`
---------- | ------ | --------
1          | 1      | 1
12         | 12     | 12
123        | 123    | 123
1234       | 1.21K  | 1.3K
12345      | 12.1K  | 13K
123456     | 121K   | 121K
1234567    | 1.18M  | 1.2M
12345678   | 11.8M  | 12M
123456789  | 118M   | 118M
1234567890 | 1.15G  | 1.2G
999        | 999    | 999
1000       | 1000   | 1000
1001       | 1001   | 1001
1023       | 1023   | 1023
1024       | 1.000K | 1.0K
1025       | 1.00K  | 1.1K
999999     | 977K   | 977K
1000000    | 977K   | 977K
1000001    | 977K   | 977K
1023999    | 1000K  | 1000K
1024000    | 1000K  | 1000K
1024001    | 1000K  | 1001K
1048575    | 1024K  | 1.0M
1048576    | 1.000M | 1.0M
1048577    | 1.00M  | 1.1M

This was produced with the following invocation:

```
for N in 1 12 123 1234 12345 123456 1234567 12345678 123456789 1234567890 999 1000 1001 1023 1024 1025 999999 1000000 1000001 1023999 1024000 1024001 1048575 1048576 1048577; do
  head -c $N /dev/urandom > r$N
done
./zstd -i1 -b1 -S r1 r12 r123 r1234 r12345 r123456 r1234567 r12345678 r123456789 r1234567890 r999 r1000 r1001 r1023 r1024 r1025 r999999 r1000000 r1000001 r1023999 r1024000 r1024001 r1048575 r1048576 r1048577
```

Attempt to fix a failing test with help from @aqrit

Some fixes to address things @felixhandte found

Try enabling the BIG strings now the unsigned long long is in effect

Try unsigned long long

Update humanSize() to skip the big numbers (it requires 64 bit)

Use unsigned long instead to help with some tests

human_size() should use size_t

Convert tabs to spaces

Use human_size() on the "multiple files compressed" output also

Use human_size() in the benchmark output also

Move the variable declarations to the top

Make the variable types match

Convert names to CamelCase

Put the human_size() function in util.c

Make the CLI output the file sizes in human readable format

Merge pull request #2697 from senhuang42/entropy_repeat_fix

[bug] Fix entropy repeat mode bug

Merge pull request #2704 from facebook/revert-2703-bootcamp

Revert "Add support for --long-param flag, fix #2104"

Revert "Add support for --long-param flag, fix #2104"

Merge pull request #2703 from binhdvo/bootcamp

Add support for --long-param flag, fix #2104

Add support for --long-param flag

Merge pull request #2698 from binhdvo/bootcamp

Fix --progress flag to properly control progress display and default …

Merge pull request #2678 from senhuang42/big_endian_no_intrinsics_fuzztest

Fuzzer test with no intrinsics on S390x (big endian)

Merge pull request #2700 from gauthamkrishna9991/update_readme_travis_link

Update README for Travis CI Badge

Update README for Travis CI Badge

### Updating Badge link to the newTravis CI link.
- Update badge root to `api.travis-ci.com` (new)
  from `travis-ci.org` (old), which was migrated.

Flatten ZSTD_row_getMatchMask (#2681)

* Flatten ZSTD_row_getMatchMask

* Remove the SIMD abstraction layer.
* Add big endian support.
* Align `hashTags` within `tagRow` to a 16-byte boundary.
* Switch SSE2 to use aligned reads.
* Optimize scalar path using SWAR.
* Optimize neon path for `n == 32`
* Work around minor clang issue for NEON (https://bugs.llvm.org/show_bug.cgi?id=49577)

* replace memcpy with MEM_readST

* silence alignment warnings

* fix neon casts

* Update zstd_lazy.c

* unify simd preprocessor detection (#3)

* remove duplicate asserts

* tweak rotates

* improve endian detection

* add cast

there is a fun little catch-22 with gcc: result from pmovmskb has to be cast to uint32_t to avoid a zero-extension
but must be uint16_t to get gcc to generate a rotate instruction..

* more casts

* fix casts

better work-around for the (bogus) warning: unary minus on unsigned

Fix --progress flag to properly control progress display and default progress display on when using -v

Merge pull request #2654 from wolfpld/dev

Initialize "potentially uninitialized" pointers.

Merge pull request #2691 from senhuang42/per_pr_regressiontest

Make regression test run on every PR

Add no intrinsics fuzztest, rowhash compression size test, and S390X to travis

Make regression test run on every PR

Fix entropy repeat mode bug

Merge pull request #2693 from binhdvo/bootcamp

Add documentation for --patch-from

Add documentation for --patch-from

Merge pull request #2684 from senhuang42/old_api_ldm_blocksplit

Add ldm and block splitter auto-enable to old api

Merge pull request #2686 from senhuang42/arm64fuzztest

Add arm64 fuzz test to travis

Add arm64 fuzz test to travis

Merge pull request #2682 from senhuang42/armbuild_fixtest

Make GH Actions CI tests run apt-get update before apt-get install

Update apt-get prior to tests that install packages

Merge pull request #2675 from senhuang42/ci_overhaul

[CI][1/2] Re-do the github actions workflows, migrate various travis and appveyor tests.

Add ldm and block splitter auto-enable to old api

Migrate travis CI tests

Merge pull request #2673 from terrelln/regression

[test][regression] Update results.csv

Merge pull request #2674 from terrelln/trace-aix

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

* Only enable for ELF on x86-64 or i386.
* Also explicitly disable for AIX.

Fixes #2658.

[test][regression] Update results.csv

Changing the repcode search slightly, and changing when zstd is in
ext-dict vs. prefix mode in edge cases, slightly changes the compressed
results.

Merge pull request #2667 from senhuang42/arm_tests_ci

[CI] Add ARM tests back into CI

Merge pull request #2668 from senhuang42/update_ci_platforms

[CI] Fix zlib-wrapper test

Merge pull request #2649 from felixhandte/circleci-release-job-fix

Fix CircleCI Config to Fully Remove `publish-github-release` Job

Merge pull request #2653 from TrianglesPCT/dev

Enable SSE2 compression path to work on MSVC

Merge pull request #2660 from facebook/diaz

improve tar compatibility

[ci] Add ARM tests back into CI

[ci] Use *-latest for platforms to test on

Merge pull request #2657 from dnelson-1901/dev-typofix

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

improve tar compatibility

This patch is supposed to improve compatibility with less featured tar variants
"when the tar program used does not support historical options (without hyphen) nor the '-z' option."

Patch proposed by Antonio Diaz Diaz

minor mention of RFC8878

more recent update

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

Update zstd_lazy.c

It put the changes back when I tried to make a separate pull request, i don't understand githubs interface at all.

Add files via upload

AVX2

Update zstd_lazy.c

add space

Update zstd_lazy.c

Remove the AVX2 part

Update zstd_lazy.c

Switch to other comment style

Merge pull request #2648 from terrelln/determinism-fuzzer

Add determinism fuzzers and fix rare determinism bugs

Update zstd_lazy.c

switch to unaligned load as I don't know if buffer will always be aligned to 32 bytes, and compilers aside from MSVC might actually use aligned loads

Update zstd_lazy.c

Update zstd_lazy.c

use 8bit

Initialize "potentially uninitialized" pointers.

Add files via upload

Add files via upload

msvc

Add files via upload

msvc suport
avx2 path

Fix CircleCI Config to Fully Remove `publish-github-release` Job

[fuzz] Add determinism fuzzing to simple & dictionary round trip

Compress the input twice in the `simple_round_trip` and
`dictionary_round_trip` fuzzers with exactly the same parameters, but
reusing the context. Then ensure that the compressed output is
identical.

[lib] Fix dictionary invalidation logic

Call `ZSTD_enforceMaxDist()` before each block with the beginning of the
block. This ensures that `lowLimit` is updated to `dictLimit` whenever
the ext-dict is out of range, so we can use prefix mode for speed.

This can cause non-determinism because prefix mode and ext-dict mode
match finders can return different results. It can also hurt speed
because ext-dict match finders are slower.

The scenario is:
1. Compress large data with a dictionary.
2. The dictionary goes out of bounds, so we invalidate it.
3. However, we still have `lowLimit < dictLimit`, since it is
   never updated.
4. We will call the ext-dict match finder instead of the prefix one.

[lib] Fix off-by-one error in repcode checks

The repcode checks disallowed repcodes that are equal to `windowLow`.
This is slightly inefficient, but isn't a problem on its own. Together
with the next commit, it cause non-determinism.

[lib] Fix determinism bug in the optimal parser

`ZSTD_insertBt1()` has a speed optimization that skips the prefix of
very long matches.

https://github.com/facebook/zstd/blob/40def70387f99b239f3f566ba399275a8fd44cde/lib/compress/zstd_opt.c#L476

This optimization is based off the length longest match found. However,
when indices are reset, we only ensure that we can reference the whole
window starting from `ip`. If the previous block ended with a long match
then `nextToUpdate` could be much less than `ip`. It might be far enough
back that `nextToUpdate < maxDist`, so it doesn't have a full window of
data to reference. This can cause non-determinism bugs, because we may
find a match that is beyond `ip - maxDist`, and may sometimes be
un-referencable, and that match triggers the speed optimization.

The fix is to base the `windowLow` off of the `target` of
`ZSTD_updateTree_internal()`, because anything below that value will be
obsolete by the time `ZSTD_updateTree_internal()` completes.

Remove deprecate flag for vcx (#2647)

Add source level deprecation warning disabling to certain tests/utils (#2645)

Merge pull request #2644 from facebook/mesonFix

Fixed meson test on travisCI

updated meson test

hopefully, bionic will have a more recent version of python
required to install meson.

Merge pull request #2643 from facebook/workers32

reduce ZSTDMT_NBWORKERS_MAX in 32-bit mode

Update CHANGELOG to include patch from fix (#2642)

Merge branch 'dev' of github.com:facebook/zstd into dev