Merge pull request #2720 from senhuang42/remove_folder

Remove folder when done with test

Remove folder when done with test

Proactively skip huffman compression based on sampling where non-compressibility is suspected

Merge pull request #2655 from heitbaum/patch-1

[trace] remove zstd_trace.c reference from freestanding

Merge pull request #2719 from danlark1/danlark_iwyu

Include what you use in zstd_ldm_geartab

Merge pull request #2689 from danlark1/dev

Optimize zstd decompression by another x%

Include what you use in zstd_ldm_geartab

Add possible improvements for gcc-11

Merge pull request #2716 from facebook/fix2701

remove invalid test

Merge pull request #2715 from senhuang42/sequence_api_3

[RFC] Add internal API for converting ZSTD_Sequence into seqStore

remove invalid test

`--mt` is no longer supported by `zstreamtest`
(relevant API entry point has been removed from `libzstd`).

fix #2701

Add simple API for converting ZSTD_Sequence into seqStore

[lib] Fix libzstd.pc for lib-mt builds

Add the libzstd.pc target to the lib target in lib/Makefile, which makes
it inherit LDFLAGS_DYNLIB from the lib-mt target. This allows us to add
a Libs.private field to libzstd.pc which gets conditionally populated
with '-pthread'.

The 1.5.0 release notes mention that the static library isn't
multi-threaded by default, due to concern for people building static
binaries with libzstd:

   Now the dynamic library supports multi-threaded compression by
   default.  Note that this property is not extended to the static
   library because doing so would have impacted the build script of
   existing client applications (requiring them to add -pthread to their
   recipe), thus potentially breaking their build.

To get closer to being able to enable multi-threading for all library
builds by default, this commit makes it so that any libzstd consumer
using pkg-config gets the correct flags.

We also fix the indentation of the rule for libzstd.pc and move it
outside the if/endif block for install rules (which uses a list of OSs
where the rules were validated), so the rule is available for all users
of the 'lib*' targets.

Merge pull request #2714 from luisdallos/build-macros-typos

lib/Makefile: Fix small typo in ZSTD_FORCE_DECOMPRESS_* build macros

lib/Makefile: Fix small typo in ZSTD_FORCE_DECOMPRESS_* build macros

Merge pull request #2710 from binhdvo/bootcamp

Add option to use logical cores for default threads

Add option to use logical cores for default threads

Merge pull request #2708 from binhdvo/skippable

Add API for fetching skippable frame content

Add API for fetching skippable frame content

Merge pull request #2709 from terrelln/bounds-check-fix

[fix] Add missing bounds checks during compression

[fix] Add missing bounds checks during compression

* The block splitter missed a bounds check, so when the buffer is too small it
  passes an erroneously large size to `ZSTD_entropyCompressSeqStore()`, which
  can then write the compressed data past the end of the buffer. This is a new
  regression in v1.5.0 when the block splitter is enabled. It is either enabled
  explicitly, or implicitly when using the optimal parser and `ZSTD_compress2()`
  or `ZSTD_compressStream*()`.
* `HUF_writeCTable_wksp()` omits a bounds check when calling
  `HUF_compressWeights()`. If it is called with `dstCapacity == 0` it will pass
  an erroneously large size to `HUF_compressWeights()`, which can then write
  past the end of the buffer. This bug has been present for ages. However, I
  believe that zstd cannot trigger the bug, because it never calls
  `HUF_compress*()` with `dstCapacity == 0` because of [this check][1].

Credit to: Oss-Fuzz

[1]: https://github.com/facebook/zstd/blob/89127e5ee2f3c1e141668fa6d4ee91245f05d132/lib/compress/zstd_compress_literals.c#L100

Merge pull request #2705 from binhdvo/bootcamp

Add support for negative values in advanced flags

Add support for negative levels in --adapt=min and --adapt=max"

Z_PREFIX  zError function

When a project use zError function,linker can not find z_zError function

Merge pull request #2702 from felixhandte/human_size_output

Format File Sizes Human-Readable in the CLI

Whitespace Fixes to Improve Cross-Line Alignment

Update Tests to Reflect New Formatting

Convert Other Size Displays to Use Human-Readable Formatting

Switch to Binary Size Prefixes (e.g., "MB" -> "MiB")

Suggested by @aqrit, a little more verbose, but hopefully addresses a real
ambiguity.

Require `-vv` to Enable Full Precision

Apply to Other Print Statement as Well

Fix Whitespace

Change Suffix (e.g., "G" -> " GB")

In Verbose Mode, Preserve Full Precision Where Possible

Fix Integer Constants; Fix Comparison

Avoid `snprintf()` in Preparing Human-Readable Sizes; Improve Formatting

This produces the following formatting:

   Size    | `zstd` | `ls -lh`
---------- | ------ | --------
1          | 1      | 1
12         | 12     | 12
123        | 123    | 123
1234       | 1.21K  | 1.3K
12345      | 12.1K  | 13K
123456     | 121K   | 121K
1234567    | 1.18M  | 1.2M
12345678   | 11.8M  | 12M
123456789  | 118M   | 118M
1234567890 | 1.15G  | 1.2G
999        | 999    | 999
1000       | 1000   | 1000
1001       | 1001   | 1001
1023       | 1023   | 1023
1024       | 1.000K | 1.0K
1025       | 1.00K  | 1.1K
999999     | 977K   | 977K
1000000    | 977K   | 977K
1000001    | 977K   | 977K
1023999    | 1000K  | 1000K
1024000    | 1000K  | 1000K
1024001    | 1000K  | 1001K
1048575    | 1024K  | 1.0M
1048576    | 1.000M | 1.0M
1048577    | 1.00M  | 1.1M

This was produced with the following invocation:

```
for N in 1 12 123 1234 12345 123456 1234567 12345678 123456789 1234567890 999 1000 1001 1023 1024 1025 999999 1000000 1000001 1023999 1024000 1024001 1048575 1048576 1048577; do
  head -c $N /dev/urandom > r$N
done
./zstd -i1 -b1 -S r1 r12 r123 r1234 r12345 r123456 r1234567 r12345678 r123456789 r1234567890 r999 r1000 r1001 r1023 r1024 r1025 r999999 r1000000 r1000001 r1023999 r1024000 r1024001 r1048575 r1048576 r1048577
```

Attempt to fix a failing test with help from @aqrit

Some fixes to address things @felixhandte found

Try enabling the BIG strings now the unsigned long long is in effect

Try unsigned long long

Update humanSize() to skip the big numbers (it requires 64 bit)

Use unsigned long instead to help with some tests

human_size() should use size_t

Convert tabs to spaces

Use human_size() on the "multiple files compressed" output also

Use human_size() in the benchmark output also

Move the variable declarations to the top

Make the variable types match

Convert names to CamelCase

Put the human_size() function in util.c

Make the CLI output the file sizes in human readable format

Merge pull request #2697 from senhuang42/entropy_repeat_fix

[bug] Fix entropy repeat mode bug

Merge pull request #2704 from facebook/revert-2703-bootcamp

Revert "Add support for --long-param flag, fix #2104"

Revert "Add support for --long-param flag, fix #2104"

Merge pull request #2703 from binhdvo/bootcamp

Add support for --long-param flag, fix #2104

Add support for --long-param flag

Merge pull request #2698 from binhdvo/bootcamp

Fix --progress flag to properly control progress display and default …

Merge pull request #2678 from senhuang42/big_endian_no_intrinsics_fuzztest

Fuzzer test with no intrinsics on S390x (big endian)

Merge pull request #2700 from gauthamkrishna9991/update_readme_travis_link

Update README for Travis CI Badge

Update README for Travis CI Badge

### Updating Badge link to the newTravis CI link.
- Update badge root to `api.travis-ci.com` (new)
  from `travis-ci.org` (old), which was migrated.

Flatten ZSTD_row_getMatchMask (#2681)

* Flatten ZSTD_row_getMatchMask

* Remove the SIMD abstraction layer.
* Add big endian support.
* Align `hashTags` within `tagRow` to a 16-byte boundary.
* Switch SSE2 to use aligned reads.
* Optimize scalar path using SWAR.
* Optimize neon path for `n == 32`
* Work around minor clang issue for NEON (https://bugs.llvm.org/show_bug.cgi?id=49577)

* replace memcpy with MEM_readST

* silence alignment warnings

* fix neon casts

* Update zstd_lazy.c

* unify simd preprocessor detection (#3)

* remove duplicate asserts

* tweak rotates

* improve endian detection

* add cast

there is a fun little catch-22 with gcc: result from pmovmskb has to be cast to uint32_t to avoid a zero-extension
but must be uint16_t to get gcc to generate a rotate instruction..

* more casts

* fix casts

better work-around for the (bogus) warning: unary minus on unsigned

Fix --progress flag to properly control progress display and default progress display on when using -v

Add comment for gcc-11

Be C89 compliant and fix alignment for gcc11

Merge pull request #2654 from wolfpld/dev

Initialize "potentially uninitialized" pointers.

Merge pull request #2691 from senhuang42/per_pr_regressiontest

Make regression test run on every PR

Add no intrinsics fuzztest, rowhash compression size test, and S390X to travis

Make regression test run on every PR

Fix entropy repeat mode bug

Merge pull request #2693 from binhdvo/bootcamp

Add documentation for --patch-from

Add documentation for --patch-from

Merge pull request #2684 from senhuang42/old_api_ldm_blocksplit

Add ldm and block splitter auto-enable to old api

Move declaration of 1 to an inlined cast

Optimize ZSTD_decodeSequence by another x%

Merge pull request #2686 from senhuang42/arm64fuzztest

Add arm64 fuzz test to travis

Makefile: fix build for mingw

Add ${EXT} to required places to make install succeed for mingw build.

Add arm64 fuzz test to travis

Merge pull request #2682 from senhuang42/armbuild_fixtest

Make GH Actions CI tests run apt-get update before apt-get install

Update apt-get prior to tests that install packages

Merge pull request #2675 from senhuang42/ci_overhaul

[CI][1/2] Re-do the github actions workflows, migrate various travis and appveyor tests.

Add ldm and block splitter auto-enable to old api

Migrate travis CI tests

Merge pull request #2673 from terrelln/regression

[test][regression] Update results.csv

Merge pull request #2674 from terrelln/trace-aix

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

* Only enable for ELF on x86-64 or i386.
* Also explicitly disable for AIX.

Fixes #2658.

[test][regression] Update results.csv

Changing the repcode search slightly, and changing when zstd is in
ext-dict vs. prefix mode in edge cases, slightly changes the compressed
results.

Merge pull request #2667 from senhuang42/arm_tests_ci

[CI] Add ARM tests back into CI

Merge pull request #2668 from senhuang42/update_ci_platforms

[CI] Fix zlib-wrapper test

Merge pull request #2649 from felixhandte/circleci-release-job-fix

Fix CircleCI Config to Fully Remove `publish-github-release` Job

Merge pull request #2653 from TrianglesPCT/dev

Enable SSE2 compression path to work on MSVC

Merge pull request #2660 from facebook/diaz

improve tar compatibility

[ci] Add ARM tests back into CI

[ci] Use *-latest for platforms to test on

Merge pull request #2657 from dnelson-1901/dev-typofix

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

improve tar compatibility

This patch is supposed to improve compatibility with less featured tar variants
"when the tar program used does not support historical options (without hyphen) nor the '-z' option."

Patch proposed by Antonio Diaz Diaz

minor mention of RFC8878

more recent update

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

[trace] remove zstd_trace.c reference from freestanding

zstd_trace.c was removed as part of PR #2589

Update zstd_lazy.c

It put the changes back when I tried to make a separate pull request, i don't understand githubs interface at all.

Add files via upload

AVX2