Merge pull request #2750 from senhuang42/sb_compress

Improve branch misses on FSE symbol spreading

Improve branch misses on FSE symbol spreading

test: avoid /dev/full on AIX

Makefile: add AIX support

For lib, AIX linker doesn't allow --soname.

meson: set the symbol visibility of the shared library to hidden

This matches the Makefile build. Due to one private xxhash symbol in use
by the program, it recompiles a private copy of xxhash.

Due to the test binaries making extensive (?) use of private symbols, it
doesn't even attempt to link to shared libzstd, and instead, all of the
original object files are added to libtestcommon itself for private
linkage. This, too, matches the Makefile build.

Ref. #2261

meson: fix warnings in build files

meson prefers that project-level options for Wall/Wextra/pedantic be
used, rather than hardcoding raw flags in add_project_arguments. If you
do the latter anyway, it raises a meson warning.

Set the default options for the project to use all this.

Also move the -Werror comment to the project default options with
appropriate format, but leave it commented out since it does not work.

meson: link tests with a convenience library of sources used by multiple binaries

This saves repeatedly compiling them, resulting in 16 fewer compile
steps, in exchange for one `ar` step.

Merge pull request #2692 from senhuang42/rebalance_clevel

[RFC] Rebalance compression levels

Optimize 32-bit VecMask_next()

Merge pull request #2742 from felixhandte/set-mtime

Set mtime on Output Files

Add 64 row entry support for lazy

Rebalance clevels for lazy

Merge pull request #2732 from senhuang42/huf_sort_improvement

[HUF] Improve Huffman sorting algorithm

Remove sleep()s in Test; Replace with Artificial mtime

This behavior of `touch` is standardized in POSIX, so it should be available.

Update mtime and atime for Written Files

Pull `utime()` Call into Helper

Improve Huffman sorting algorithm

Add Test to Verify mtime is Copied to Destination

Merge pull request #2733 from terrelln/huf-cspeed

[HUF] Improve Huffman encoding speed

[fuzz] Add Huffman round trip fuzzer

* Add a Huffman round trip fuzzer
* Fix two minor bugs in Huffman that aren't exposed in zstd
  - Incorrect weight comparison (weights are allowed to be equal to
    table log).
  - HUF_compress1X_usingCTable_internal() can return compressed
    size >= source size, so the assert that `cSize <= 65535` isn't
    correct, and it needs to be checked instead.

Merge pull request #2677 from senhuang42/ci_overhaul_2

[CI][2/2] Migrate CI tests which (currently) fail

Fix static analyzer warnings

Add VS2019 test, migrate minimal decompressor macros to GHActions

Merge pull request #2724 from jonringer/fix-pzstd-static-build

pzstd: fix linking for static builds

Merge pull request #2707 from koalabearguo/dev

Z_PREFIX  zError function

Merge pull request #2729 from felixhandte/fix-ddss-load

Fix DDSS Load

[HUF] Improve Huffman encoding speed

Improve Huffman encoding speed by 20% for gcc and 10% for clang.

| Compiler |     Benchmark     | Config  |   Dataset   | Ratio | Speed MB/s (dev) | Speed MB/s (huf-cspeed) | Speed MB/s (huf-cspeed - dev) |
|----------|-------------------|---------|-------------|-------|------------------|-------------------------|-------------------------------|
| gcc      | compress          | level_1 | enwik7      | 2.43  | 253.70           | 258.72                  | 2.0%                          |
| gcc      | compress          | level_1 | silesia     | 2.88  | 341.90           | 348.15                  | 1.8%                          |
| gcc      | compress_literals | level_1 | enwik7      | 1.49  | 761.83           | 912.76                  | 19.8%                         |
| gcc      | compress_literals | level_1 | silesia     | 1.28  | 754.83           | 902.37                  | 19.5%                         |
| gcc      | compress_literals | level_7 | enwik7      | 1.29  | 502.81           | 552.79                  | 9.9%                          |
| gcc      | compress_literals | level_7 | silesia     | 1.11  | 675.97           | 776.44                  | 14.9%                         |
| clang    | compress          | level_1 | enwik7      | 2.43  | 277.54           | 280.98                  | 1.2%                          |
| clang    | compress          | level_1 | silesia     | 2.88  | 369.98           | 375.46                  | 1.5%                          |
| clang    | compress_literals | level_1 | enwik7      | 1.49  | 828.83           | 918.41                  | 10.8%                         |
| clang    | compress_literals | level_1 | silesia     | 1.28  | 815.81           | 905.41                  | 11.0%                         |
| clang    | compress_literals | level_7 | enwik7      | 1.29  | 533.13           | 553.30                  | 3.8%                          |
| clang    | compress_literals | level_7 | silesia     | 1.11  | 714.52           | 775.38                  | 8.5%                          |

Fix DDSS Load

This PR fixes an incorrect comparison in figuring out `minChain` in
`ZSTD_dedicatedDictSearch_lazy_loadDictionary()`. This incorrect comparison
had been masked by the fact that `idx` was always 1, until @terrelln changed
that in #2726.

Credit-to: OSS-Fuzz

Merge pull request #2726 from terrelln/oss-fuzz-fix

[bug-fix] Fix a determinism bug with the DUBT

[bug-fix] Fix a determinism bug with the DUBT

The DUBT can be non-deterministic if an index is equal to
`ZSTD_DUBT_UNSORTED_MARK`. Ensure that never happens by starting the
indices at 2.

This bug was found by the OSS-Fuzz determinism fuzzer. With this change
the fuzzer test passes. And I've confirmed that this is the root cause,
not just hiding the problem.

Aside: This took me a long time to figure out, because I thought I had
tried this first thing. But, apparantly I messed it up, because when I
was going through it again with @felixhandte, I was pointing out that it
wasn't the case, but it turns out it was.

Credit to: OSS-Fuzz

Merge pull request #2725 from makise-homura/mcst-lcc-support

Add support for MCST LCC compiler

Clarify no-tree-vectorize usage for ICC and LCC

Change zstdcli's main() declaration due to -Wmain on some compilers

Add support for MCST LCC compiler

pzstd: fix linking for static builds

Merge pull request #2717 from binhdvo/bootcamp

Proactively skip huffman compression based on sampling where non-comp…

Merge pull request #2720 from senhuang42/remove_folder

Remove folder when done with test

Remove folder when done with test

Proactively skip huffman compression based on sampling where non-compressibility is suspected

Merge pull request #2655 from heitbaum/patch-1

[trace] remove zstd_trace.c reference from freestanding

Merge pull request #2719 from danlark1/danlark_iwyu

Include what you use in zstd_ldm_geartab

Merge pull request #2689 from danlark1/dev

Optimize zstd decompression by another x%

Include what you use in zstd_ldm_geartab

Add possible improvements for gcc-11

Merge pull request #2716 from facebook/fix2701

remove invalid test

Merge pull request #2715 from senhuang42/sequence_api_3

[RFC] Add internal API for converting ZSTD_Sequence into seqStore

remove invalid test

`--mt` is no longer supported by `zstreamtest`
(relevant API entry point has been removed from `libzstd`).

fix #2701

Add simple API for converting ZSTD_Sequence into seqStore

[lib] Fix libzstd.pc for lib-mt builds

Add the libzstd.pc target to the lib target in lib/Makefile, which makes
it inherit LDFLAGS_DYNLIB from the lib-mt target. This allows us to add
a Libs.private field to libzstd.pc which gets conditionally populated
with '-pthread'.

The 1.5.0 release notes mention that the static library isn't
multi-threaded by default, due to concern for people building static
binaries with libzstd:

   Now the dynamic library supports multi-threaded compression by
   default.  Note that this property is not extended to the static
   library because doing so would have impacted the build script of
   existing client applications (requiring them to add -pthread to their
   recipe), thus potentially breaking their build.

To get closer to being able to enable multi-threading for all library
builds by default, this commit makes it so that any libzstd consumer
using pkg-config gets the correct flags.

We also fix the indentation of the rule for libzstd.pc and move it
outside the if/endif block for install rules (which uses a list of OSs
where the rules were validated), so the rule is available for all users
of the 'lib*' targets.

Merge pull request #2714 from luisdallos/build-macros-typos

lib/Makefile: Fix small typo in ZSTD_FORCE_DECOMPRESS_* build macros

lib/Makefile: Fix small typo in ZSTD_FORCE_DECOMPRESS_* build macros

Merge pull request #2710 from binhdvo/bootcamp

Add option to use logical cores for default threads

Add option to use logical cores for default threads

Merge pull request #2708 from binhdvo/skippable

Add API for fetching skippable frame content

Add API for fetching skippable frame content

Merge pull request #2709 from terrelln/bounds-check-fix

[fix] Add missing bounds checks during compression

[fix] Add missing bounds checks during compression

* The block splitter missed a bounds check, so when the buffer is too small it
  passes an erroneously large size to `ZSTD_entropyCompressSeqStore()`, which
  can then write the compressed data past the end of the buffer. This is a new
  regression in v1.5.0 when the block splitter is enabled. It is either enabled
  explicitly, or implicitly when using the optimal parser and `ZSTD_compress2()`
  or `ZSTD_compressStream*()`.
* `HUF_writeCTable_wksp()` omits a bounds check when calling
  `HUF_compressWeights()`. If it is called with `dstCapacity == 0` it will pass
  an erroneously large size to `HUF_compressWeights()`, which can then write
  past the end of the buffer. This bug has been present for ages. However, I
  believe that zstd cannot trigger the bug, because it never calls
  `HUF_compress*()` with `dstCapacity == 0` because of [this check][1].

Credit to: Oss-Fuzz

[1]: https://github.com/facebook/zstd/blob/89127e5ee2f3c1e141668fa6d4ee91245f05d132/lib/compress/zstd_compress_literals.c#L100

Merge pull request #2705 from binhdvo/bootcamp

Add support for negative values in advanced flags

Add support for negative levels in --adapt=min and --adapt=max"

Z_PREFIX  zError function

When a project use zError function,linker can not find z_zError function

Merge pull request #2702 from felixhandte/human_size_output

Format File Sizes Human-Readable in the CLI

Whitespace Fixes to Improve Cross-Line Alignment

Update Tests to Reflect New Formatting

Convert Other Size Displays to Use Human-Readable Formatting

Switch to Binary Size Prefixes (e.g., "MB" -> "MiB")

Suggested by @aqrit, a little more verbose, but hopefully addresses a real
ambiguity.

Require `-vv` to Enable Full Precision

Apply to Other Print Statement as Well

Fix Whitespace

Change Suffix (e.g., "G" -> " GB")

In Verbose Mode, Preserve Full Precision Where Possible

Fix Integer Constants; Fix Comparison

Avoid `snprintf()` in Preparing Human-Readable Sizes; Improve Formatting

This produces the following formatting:

   Size    | `zstd` | `ls -lh`
---------- | ------ | --------
1          | 1      | 1
12         | 12     | 12
123        | 123    | 123
1234       | 1.21K  | 1.3K
12345      | 12.1K  | 13K
123456     | 121K   | 121K
1234567    | 1.18M  | 1.2M
12345678   | 11.8M  | 12M
123456789  | 118M   | 118M
1234567890 | 1.15G  | 1.2G
999        | 999    | 999
1000       | 1000   | 1000
1001       | 1001   | 1001
1023       | 1023   | 1023
1024       | 1.000K | 1.0K
1025       | 1.00K  | 1.1K
999999     | 977K   | 977K
1000000    | 977K   | 977K
1000001    | 977K   | 977K
1023999    | 1000K  | 1000K
1024000    | 1000K  | 1000K
1024001    | 1000K  | 1001K
1048575    | 1024K  | 1.0M
1048576    | 1.000M | 1.0M
1048577    | 1.00M  | 1.1M

This was produced with the following invocation:

```
for N in 1 12 123 1234 12345 123456 1234567 12345678 123456789 1234567890 999 1000 1001 1023 1024 1025 999999 1000000 1000001 1023999 1024000 1024001 1048575 1048576 1048577; do
  head -c $N /dev/urandom > r$N
done
./zstd -i1 -b1 -S r1 r12 r123 r1234 r12345 r123456 r1234567 r12345678 r123456789 r1234567890 r999 r1000 r1001 r1023 r1024 r1025 r999999 r1000000 r1000001 r1023999 r1024000 r1024001 r1048575 r1048576 r1048577
```

Attempt to fix a failing test with help from @aqrit

Some fixes to address things @felixhandte found

Try enabling the BIG strings now the unsigned long long is in effect

Try unsigned long long

Update humanSize() to skip the big numbers (it requires 64 bit)

Use unsigned long instead to help with some tests

human_size() should use size_t

Convert tabs to spaces

Use human_size() on the "multiple files compressed" output also

Use human_size() in the benchmark output also

Move the variable declarations to the top

Make the variable types match

Convert names to CamelCase

Put the human_size() function in util.c

Make the CLI output the file sizes in human readable format

Merge pull request #2697 from senhuang42/entropy_repeat_fix

[bug] Fix entropy repeat mode bug

Merge pull request #2704 from facebook/revert-2703-bootcamp

Revert "Add support for --long-param flag, fix #2104"

Revert "Add support for --long-param flag, fix #2104"

Merge pull request #2703 from binhdvo/bootcamp

Add support for --long-param flag, fix #2104

Add support for --long-param flag

Merge pull request #2698 from binhdvo/bootcamp

Fix --progress flag to properly control progress display and default …

Merge pull request #2678 from senhuang42/big_endian_no_intrinsics_fuzztest

Fuzzer test with no intrinsics on S390x (big endian)

Merge pull request #2700 from gauthamkrishna9991/update_readme_travis_link

Update README for Travis CI Badge

Update README for Travis CI Badge

### Updating Badge link to the newTravis CI link.
- Update badge root to `api.travis-ci.com` (new)
  from `travis-ci.org` (old), which was migrated.

Flatten ZSTD_row_getMatchMask (#2681)

* Flatten ZSTD_row_getMatchMask

* Remove the SIMD abstraction layer.
* Add big endian support.
* Align `hashTags` within `tagRow` to a 16-byte boundary.
* Switch SSE2 to use aligned reads.
* Optimize scalar path using SWAR.
* Optimize neon path for `n == 32`
* Work around minor clang issue for NEON (https://bugs.llvm.org/show_bug.cgi?id=49577)

* replace memcpy with MEM_readST

* silence alignment warnings

* fix neon casts

* Update zstd_lazy.c

* unify simd preprocessor detection (#3)

* remove duplicate asserts

* tweak rotates

* improve endian detection

* add cast

there is a fun little catch-22 with gcc: result from pmovmskb has to be cast to uint32_t to avoid a zero-extension
but must be uint16_t to get gcc to generate a rotate instruction..

* more casts

* fix casts

better work-around for the (bogus) warning: unary minus on unsigned

Fix --progress flag to properly control progress display and default progress display on when using -v

Add comment for gcc-11

Be C89 compliant and fix alignment for gcc11