Documentation and minor refactor to clarify MT memory management.

Merge pull request #2987 from felixhandte/prepare-v1.5.2

Prepare v1.5.2

Merge pull request #2993 from hjl-tools/hjl/asm/dev

x86-64: Hide internal assembly functions

Merge pull request #2957 from hmaarrfk/fix_cmake_msvc

Fixup MSVC source file inclusion for cmake builds

Merge pull request #2956 from sunwire/fix-tar-test-cases

Fix tar test cases

Merge pull request #2982 from terrelln/decompress-progress-0

Fix stderr progress logging for decompression

x86-64: Hide internal assembly functions

Hide x86-64 internal assembly functions. Before

$ nm -D lib/libzstd.so.1 | grep usingDTable_internal_bmi2_asm_loop
00000000000c23c0 T _HUF_decompress4X1_usingDTable_internal_bmi2_asm_loop
00000000000c23c0 T HUF_decompress4X1_usingDTable_internal_bmi2_asm_loop
00000000000c283d T _HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop
00000000000c283d T HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop
$

After

$ nm -D lib/libzstd.so.1 | grep usingDTable_internal_bmi2_asm_loop
$

This fixes issue #2990.

Update Changelog

Fix stderr progress logging for decompression

When decompressing with `-q` and an output file, the progress bar was mistakenly printed. This is a minimal fix, with a larger refactor to be stacked on top of it.

Fixes #2967.

Update Docs

Bump Version Number to 1.5.2

Merge pull request #2981 from terrelln/asm-license

[license] Fix license header of huf_decompress_amd64.S

[license] Fix license header of huf_decompress_amd64.S

* Add the license header for `huf_decompress_amd64.S`
* Add `.S` files to the `test-license.py` test

Merge pull request #2980 from terrelln/opt-oss-fuzz-fix

[opt] Fix oss-fuzz bug in optimal parser

Merge pull request #2977 from felixhandte/fix-2950

Remove Dependencies to Allow the Zstd Binary to Dynamically Link to the Library

[opt] Fix oss-fuzz bug in optimal parser

oss-fuzz uncovered a scenario where we're evaluating the cost of litLength = 131072,
which can't be represented in the zstd format, so we accessed 1 beyond LL_bits.

Fix the issue by making it cost 1 bit more than litLength = 131071.

There are still follow ups:
1. This happened because literals_cost[0] = 0, so the optimal parser chose 36 literals
   over a match. Should we bound literals_cost[literal] > 0, unless the block truly only
   has one literal value?
2. When no matches are found, the cost model isn't updated. In this case no matches were
   found for an entire block. So the literals cost model wasn't updated at all. That made
   the optimal parser think literals_cost[0] = 0, where it is actually quite high, since
   the block was entirely random noise.

Credit to OSS-Fuzz.

Avoid xxHash Dependency by Inlining

xxHash symbols are present in `libzstd.so`, but they are local and therefore
unavailable outside the lib. There are two possible solutions to the problem.
We could make those symbols global, or we could remove the dependency.

This commit chooses the latter approach. I suppose this comes at the cost of
code size / build time. I'm open to comments on whether this is a good thing
to do, especially since this will apply even when we are statically linking
everything.

Remove Unused Include

Merge pull request #2953 from felixhandte/modulemap-improvements

Improve Module Map File

Add a compile option to explicitely disable assembly

Update the Swift Package Definition to Reflect Move

Improve Module Map File

This commit makes several changes:

1. It adds modules for the dictionary builder and errors headers.
2. It captures all of the macros that are used to configure these headers.
   When the headers are imported as modules and one of these macros is defined
   the compiler issues a warning that it needs to be defined on the CLI.
3. It promotes the modulemap file into the root of the lib directory.
   Experimentation shows that clang's `-fimplicit-module-maps` will find the
   modulemap when placed here, but not when it's put in a subdirectory.

Merge pull request #2964 from felixhandte/noexecstack-all-archs

Mark Huffman Decoder Assembly `noexecstack` on All Architectures

Clean Up Debugging Statements

Restrict `GNU-stack` Note to GNU Assemblers

Write `GNU-stack` Section on All ELF Architectures

Previously we did this only on Linux, which missed other Unices.

Makefiles: Add `noexecstack` Options to Compilation and Linking

Hopefully this marks the binary artifacts `noexecstack` even on platforms
where binaries default to true.

Merge pull request #2972 from terrelln/meson-fix

[meson] Explicitly disable assembly for non clang/gcc copmilers

Merge pull request #2969 from facebook/fix2966_part1

fix performance issue in scenario #2966 (part 1)

[meson] Explicitly disable assembly for non clang/gcc copmilers

After merging #2951 I realized that we will want to explicitly disable
assembly when we aren't including the assembly source file. Otherwise,
if some non clang/gcc compiler does support assembly, it would fail to
build.

Merge pull request #2951 from eli-schwartz/msvc-no-asm

meson: fix MSVC support

Add Test Validating Stack is not Executable in playTests.sh

Updated expression for better readability

fullbench: added compress_freshCCtx scenario

fixed fullbench freshCCtx scenario

fix performance issue in scenario #2966 (part 1)

When re-using a compression state, across multiple successive compressions,
the state should minimize the amount of allocation and initialization required.

This mostly matters in situations where initialization is an overwhelming task
compared to compression itself.
This can happen when the amount to compress is small,
while the compression state was given the impression that it would be much larger,
aka, streaming mode without providing a srcSize hint.

This lean-initialization optimization was broken in 980f3bbf8354edec0ad32b4430800f330185de6a .

This commit fixes it, making this scenario once again on par with v1.4.9.

Note that this does not completely fix #2966,
since another heavy initialization, specific to row mode,
is also happening (and was not present in v1.4.9).
This will be fixed in a separate commit.

fixed backup prototype for POOL_sizeof()

POOL_sizeof() only needs a const read-only reference

Mark Huffman Decoder Assembly `noexecstack` on All Architectures

Apparently, even when the assembly file is empty (because
`ZSTD_ENABLE_ASM_X86_64_BMI2` is false), it still is marked as possibly
needing an executable stack and so the whole library is marked as such. This
commit applies a simple patch for this problem by moving the noexecstack
indication outside the macro guard.

This commit builds on #2857.

This commit addresses #2963.

Merge pull request #2962 from facebook/seqStore_off

Refactor offset+repcode sumtype

use ZSTD_memcpy(), for proper redirection within Linux Kernel

found a few more places which were dependent on seqStore offcode sumtype numeric representation

Merge pull request #2960 from fwessels/patch-1

Fix mini typo

Merge pull request #2954 from facebook/storeSeq_ml

storeSeq & mlBase : clarity refactoring

regroup all mentions of ZSTD_REP_MOVE within zstd_compress_internal.h

fixed minor conversion warnings

abstracted storeSeq() sumtype numeric representation from zstd_lazy.c

abstracted storeSeq() sumtype numeric representation from zstd_opt.c

abstracted storeSeq() sumtype numeric representation from decodecorpus.c

separate newRep() from updateRep()

the new contracts seems to make more sense :
updateRep() updates an array of repeat offsets _in place_,
while newRep() generates a new structure with the updated repeat-offset array.

Most callers are actually expecting the in-place variant,
and a limited sub-section, in `zstd_opt.c` mainly, prefer `newRep()`.

fixed minor typecast warnings

abstracted usage of offBase sumtype within zstd_lazy.c

fixed regression test assert

optLdm->offset might be == 0 in invalid case.
Only use STORE_OFFSET() after validating it's a correct case.

Fix mini typo

created STORED_*() macros

to act on values stored / expressed in the sumtype numeric representation required by `storedSeq()`.

This makes it possible to abstract away this representation by using the macros to extract these values.

First user : ZSTD_updateRep() .

Fixup MSVC source file inclusion for cmake builds

Fix tar test cases

introduce macros STORE_OFFSET() and STORE_REPCODE()

this meant to abstract the sumtype representation required
to transfert `offcode` to `ZSTD_storeSeq()`.

Unfortunately, the sumtype numeric representation is currently a leaky abstraction
that has permeated many other parts of the code,
especially within `zstd_lazy.c` and also within `zstd_opt.c` and `zstd_compress.c`.

While this PR makes a good job a transfering a large nb of call sites
to using the new macros, there are still a few sites where this transformation is more complex,
or where the numeric representation itself it used "as is".

One of the problematics area is the decision to use the numeric format of the sumtype
within the match finders of `zstd_lazy`.

This commit doesn't change the behavior, it only introduces and employes the macros,
but eventually the resulting code remains identical.

At target, if the numeric representation of the sumtype can be completely abstracted
and no other part of the code depends on it,
it will be possible to move it towards something slightly more efficient.

Merge branch 'dev' into seqStore_off

change seqDef.offset into seqDef.offBase

to better reflect the value stored in this field.

library optimization flag can be selected on command line again

`CFLAGS=-O0 make`
will now use `-O0` instead of enforcing `-O3`
which used to be the behavior before introduction of `libzstd.mk`.

This should result in faster tests,
since a few tests depend on this capability for faster roundtrips.

changed seqDef.matchLength into seqDef.mlBase

since this is effectively what is stored in this field (== matchLength - MINMATCH).
This makes it clearer what needs to be done when reading from / writing to this field.

change ZSTD_storeSeq() interface to accept matchLength

instead of mlBase.

This removes the need to do `- MINMATCH` at every call site.

The new interface contract is checked with an `assert()`.

meson: fix MSVC support

Regression from commit a5f2c45528032ed20c33e0f8cd2c163a800a0017. It is
not possible to unconditionally add the asm sources, since not all
compilers understand the .s file extension.

Specifically for meson, only compilers inheriting from the GNU mixin
will allow a .s file at configure time.

zstd doesn't support asm for MSVC for the same basic reason; if/when
Windows asm support is added, it would involve preprocessing with nasm,
most likely.

Merge pull request #2947 from MehdiChinoune/patch-1

Fix zstd-static output name with MINGW/Clang

Fix zstd-static output name with MINGW/Clang

updated manual

update man pages

updated changelog for v1.5.1

Merge pull request #2940 from facebook/revert-2885-limit-level-32bit-systems

Revert "Limit `ZSTD_maxCLevel` to 21 for 32-bit binaries."

Revert "Limit `ZSTD_maxCLevel` to 21 for 32-bit binaries."

Merge pull request #2934 from facebook/lazy_rebalance

rebalance lazy compression levels

Merge branch 'dev' into lazy_rebalance

update regression results

added target update_regressionResults

to automate the creation of updated tests/regression/results.csv

update regression results

update regression results

Merge branch 'dev' into lazy_rebalance

updated regression results.csv

fixed version number for fast modes

forgot the chainlog is effectively a "fake" value with rowHash

the only value which makes sense is `hashlog-1`
as it mimics the real memory usage.

Merge pull request #2931 from facebook/fix_rowlog

fixed incorrect rowlog initialization

updated benchmark for v1.5.1

answers #2764

minor changelog update

minor changelog update

rebalance lazy compression levels

fixed incorrect rowlog initialization

the variable has only very limited usage,
being only used once at the beginning of the block for prefetching only,
hence the error had no impact on compression ratio.

Merge pull request #2925 from embg/dict_training_sample_limit_size

Allow user to specify memory limit for dictionary training

minor changelog update, for clarity

Merge pull request #2929 from facebook/sse_row_lazy

simplify SSE implementation of row_lazy match finder

Merge pull request #2930 from nolange/reduce_tables_to_8bit

Reduce tables to 8bit

Reduce bit tables to 8bit

This saves some 1.7Kb in rodata section (x86_64, zstd tool),
while assembler code stays the same except
the type of a few load/extend instructions.

Should not have negative performance implications.

Add typedefs for 8bit (un)signed

To make code more expressive, add U8 and S8 typedefs

Fix performance degradation with -m32 (#2926)

Allow user to specify memory limit for dictionary training

Merge pull request #2921 from felixhandte/neg-lvl-stagger-step

Stagger Stepping in Negative Levels

roll SSE implementation of row_lazy match finder

mostly for maintenance convenience.

Performance wise, there is very little change,
slightly faster for slog 3 & 4,
neutral or very slightly negative for slot 5 & 6.

Update Regression Tests w/ New Sizes

Increment Step by 1 not 2

I couldn't find a good way to spread `ip0` and `ip1` apart when we accelerate
due to incompressible inputs. (The methods I tried slowed things down quite a
bit.)

Since we aren't splaying ip0 and ip1 apart (which would be like `0_1_2_3_`, as
opposed to the `01__23__` we were actually doing), it's a big ambitious to
increment `step` by 2. Instead, let's increment it by 1, which has the benefit
sliiightly improving compression. Speed remains pretty much unchanged.

Merge pull request #2905 from 15596858998/dev_1205

add test case