Moved ZSTD_getDictID_fromCDict() into stable API

Merge pull request #2574 from senhuang42/repcode_mismatch_detector_fix

Correct the block splitter mismatched repcodes detection.

Merge pull request #2572 from senhuang42/row_hash_hashcache_one_off_error_fix

Adjust nb elements to prefetch in ZSTD_row_fillHashCache()

Adjust nb elements to prefetch in ZSTD_row_fillHashCache()

Correct the detection of mismatched repcodes

Merge pull request #2494 from senhuang42/row_hash2

SIMD Row Based Matchfinder 🚀

Update results.csv, add Row hash to regression test

Add and integrate lazy row hash strategy

Move clevel override to after initLocalDict() (#2571)

Maintain two repcode histories for block splitting, replace invalid repcodes (#2569)

Fix dictionary force reloading clevel selection (#2570)

* Move cdict clevel override to before localdict init

* Update results.csv after dict load changes

Merge pull request #2541 from ihsinme/patch-1

simple fix for using bit operator.

Stop complaining about hash tool not found

If build_dir is set the zstd build complains about md5sum not being found.
Fix this by checking if build_dir is set before checking and using the hash tool
just like in lib/Makefile .

[cwksp] Align all allocated "tables" and "aligneds" to 64 bytes (#2546)

* Perform 64-byte alignment of wksp tables and aligneds internally

* Clean up cwskp_finalize() function to only do two allocs

* Refactor aligned/buffer reservation code, remove ASAN req for alignment reservations

* Change from allocating 128 bytes always to allocating only buffer space as needed for tables/aligned

* Back out aligned/table reservation order restriction

* Add stricter bounds for new/resized wksps, fix comment in zstd_cwksp.h

Fix repcode-related OSS-fuzz issues in block splitter (#2560)

* Do not emit last partitions of blocks as RLE/uncompressed

* Fix repcode updates within block splitter

* Add a entropytables confirm function, redo ZSTD_confirmRepcodesAndEntropyTables() for better function signature

* Add a repcode updater to block splitter, no longer need to force emit compressed blocks

[contrib][linux-kernel] Add zstd_min_clevel() and zstd_max_clevel()

[copyright][license] Switch to yearless copyright and some cleanup in the linux-kernel files

* Switch to yearless copyright per FB policy
* Fix up SPDX-License-Identifier lines in `contrib/linux-kernel` sources
* Add zstd copyright/license header to the `contrib/linux-kernel` sources
* Update the `tests/test-license.py` to check for yearless copyright
* Improvements to `tests/test-license.py`
* Check `contrib/linux-kernel` in `tests/test-license.py`

Merge pull request #2561 from senhuang42/longlength_enum

Add enum for representing long length ID

Add enum for representing long length ID

Merge pull request #2559 from senhuang42/add_dict_regression_tests_backup

Add different dict modes to compression ratio regression test, update results.csv

Update results.csv

Merge pull request #2558 from senhuang42/msan_block_splitter_fix

Fix block splitter minor MSAN warning.

Restrict dictmode regression tests only to advanced API, fix some compiler warnings

Add tests to regression tests for dict

Merge pull request #2555 from senhuang42/default_clevel_func

Add ZSTD_defaultCLevel() function to public API

Add clang msan fuzz test to github actions

Move lastCountSize into a returned struct, fix MSAN error

Add ZSTD_defaultCLevel() function to public API

Merge pull request #2539 from terrelln/linux-kernel-fixes

Fixes for the next linux kernel patch version

Merge pull request #2447 from senhuang42/block_splitter_v2

Recursive block splitting

Merge pull request #2554 from facebook/fix2553

fix man page typo

Rename *compressSequences*() functions for clarity

Add a fallback in case the total blocksize of split blocks exceeds raw block size

Enable block splitter by default when applicable

Clean up various functions, add debuglogging for estimate vs. actual sizes

Fix various fuzzer failures: repcode history, superblocks

Change 1.3.4 bugfix to be cross-compatible with superblocks and normal compression

Refactor buildSequencesStatistics() to avoid pointer increment for superblocks

Add unit tests and fuzzer param

Add recursive block split algorithm

Update function names for consistency

Add block splitter to experimental params

Refactor block compression logic into single function

Centralize entropy statistics calculations to zstd_compress.c

fix man page typo

fix #2553 detected by @jwilk

Merge pull request #2538 from senhuang42/monotonicity_test

Add memory monotonicity test over srcSize

Merge pull request #2524 from terrelln/huf-stack-reduction

[huf] Reduce stack usage of HUF_readDTableX2 by ~972 bytes

[FSE] Clean up workspace using dynamically sized struct

Merge pull request #2550 from facebook/vvv_srcSize

fix #2549

Make ZSTD_estimateCCtxSize_internal() loop through all srcSize parameter sets as well

fix #2549

Merge pull request #2548 from SupervisedThinking/build_fix

meson: fix build by adding missing files

meson: fix build by adding missing files

fixes https://github.com/facebook/zstd/issues/2519

Merge pull request #2540 from senhuang42/fix_dds_supported

Fix dedicated dict search isSupported() requirements.

[huf][fse] Clean up workspaces

* Move `counting` to a struct in `FSE_decompress_wksp_body()`
* Fix error code in `FSE_decompress_wksp_body()`
* Rename a variable in `HUF_ReadDTableX2_Workspace`

simple fix for using bit operator.

good day.
It seems to me that the developer intended to use a logical operator.
so I suggest a simple fix.

Fix ZSTD_dedicatedDictSearch_isSupported() requirements

Add a nbSeq argument to compressSequences()
Refactor ZSTD_compressBlock_internal() to do the block header write within and add nbSeq argument to compressSequences()

Move block header write into compressBlock_internal()

[lib] Bump zstd version number

[lib][tracing] Add ZSTD_NO_TRACE macro

When defined, it disables tracing, and avoids including the header.

[contrib][freestanding] Remove tracing support

Remove tracing support from `freestanding.py` to keep things simple.

[contrib][linux] Expose zstd headers to avoid duplication

Expose the zstd headers in `include/linux` to avoid struct duplication.
This makes the member names not follow Kernel style guidelines, and
exposes the zstd symbols. But, the LMKL reviewers are okay with that.

[contrib][linux-kernel] Update test include stubs

Update the test include stubs so they are able to run the current zstd
version in the kernel, so I can compare stack usage.

[contrib][linux-kernel] Fix unaligned.h

Fix the `unaligned.h` shim in the tests that was causing corruption in
the tests. Note that this is a problem with the test shim, not the
kernel code.

Merge pull request #2534 from foxeng/fix-seek-descriptor-check

Fix seek table descriptor check when loading

Add mem monotonicity test over srcSize

Merge pull request #2535 from felixhandte/gha-release-artifacts

Add GitHub Action to Automatically Publish Release Tarballs

Allow a Passphrase on the Key

Maintain Artifact Name Backwards Compatibility

When the tag is `v1.2.3`, name the artifacts `zstd-1.2.3.tar*` rather than
`zstd-v1.2.3.tar*`. When the tag doesn't match, use the full tag.

Run generic-dev:gcc-8-asan-ubsan-testzstd on latest Ubuntu

Remove CircleCI Artifact Generation

Fix seekable test to provide valid descriptor

Fix seek table descriptor check when loading

Add GitHub Action to Automatically Publish Release Tarballs

This commit introduces a GitHub action that is triggered on release creation,
which creates the release tarball, compresses it, hashes it, signs it, and
attaches all of those files to the release.

Merge pull request #2517 from PaulBone/num_cores

Make the number of physical CPU cores detection more robust

Merge pull request #2521 from animalize/doc_free

doc: ZSTD_free*() functions accept NULL pointer

[fse] Reduce stack usage of FSE_decompress_wksp() by 512 bytes

* Move `counting` into the workspace
* Inrease `HUF_DECOMPRESS_WORKSPACE_SIZE` by 512 bytes

[huf] Reduce stack usage of HUF_readDTableX2 by ~460 bytes

* Use `HUF_readStats_wksp()`
* Use workspace in `HUF_fillDTableX2*()`
* Clean up workspace usage to use a workspace struct

Merge pull request #2523 from terrelln/huf-stack-reduction

Add HUF_writeCTable_wksp() function

Add HUF_writeCTable_wksp() function

This saves ~700 bytes of stack space in HUF_writeCTable.

Merge pull request #2522 from terrelln/stack-reduction

Reduce stack usage of ZSTD_buildCTable()

Reduce stack usage of ZSTD_buildCTable()

It is a stack high-point for some compression strategies and has an easy
fix. This moves the normalized count into the entropy workspace.

Merge pull request #2518 from facebook/seekTable

New direct seekTable access methods

added code comments for new API ZSTD_seekTable

Merge branch 'seekTable' of github.com:facebook/zstd into seekTable

doc: ZSTD_free*() functions accept NULL pointer

added test case for seekTable API

and simple roundtrip test

fixed gcc-7 conversion warning

fixed wrong assert condition

fixed gcc conversion warnings

Merge branch 'dev' into seekTable

Merge pull request #2516 from senhuang42/seekable_hang_fix

Seekable hang fix

various minor style fixes

Only set numPhysicalCores if ratio is valid

If cpuinfo parsing fails fallback to sysconf

strengthen compilation flags

fixed const guarantees

read-only objects are properly const-ified in parameters

fix potential leak on exit

Fix seekable decompress hanging