[lib] Add ZSTD_c_deterministicRefPrefix

This flag forces zstd to always load the prefix in ext-dict mode, even
if it happens to be contiguous, to force determinism. It also applies to
dictionaries that are re-processed.

A determinism test case is also added, which fails without
`ZSTD_c_deterministicRefPrefix` and passes with it set.

Question: Should this be the default behavior? It isn't in this PR.

Merge pull request #2613 from felixhandte/allow-block-device

Allow Reading from Block Devices with `--force`

updated documentation regarding minimum job size

seekable decompression fixes (#2594)

* seekable_format: fix from-file reading (not in-memory)

It tries to check the buffer boundary, but there is no buffer for
from-file reading.

* seekable_decompression: break when ZSTD_seekable_decompress() returns zero

* seekable_decompression_mem: break when ZSTD_seekable_decompress() returns zero

* seekable_format: cap the offset+len up to the last dOffset

This will allow to read the whole file w/o gotting corruption error if
the offset is more then the data left in file, i.e.:

    $ ./seekable_compression seekable_compression.c 8192 | head
    $ zstd -cdq seekable_compression.c.zst | wc -c
    4737

Before this patch:

    $ ./seekable_decompression seekable_compression.c.zst 0 10000000 | wc -c
    ZSTD_seekable_decompress() error : Corrupted block detected
    0

After:

    $ ./seekable_decompression seekable_compression.c.zst 0 10000000 | wc -c
    4737

Merge pull request #2611 from facebook/smallerJobs

allow jobSize to be as low as 512 KB

Merge pull request #2602 from terrelln/ldm-opt

[LDM] Speed optimization on repetitive data

Merge pull request #2610 from senhuang42/lazy_underflow_fix

Fix bad integer wraparound in repcode index for fast, dfast, lazy

Merge pull request #2607 from terrelln/deterministic-dict

[lib] Always load the dictionary in one go

[test] Add large dict/data --patch-from test

Dictionary size must be > `ZSTD_CHUNKSIZE_MAX`.

Fix incorrect usages of repIndex across all strategies

[lib] Always load the dictionary in one go

Dictionaries larger than `ZSTD_CHUNKSIZE_MAX` used to have to be loaded
in multiple segments. Instead, when we detect large dictionaries, ensure
that we reset the context's indicies. Then, for dictionaries larger than
`ZSTD_CURRENT_MAX - 1`, only load the suffix of the dictionary. Finally,
enable DDS for large dictionaries, since we no longer load in multiple
segments.

This simplifes the dictionary loading code, and reduces opportunities
for non-determinism to slip in.

fix rsyncable mode

Add Test Case (Behind Flag); Run in GitHub Action

Merge pull request #2612 from terrelln/minor-fix

[easy] Rewrite rowHashLog computation

Allow Reading from Block Devices with `--force`

Merge pull request #2608 from facebook/docMinVer

Documented minimum version numbers

[easy] Rewrite rowHashLog computation

`ZSTD_highbit32(1u << x) == x` when it isn't undefined behavior.

Merge pull request #2597 from terrelln/public-headers

[1.5.0] Move `zstd_errors.h` and `zdict.h` to `lib/` root

Merge pull request #2609 from felixhandte/md5sum-darwin

Detect Presence of `md5` on Darwin

allow jobSize to be as low as 512 KB

previous lower limit was 1 MB.

Note : by default, the lowest job size is 2 MB, achieved at level 1.
Even lower job sizes can be achieved by manipulating this value directly,
or manually modifying window sizes to lower amounts.

Updated unit test to ensure that this new limit works fine
(test would fail with previous 1 MB limit).

[LDM] Speed optimization on repetitive data

LDM does especially poorly on repetitive data when that data's hash happens
to have `(hash & stopMask) == 0`. Either because the `stopMask == 0` or
random chance. Optimize this case by skipping over repetitive patterns.
The detection is very simplistic, but should catch most of the offending
cases.

```
head -c 1G /dev/zero | perf stat -- ./zstd -1 -o /dev/null -v --zstd=ldmHashRateLog=1 --long
      21.187881087 seconds time elapsed

head -c 1G /dev/zero | perf stat -- ./zstd -1 -o /dev/null -v --zstd=ldmHashRateLog=1 --long
       1.149707921 seconds time elapsed

```

Detect Presence of `md5` on Darwin

This fixes #2568.

Documented minimum version numbers

Any stable API entry point introduced after v1.0
should be documented with its minimum version number.

Since PR fixes this requirement
updating mostly new entry points since v1.4.0
and newly introduced ones for future v1.5.0.

Merge pull request #2606 from terrelln/test-memory

[tests] Reduce memory usage of MT CLI tests

Merge pull request #2603 from terrelln/reduce-indices-fuzzer

Bug fix & run overflow correction much more frequently in tests

[tests] Reduce memory usage of MT CLI tests

Switch from `-T0` to the default `-T1` which significantly reduces
memory usage for level 19 when there are many cores. This fixes
32-bit issues of running out of address space.

Fixes #2603.

Bug fix & run overflow correction much more frequently in tests

* Fix overflow correction when `windowLog < cycleLog`. Previously, we
  got the correction wrong in this case, and our chain tables and binary
  trees would be corrupted. Now, we work as long as `maxDist` is a power
  of two, by adding `MAX(maxDist, cycleSize)` to our indices.
* When `ZSTD_WINDOW_OVERFLOW_CORRECT_FREQUENTLY` is defined to non-zero
  run overflow correction as frequently as allowed without impacting
  compression ratio.
* Enable `ZSTD_WINDOW_OVERFLOW_CORRECT_FREQUENTLY` in `fuzzer` and
  `zstreamtest` as well as all the OSS-Fuzz fuzzers. This has a 5-10%
  speed penalty at most, which seems reasonable.

Merge pull request #2598 from senhuang42/reduce_index_rowhash_fix

Fix chaintable check to include rowhash in ZSTD_reduceIndex()

Merge pull request #2581 from senhuang42/lcm_stable

[1.5.0] Promote ZSTD_c_literalCompressionMode to stable params

Merge pull request #2580 from senhuang42/defaultclevel_to_stable

[1.5.0] Promote ZSTD_defaultCLevel() into stable API

Fix chaintable check to include rowhash in ZSTD_reduceIndex()

[1.5.0] Move `zstd_errors.h` and `zdict.h` to `lib/` root

`zstd_errors.h` and `zdict.h` are public headers, so they deserve to be
in the root `lib/` directory with `zstd.h`, not mixed in with our private
headers.

Merge pull request #2593 from terrelln/linux-comments

[linux-kernel] Replace kernel-style comments

[linux-kernel] Replace kernel-style comments

Replace kernel-style comments with regular comments.

E.g.

```
/** Before */

/* After */

/**
 * Before
 */

/*
 * After
 */

/***********************************
 * Before
 ***********************************/

/* *********************************
 * After
 ***********************************/
```

Merge pull request #2589 from terrelln/tracing

[trace] Remove default definitions of weak symbols

Merge pull request #2588 from senhuang42/update_regressiontest

[regressiontest] Update results.csv

[trace] Remove default definitions of weak symbols

Instead of providing a default no-op implementation, check the symbols
for `NULL` before accessing them. Providing a default implementation
doesn't reliably work with dynamic linking. Depending on link order the
default implementations may not be overridden. By skipping the default
implementation, all link order issues are resolved. If the symbols
aren't provided the weak function will be `NULL`.

Update results.csv

Merge pull request #2579 from senhuang42/getcdictID_to_stable

[1.5.0] Promote ZSTD_getDictID_fromCDict() into stable API

Add literalCompressionMode to stable cParams

Merge pull request #2586 from senhuang42/dds_fuzz

Add DDS to oss fuzzer

Apply DDS adjustments to avoid assert failures

Add DDS to oss fuzzer

Merge pull request #2583 from senhuang42/remove_zbuff

[1.5.0] Remove ZBUFF

Remove ZBUFF tests

Remove building of ZBUFF/deprecated folder by default

Moved ZSTD_defaultCLevel() into stable API

Moved ZSTD_getDictID_fromCDict() into stable API

Merge pull request #2574 from senhuang42/repcode_mismatch_detector_fix

Correct the block splitter mismatched repcodes detection.

Merge pull request #2572 from senhuang42/row_hash_hashcache_one_off_error_fix

Adjust nb elements to prefetch in ZSTD_row_fillHashCache()

Adjust nb elements to prefetch in ZSTD_row_fillHashCache()

Correct the detection of mismatched repcodes

Merge pull request #2494 from senhuang42/row_hash2

SIMD Row Based Matchfinder 🚀

Update results.csv, add Row hash to regression test

Add and integrate lazy row hash strategy

Move clevel override to after initLocalDict() (#2571)

Maintain two repcode histories for block splitting, replace invalid repcodes (#2569)

Fix dictionary force reloading clevel selection (#2570)

* Move cdict clevel override to before localdict init

* Update results.csv after dict load changes

Merge pull request #2541 from ihsinme/patch-1

simple fix for using bit operator.

Stop complaining about hash tool not found

If build_dir is set the zstd build complains about md5sum not being found.
Fix this by checking if build_dir is set before checking and using the hash tool
just like in lib/Makefile .

[cwksp] Align all allocated "tables" and "aligneds" to 64 bytes (#2546)

* Perform 64-byte alignment of wksp tables and aligneds internally

* Clean up cwskp_finalize() function to only do two allocs

* Refactor aligned/buffer reservation code, remove ASAN req for alignment reservations

* Change from allocating 128 bytes always to allocating only buffer space as needed for tables/aligned

* Back out aligned/table reservation order restriction

* Add stricter bounds for new/resized wksps, fix comment in zstd_cwksp.h

Fix repcode-related OSS-fuzz issues in block splitter (#2560)

* Do not emit last partitions of blocks as RLE/uncompressed

* Fix repcode updates within block splitter

* Add a entropytables confirm function, redo ZSTD_confirmRepcodesAndEntropyTables() for better function signature

* Add a repcode updater to block splitter, no longer need to force emit compressed blocks

[contrib][linux-kernel] Add zstd_min_clevel() and zstd_max_clevel()

[copyright][license] Switch to yearless copyright and some cleanup in the linux-kernel files

* Switch to yearless copyright per FB policy
* Fix up SPDX-License-Identifier lines in `contrib/linux-kernel` sources
* Add zstd copyright/license header to the `contrib/linux-kernel` sources
* Update the `tests/test-license.py` to check for yearless copyright
* Improvements to `tests/test-license.py`
* Check `contrib/linux-kernel` in `tests/test-license.py`

Merge pull request #2561 from senhuang42/longlength_enum

Add enum for representing long length ID

Add enum for representing long length ID

Merge pull request #2559 from senhuang42/add_dict_regression_tests_backup

Add different dict modes to compression ratio regression test, update results.csv

Update results.csv

Merge pull request #2558 from senhuang42/msan_block_splitter_fix

Fix block splitter minor MSAN warning.

Restrict dictmode regression tests only to advanced API, fix some compiler warnings

Add tests to regression tests for dict

Merge pull request #2555 from senhuang42/default_clevel_func

Add ZSTD_defaultCLevel() function to public API

Add clang msan fuzz test to github actions

Move lastCountSize into a returned struct, fix MSAN error

Add ZSTD_defaultCLevel() function to public API

Merge pull request #2539 from terrelln/linux-kernel-fixes

Fixes for the next linux kernel patch version

Merge pull request #2447 from senhuang42/block_splitter_v2

Recursive block splitting

Merge pull request #2554 from facebook/fix2553

fix man page typo

Rename *compressSequences*() functions for clarity

Add a fallback in case the total blocksize of split blocks exceeds raw block size

Enable block splitter by default when applicable

Clean up various functions, add debuglogging for estimate vs. actual sizes

Fix various fuzzer failures: repcode history, superblocks

Change 1.3.4 bugfix to be cross-compatible with superblocks and normal compression

Refactor buildSequencesStatistics() to avoid pointer increment for superblocks

Add unit tests and fuzzer param

Add recursive block split algorithm

Update function names for consistency

Add block splitter to experimental params

Refactor block compression logic into single function

Centralize entropy statistics calculations to zstd_compress.c

fix man page typo

fix #2553 detected by @jwilk

Merge pull request #2538 from senhuang42/monotonicity_test

Add memory monotonicity test over srcSize

Merge pull request #2524 from terrelln/huf-stack-reduction

[huf] Reduce stack usage of HUF_readDTableX2 by ~972 bytes

[FSE] Clean up workspace using dynamically sized struct

Merge pull request #2550 from facebook/vvv_srcSize

fix #2549

Make ZSTD_estimateCCtxSize_internal() loop through all srcSize parameter sets as well

fix #2549

Merge pull request #2548 from SupervisedThinking/build_fix

meson: fix build by adding missing files

meson: fix build by adding missing files

fixes https://github.com/facebook/zstd/issues/2519