codemod: ZSTD_sequenceFormat_e -> ZSTD_SequenceFormat_e

since it's a type name.

Note: in contrast with previous names, this one is on the Public API side.
So there is a #define, so that existing programs using ZSTD_sequenceFormat_e still work.

created ZSTD_entropyCompressSeqStore_wExtLitBuffer()

can receive externally defined buffer of literals

ZSTD_entropyCompressSeqStore_internal() can accept an externally defined literals buffer

codemod: ZSTD_defaultPolicy_e -> ZSTD_DefaultPolicy_e

codemod: symbolEncodingType_e -> SymbolEncodingType_e

codemod: ZSTD_sequenceLength -> ZSTD_SequenceLength

codemod: seqStore_t -> SeqStore_t

same idea, SeqStore_t is a type name, it should start with a Capital letter.

codemod: seqDef -> SeqDef

SeqDef is a type name, so it should start with a Capital letter.
It's an internal symbol, no impact on public API.

move Sequences definition to zstd_compress_internal.h

they should not be in common/zstd_internal.h,
since these definitions are not shared beyond lib/compress/.

created ZSTD_storeSeqOnly()

makes it possible to register a sequence without copying its literals.

publish new symbol ZSTD_compressSequencesAndLiterals()

removed debug echos

added UNAME_TARGET_SYSTEM build flag to configure shared lib flags

Merge pull request #4212 from diegonc/t/fix-test-on-gnuhurd

tests: fix non-regular file test on GNU/Hurd

Merge pull request #4213 from kevinjzhang/CI

Move sanitizer CI jobs back to ubuntu-latest

Merge pull request #4214 from facebook/ldm_bucketLog

minor: more accurate parameter for `ZSTD_ldm_insertEntry()`

minor: more accurate parameter

just pass ldm_bucketLog, instead of the entire ldm* state

Merge pull request #4210 from facebook/cm310

Update cmake minimum requirement to 3.10

Revert "Pin tsan and msan CI jobs to ubuntu-20.04 (#3945)"

This reverts commit ee6acaf26bbf842837513087c91776b83d4d9560.

Update VERSION_LESS usage to VERSION_GREATER_THAN

Change CLI to employ multithreading by default (#4211)

* Change CLI to employ multithreading by default

* Document changes to benchmarking, print number of threads for display level >= 4, and add lower bound of 1 for the default number of threads

tests: fix non-regular file test on GNU/Hurd

Since commit b21b03ca6 [1] the behaviour of writes to /dev/zero has been
fixed and now the non-regular file removal test no longer needs to be
done on /dev/random (which no longer works as random is not writable now).

[1] https://git.savannah.gnu.org/cgit/hurd/hurd.git/commit/?id=b21b03ca624b89caeedfe58430cea4b40317d39f

Update cmake minimum requirement to 3.10

CMake warns on the current minimum requirement (3.5). Update to 3.10.
This means support is still available for the default on Ubuntu 18.04, which
exited LTS standard in April of 2023.
[draft]

Merge pull request #4208 from facebook/dependabot/github_actions/msys2/setup-msys2-2.26.0

Bump msys2/setup-msys2 from 2.25.0 to 2.26.0

Bump msys2/setup-msys2 from 2.25.0 to 2.26.0

Bumps [msys2/setup-msys2](https://github.com/msys2/setup-msys2) from 2.25.0 to 2.26.0.
- [Release notes](https://github.com/msys2/setup-msys2/releases)
- [Changelog](https://github.com/msys2/setup-msys2/blob/main/CHANGELOG.md)
- [Commits](https://github.com/msys2/setup-msys2/compare/c52d1fa9c7492275e60fe763540fb601f5f232a1...d44ca8e88d8b43d56cf5670f91747359d5537f97)

---
updated-dependencies:
- dependency-name: msys2/setup-msys2
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Disallow 32-bit mode in clang section

Fix register %rbx is only available in 64-bit mode

Merge pull request #4201 from rorosen/seek-table-create-null-check

prevent possible segfault when creating seek table

Merge pull request #4202 from nhz2/fix-compressBound-typo

Fix typo in ZSTD_compressBound docs

Merge pull request #4205 from DimitriPapadopoulos/codespell

Fix new typos found by codespell

Fix new typos found by codespell

Merge pull request #4199 from jimis/fix_filesize_print

Fix printing of filesize if >4GB

prevent possible segfault when creating seek table

Add a check whether the seek table of a `ZSTD_seekable` is initialized
before creating a new seek table from it. Return `NULL`, if the check
fails.

Fix typo in ZSTD_compressBound docs

Fix printing of filesize if >4GB

Merge pull request #4196 from facebook/dependabot/github_actions/msys2/setup-msys2-2.25.0

Bump msys2/setup-msys2 from 2.24.1 to 2.25.0

Bump msys2/setup-msys2 from 2.24.1 to 2.25.0

Bumps [msys2/setup-msys2](https://github.com/msys2/setup-msys2) from 2.24.1 to 2.25.0.
- [Release notes](https://github.com/msys2/setup-msys2/releases)
- [Changelog](https://github.com/msys2/setup-msys2/blob/main/CHANGELOG.md)
- [Commits](https://github.com/msys2/setup-msys2/compare/ddf331adaebd714795f1042345e6ca57bd66cea8...c52d1fa9c7492275e60fe763540fb601f5f232a1)

---
updated-dependencies:
- dependency-name: msys2/setup-msys2
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #4191 from lukaso/fix-macos-min-version-sdk-path

cmake: Fix #4038 MacOS target older OS and SDK versions

Merge pull request #4194 from facebook/dependabot/github_actions/github/codeql-action-3.27.1

Bump github/codeql-action from 3.26.2 to 3.27.1

Bump github/codeql-action from 3.26.2 to 3.27.1

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.26.2 to 3.27.1.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/429e1977040da7a23b6822b13c129cd1ba93dbb2...4f3212b61783c3c68e8309a0f18a699764811cda)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #4188 from facebook/qnx_include

blind fix for QNX

cmake: Fix #4038 MacOS target older OS and SDK versions

This fix ensures that when `MACOSX_DEPLOYMENT_TARGET` and `SDKROOT` are set, they are respected when building the libraries and executables.

blind fix for QNX

following notification from @rainbowball.
fix #4186.

Note: there is currently no QNX compilation test in CI
so this is a "blind" fix,
and this target can be silently broken again in the future.

Merge pull request #4184 from facebook/ZSTD_getErrorCode

elevated ZSTD_getErrorCode() to stable status

inform manual users that it's automatically generated

suggested by @Eugeny1

fixed single file library test

copy "zstd_errors.h" alongside "zstd.h" to pass compilation test.

elevated ZSTD_getErrorCode() to stable status

answering #4183

Merge pull request #4180 from facebook/split_param

Block splitter control parameter

change experimental parameter name

from ZSTD_c_useBlockSplitter to ZSTD_c_splitAfterSequences.

changed variable name to ZSTD_c_blockSplitterLevel

suggested by @terrelln

removed trace left over

fixed minor conversion warning

added a test

test both that the new parameter works as intended,
and that the over-split protection works as intended

expose new parameter ZSTD_c_blockSplitter_level

add internal compression parameter preBlockSplitter_level

not yet exposed to the interface.

Also: renames `useBlockSplitter` to `postBlockSplitter`
to better qualify the difference between the 2 settings.

Merge pull request #4178 from facebook/split_fromBorders

Add fastest block-splitter variant

update regression results

update ZSTD_splitBlock() documentation

new block splitting variant _fromBorders

less precise but still suitable for `fast` strategy.

Merge pull request #4176 from facebook/sample11

Added faster block splitter variants for levels 3-7

update regression results

add faster block splitting heuristic, suitable for dfast strategy

fix minor visual conversion warning

added block splitter variant for greedy & lazy (levels 5 to 7)

complete sample11 with reduced fingerprint size

reduce splitBlock arguments

organize specialization at recordFingerprint level

new variant, sampling by 11

Merge pull request #4136 from facebook/preSplit

Block splitter

update regression results

first block is no longer splitted since adding the @savings over-split protection

apply limit conditions for all splitting strategies

instead of just for blind split.

This is in anticipation of adversarial input,
that would intentionally target the sampling pattern of the split detector.

Note that, even without this protection, splitting can never expand beyond ZSTD_COMPRESSBOUND(),
because this upper limit uses a 1KB block size worst case scenario,
and splitting never creates blocks thath small.

The protection is more to ensure that data is not expanded by more than 3-bytes per 128 KB full block,
which is a much stricter limit.

update regression results

stricter limits to ensure expansion factor with blind-split strategy

issue reported by @terrelln

split all full 128 KB blocks

this helps make the streaming behavior more consistent,
since it does no longer depend on having more data presented on the input.

suggested by @terrelln

rewrite fingerprint storage to no longer need 64-bit members

so that it can be stored using standard alignment requirement (sizeof(void*)).

Distance function still requires 64-bit signed multiplication though,
so it won't change the issue regarding the bug in ubsan for clang 32-bit on github ci.

fixed minor strict pedantic C90 issue

fixed extraneous return

strict C90 compliance test

updated compression results

due to integration of `sample5` strategy, leading to better compression ratios on a range of levels

fixes static state allocation check

detected by @felixhandte

rewrote ZSTD_cwksp_initialAllocStart() to be easier to read

following a discussion with @felixhandte

rewrite penalty update

suggested by @terrelln

changed loop exit condition so that there is no need to assert() within the loop.

renamed: FingerPrint => Fingerprint

suggested by @terrelln

conservatively estimate over-splitting in presence of incompressible loss

ensure data can never be expanded by more than 3 bytes per full block.

ensure `lastBlock` is correctly determined

reported by @terrelln

made ZSTD_isPower2() an inline function

added a faster block splitter variant

that samples 1 in 5 positions.

This variant is fast enough for lazy2 and btlazy2,
but it's less good in combination with post-splitter at higher levels (>= btopt).

minor split optimization

let's fill the initial stats directly into target fingerprint

updated regression test results

fixed workspace alignment on non 64-bit systems

splitter workspace is now provided by ZSTD_CCtx*

fix alignment test

for non 64-bit systems

fixed minor conversion warnings on Visual

ZSTD_splitBlock_4k() uses externally provided workspace

ideally, this workspace would be provided from the ZSTD_CCtx* state

replaced uasan32 test by asan32 test

fixing minor formatting issue in 32-bit mode with logs enabled

fixed VS2010 solution

new Makefile target mesonbuild

for easier local testing

fixed meson build

fixed zstreamtest

fixed c90 comment style