Do not vary row matchfinder selection based on availability of SSE2/Neon

Move towards a stronger guarantee of reproducibility by removing this small difference for machines without SSE2/Neon.
The SIMD behavior is now the default for all platforms.

[opt] Fix too short of match getting generated

The optimal parser with LDM enabled using minMatch > 3 could generate a match
length of 3 when minMatch >= 4. This is not allowed.

1. Fix the bug
2. Add validation logic to `ZSTD_buildSeqStore()` in debug mode for all block
   compressors that checks we never generate too short a match. This way we don't
   rely on the `generate_sequences` fuzzer to find this issue.

Credit to OSS-Fuzz

Merge pull request #4229 from facebook/noFseek

Support for libc variants without fseeko/ftello

chore: indentation alignment

PR feedback

Oops

Support for libc variants without fseeko/ftello

Some older Android libc implementations don't support `fseeko` or `ftello`.
This commit adds a new compile-time macro `LIBC_NO_FSEEKO` as well as a usage in CMake for old Android APIs.

Merge pull request #4228 from facebook/skippableMagicVariant

ZSTD_getFrameHeader() for skippable frames

update type names

naming convention: Type names should start with a Capital letter (after the prefix)

Merge pull request #4227 from facebook/doc_skippableFrame

clarify documentation for Frame-level methods invoked on a skippable frame

improve ZSTD_getFrameHeader on skippable frames

now reports:
- the header size
- the magic variant (within @dictID field)

clarify doc on Frame-level methods when invoked on a skippable frame

following discussion at #4226

Merge pull request #4217 from facebook/ZSTD_compressSequencesAndLiterals

ZSTD_compressSequencesAndLiterals

fixed another invalid scenario

compressSequencesAndLiterals() doesn't support sequence validation

add one valid test case

ZSTD_compressSequencesAndLiterals() may return a specific error code
when data to compress is non-compressible.

added fuzzer test for compressSequencesAndLiterals()

piggy-backing onto existing compressSequences() fuzzer test

[cmake] Fix -z noexecstack portability

Summary:
Issue reported by @ryandesign and @MarcusCalhoun-Lopez.

CMake doesn't support spaces in flags. This caused older versions of gcc to
ignore the unknown flag "-z noexecstack" on MacOS since it was interpreted as a
single flag, not two separate flags. Then, during compilation it was treated as
"-z" "noexecstack", which was correctly forwarded to the linker. But the MacOS
linker does not support `-z noexecstack` so compilation failed.

The fix is to use `-Wl,-z,noexecstack`. This is never misinterpreted by a
compiler. However, not all compilers support this syntax to forward flags to the
linker. To fix this issue, we check if all the relevant `noexecstack` flags have
been successfully set, and if they haven't we disable assembly.

See also PR#4056 and PR#4061. I decided to go a different route because this is
simpler. It might not successfully set these flags on some compilers, but in that
case it also disables assembly, so they aren't required.

Test Plan:
```
mkdir build-cmake
cmake ../build/cmake/CMakeLists.txt
make -j
```

See that the linker flag is successfully detected & that assembly is enabled.

Run the same commands on MacOS which doesn't support `-Wl,-z,noexecstack` and see
that everything compiles and that `LD_FLAG_WL_Z_NOEXECSTACK` and
`ZSTD_HAS_NOEXECSTACK` are both false.

restore invocation of ZSTD_entropyCompressSeqStore()

in the ZSTD_compressSequences() pipeline

minor: use MEM_writeLE24()

so that an empty frame needs only 3 bytes of dstCapacity.

added parameter litCapacity

to ZSTD_compressSequencesAndLiterals()
to enforce the litCapacity >= litSize+8 condition.

add a check, to return an error if Sequence validation is enabled

since ZSTD_compressSequencesAndLiterals() doesn't support it.

fixed minor error in preparation of one fullbench scenario

ensure that srcSize is controlled

add dedicated error code for special case

ZSTD_compressSequencesAndLiterals() cannot produce an uncompressed block

added a test for ZSTD_compressSequencesAndLiterals

checks that srcSize is present in the frame header
and bounds the window size.

ZSTD_compressSequencesAndLiterals requires srcSize as parameter

this makes it possible to adjust windowSize to its tightest.

fixed minor error in one benchmark scenario

fixed minor conversion warning

improved speed of the Sequences converter

added benchmark for ZSTD_convertBlockSequences_wBlockDelim()

change name to ZSTD_convertSequences*()

attempt to silence Visual Studio warning about fopen()

fixed incorrect assert

removed fullbench-dll project from visual solutions

update Visual Studio solutions

added tests

check that ZSTD_compressAndLiterals() also controls that the `srcSize` field is exact.

ZSTD_compressSequencesAndLiterals() now supports multi-blocks frames.

change advanced parameter name: ZSTD_c_repcodeResolution

and updated its documentation.
Note: older name ZSTD_c_searchForExternalRepcodes remains supported via #define

minor: cleaner function parameter repcodeResolution

updated documentation on validateSequence

optimization: instantiate specialized version without Sequence checking code

results in +4% compression speed,
thanks to removal of branches in the hot loop.

minor optimization: only track seqPos->posInSrc when validateSequences is enabled

note: very minor saving, no performance impact

minor doc update

minor optimization for ZSTD_compressSequencesAndLiterals()

does not need to track and update internal `litPtr`.
note: does not measurably impact performance.

minor conversion warning fix

fullbench: new scenario: compressSequencesAndLiterals()

fullbench: switch default generator to lorem ipsum

which creates more "realistic" scenarios than former compressible noise.

The legacy data generator remains accessible,
it is triggered when requesting an explicit compressibility factor (-P#).

add the compressSequences() benchmark scenario

fullbench: preparation functions are now in charge of allocating buffers

minor variable renaming

minor: test reordering

refactor fullbench

to make it easier to add new scenarios

prepare fullbench for a refactor

added unit tests to ZSTD_compressSequencesAndLiterals()

seems to work as expected,
correctly control that `litSize` and `srcSize` are exactly correct.

produced ZSTD_compressSequencesAndLiterals() as a separate pipeline

only supports explicit delimiter mode, at least for the time being

minor: more accurate variable scope

ZSTD_SequenceCopier_f no returns the nb of bytes consumed from input

which feels much more natural

codemod: ZSTD_cParamMode_e -> ZSTD_CParamMode_e

codemod: ZSTD_paramSwitch_e -> ZSTD_ParamSwitch_e

minor simplification

fix minor artifact error in single_file_lib

doc: add mention of frame checksum incompatibility

for new prototype ZSTD_compressSequencesAndLiterals()

codemod: ZSTD_blockCompressor -> ZSTD_BlockCompressor_f

codemod: rawSeqStore_t -> RawSeqStore_t

codemod: repcodes_t -> Repcodes_t

codemod: ZSTD_matchState_t -> ZSTD_MatchState_t

codemod: ZSTD_buildSeqStore_e -> ZSTD_BuildSeqStore_e

codemod: ZSTD_sequencePosition -> ZSTD_SequencePosition

enable proper type

fix proper type for .forceNonContiguous

scope: ZSTD_copySequencesToSeqStore*() are private to ZSTD_compress.c

no need to publish them outside of this unit.

minor: simplify ZSTD_selectSequenceCopier

codemod: ZSTD_sequenceCopier -> ZSTD_SequenceCopier_f

codemod: ZSTD_sequenceFormat_e -> ZSTD_SequenceFormat_e

since it's a type name.

Note: in contrast with previous names, this one is on the Public API side.
So there is a #define, so that existing programs using ZSTD_sequenceFormat_e still work.

created ZSTD_entropyCompressSeqStore_wExtLitBuffer()

can receive externally defined buffer of literals

ZSTD_entropyCompressSeqStore_internal() can accept an externally defined literals buffer

codemod: ZSTD_defaultPolicy_e -> ZSTD_DefaultPolicy_e

codemod: symbolEncodingType_e -> SymbolEncodingType_e

codemod: ZSTD_sequenceLength -> ZSTD_SequenceLength

codemod: seqStore_t -> SeqStore_t

same idea, SeqStore_t is a type name, it should start with a Capital letter.

codemod: seqDef -> SeqDef

SeqDef is a type name, so it should start with a Capital letter.
It's an internal symbol, no impact on public API.

move Sequences definition to zstd_compress_internal.h

they should not be in common/zstd_internal.h,
since these definitions are not shared beyond lib/compress/.

created ZSTD_storeSeqOnly()

makes it possible to register a sequence without copying its literals.

publish new symbol ZSTD_compressSequencesAndLiterals()

removed debug echos

added UNAME_TARGET_SYSTEM build flag to configure shared lib flags

Merge pull request #4212 from diegonc/t/fix-test-on-gnuhurd

tests: fix non-regular file test on GNU/Hurd

Merge pull request #4213 from kevinjzhang/CI

Move sanitizer CI jobs back to ubuntu-latest

Merge pull request #4214 from facebook/ldm_bucketLog

minor: more accurate parameter for `ZSTD_ldm_insertEntry()`

minor: more accurate parameter

just pass ldm_bucketLog, instead of the entire ldm* state

Merge pull request #4210 from facebook/cm310

Update cmake minimum requirement to 3.10

Revert "Pin tsan and msan CI jobs to ubuntu-20.04 (#3945)"

This reverts commit ee6acaf26bbf842837513087c91776b83d4d9560.

Update VERSION_LESS usage to VERSION_GREATER_THAN

Change CLI to employ multithreading by default (#4211)

* Change CLI to employ multithreading by default

* Document changes to benchmarking, print number of threads for display level >= 4, and add lower bound of 1 for the default number of threads

tests: fix non-regular file test on GNU/Hurd

Since commit b21b03ca6 [1] the behaviour of writes to /dev/zero has been
fixed and now the non-regular file removal test no longer needs to be
done on /dev/random (which no longer works as random is not writable now).

[1] https://git.savannah.gnu.org/cgit/hurd/hurd.git/commit/?id=b21b03ca624b89caeedfe58430cea4b40317d39f

Update cmake minimum requirement to 3.10

CMake warns on the current minimum requirement (3.5). Update to 3.10.
This means support is still available for the default on Ubuntu 18.04, which
exited LTS standard in April of 2023.
[draft]

Merge pull request #4208 from facebook/dependabot/github_actions/msys2/setup-msys2-2.26.0

Bump msys2/setup-msys2 from 2.25.0 to 2.26.0

Bump msys2/setup-msys2 from 2.25.0 to 2.26.0

Bumps [msys2/setup-msys2](https://github.com/msys2/setup-msys2) from 2.25.0 to 2.26.0.
- [Release notes](https://github.com/msys2/setup-msys2/releases)
- [Changelog](https://github.com/msys2/setup-msys2/blob/main/CHANGELOG.md)
- [Commits](https://github.com/msys2/setup-msys2/compare/c52d1fa9c7492275e60fe763540fb601f5f232a1...d44ca8e88d8b43d56cf5670f91747359d5537f97)

---
updated-dependencies:
- dependency-name: msys2/setup-msys2
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Disallow 32-bit mode in clang section

Fix register %rbx is only available in 64-bit mode

Merge pull request #4201 from rorosen/seek-table-create-null-check

prevent possible segfault when creating seek table