[linux] Expose ZSTD_compressSequencesAndLiterals() in the kernel

Make the function ZSTD_compressSequencesAndLiterals() available in kernel
space. This will be used by Intel QAT driver.

Additionally, (1) expose the function ZSTD_CCtx_setParameter(), which is
required to set parameters before calling ZSTD_compressSequencesAndLiterals(),
(2) update the build process to include `compress/zstd_preSplit.o` and
(3) replace `asm/unaligned.h` with `linux/unaligned.h`.

Signed-off-by: Giovanni Cabiddu <giovanni.cabiddu@intel.com>

Merge pull request #4266 from pps83/rm-ZSTD_decompressSequences_t

Remove unused ZSTD_decompressSequences_t typedef

Remove unused ZSTD_decompressSequences_t typedef

Merge pull request #4263 from pps83/dev-dyn-bmi2

Check `DYNAMIC_BMI2` instead of `DYNAMIC_BMI2 != 0`

Check `DYNAMIC_BMI2` instead of `DYNAMIC_BMI2 != 0`

`#if DYNAMIC_BMI2` is consistent with the rest of the code.

 + use spaces instead of tabs

Merge pull request #4257 from pps83/dev-x64test

Use _M_X64 only without mixing with _M_AMD64

Merge pull request #4258 from pps83/dev-ZSTD_ALIGNED

Implement ZSTD_ALIGNED for ms compiler

Merge pull request #4259 from Treata11/dev

Add support for Apple framework builds

Instructions for Apple Framework builds

Build: Revert min version to 3.10

Ignore generated framework artifacts

Signed-off-by: Treata11 <treata11@yahoo.com>

Build: Add support for Apple frameworks

Signed-off-by: Treata11 <treata11@yahoo.com>

Implement ZSTD_ALIGNED for ms compiler

Use _M_X64 only without mixing with _M_AMD64

Merge pull request #4255 from facebook/dependabot/github_actions/github/codeql-action-3.28.1

Bump github/codeql-action from 3.27.1 to 3.28.1

Merge pull request #4254 from facebook/dependabot/github_actions/cygwin/cygwin-install-action-5

Bump cygwin/cygwin-install-action from 4 to 5

Update dev-short-tests.yml

specify cygwin action version

Bump github/codeql-action from 3.27.1 to 3.28.1

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.27.1 to 3.28.1.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/4f3212b61783c3c68e8309a0f18a699764811cda...b6a472f63d85b9c78a3ac5e89422239fc15e9b3c)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump cygwin/cygwin-install-action from 4 to 5

Bumps [cygwin/cygwin-install-action](https://github.com/cygwin/cygwin-install-action) from 4 to 5.
- [Release notes](https://github.com/cygwin/cygwin-install-action/releases)
- [Commits](https://github.com/cygwin/cygwin-install-action/compare/006ad0b0946ca6d0a3ea2d4437677fa767392401...f61179d72284ceddc397ed07ddb444d82bf9e559)

---
updated-dependencies:
- dependency-name: cygwin/cygwin-install-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #4253 from facebook/BitContainerType

minor: use BitContainerType when appropriate

Merge pull request #4252 from facebook/x32_dynamicBmi2

enable DYNAMIC_BMI2 by default on x86 (32-bit mode)

minor: generalize BitContainerType

technically equivalent to `size_t`,
but it's the proper type for underlying register representation.

This makes it possible to control register type, and therefore size, independently from `size_t`,
which can be useful on systems where `size_t` is 32-bit, while the architecture supports 64-bit registers.

enable DYNAMIC_BMI2 by default on x86 (32-bit mode)

so far was only enabled for x64 (64-bit mode)

Merge pull request #4251 from facebook/x32_bmi2

BMI2 detection in 32-bit mode

no longer limit automated BMI2 detection to x64

this was previously no triggered in x86 32-bit mode,
due to a limitation in `bitstream.h`, that was fixed in #4248.

Now, `bmi2` will be automatically detected and triggered
at compilation time, if the corresponding instruction set is enabled,
even in 32-bit mode.

Also: updated library documentation, to feature STATIC_BMI2 build variable

Merge pull request #4250 from facebook/x86_32_avx2

added a CI test for x86 32-bit + avx2 combination

also add `-mbmi2` to the compilation test

minor: cosmetic, indentation

added -DSTATIC_BMI2=1 for the -mavx2 test

fixed minor static function declaration issue

in AVX2 mode only

added avx2 (x64) compilation test

added a CI test for x86 32-bit + avx2 combination

which is expected to be quite rare, but nonetheless possible.

This test is initially expected to fail, before integration of #4248 fix

Merge pull request #4248 from pps83/dev-bzhi32

Use _bzhi_u32 for 32-bit builds when building with STATIC_BMI2

Merge pull request #4246 from pps83/dev-asmx64-win

[asm] Enable x86_64 asm for windows builds

Merge pull request #4249 from facebook/zds_nonnull

minor: assert that state is not null

update sizeof check

remove unrelated changes

change to BitContainerType

handle 32bit size_t when building for x64

handle 32bit size_t when building for x64

minor: assert that state is not null

replaces #4016

Merge pull request #4247 from facebook/test_endMsg

Added a human-readable final success message at end of tests

CI: replaced shortest target by check

Use _bzhi_u32 for 32-bit builds when building with STATIC_BMI2

`_bzhi_u64` is available only for 64-bit builds, while `BIT_getLowerBits` expects `nbBits` to be less than `BIT_MASK_SIZE` (`BIT_MASK_SIZE` is 32)

[asm] Enable x86_64 asm for windows builds

Added a final success message at end of tests

so that a human reading the test log can determine everything was fine without consulting the shell error code.

Also: made `make check` slightly shorter by moving one longer test to `make test`

Merge pull request #4242 from lalakii/dev

add prerelease option

Merge pull request #4235 from facebook/bench_nbThreads

benchmark mode specifies nb of threads with -v

Merge pull request #4238 from szsam/patch-1

fix out-of-bounds array index access

Merge pull request #4232 from facebook/convertSequences_SSE

Improve speed of ZSTD_compressSequencesAndLiterals() using AVX2

restore full equation

do not solve the equation, even though some members cancel each other,
this is done for clarity,
we'll let the compiler do the resolution at compile time.

Alignment instruction ZSTD_ALIGNED() in common/compiler.h

changed code compilation test to employ ZSTD_ARCH_X86_AVX2

removed unused branch

create new compilation macro ZSTD_ARCH_X86_AVX2

minor code doc update

added compilation-time checks to ensure AVX2 code is valid

since it depends on a specific definition of ZSTD_Sequence structure.

removed unused variable

fix minor conversion warning

no need for specialized variant

the branch is not in the hot loop

removed erroneous #includes

that were automatically added by the editor without notification

AVX2 version of ZSTD_get1BlockSummary()

minor +10% speed improvement for scalar ZSTD_get1BlockSummary()

added benchmark for get1BlockSummary()

generalize validation function

control long length within AVX2 implementation

fullbench can run a verification function

compressSequencesAndLiterals: fixed long lengths in scalar mode

initial implementation (incomplete)

needs to take care of long lengths > 65535

Merge pull request #4243 from facebook/fix_ci

fix ci tests

fixed zlib test

new versions of the library generate a different error code

zlib-wrapper: separate test components to better understand what is failing

update installed lib64gcc version

short-test-1: separate tests, giving each a name

to better observe where the problem might be

fixed cmake-build-and-test-check

missing the liblzma library

fix make-external-compressors "only-lzma" test

missing the liblzma-dev package

fix meson-linux build test

missing the liblzma package

fix clang-pgo test

Merge pull request #4234 from MessyHack/dev

[MSVC] Wrong define checked when building for 64bit with Visual Studio

Merge pull request #4237 from facebook/typo_s

fixed an obvious macro name typo

add prerelease option

return error if block delimiter is not found

[contrib/pzstd] Prevent hangs when there are errors

When two threads are using a WorkQueue and the reader thread exits due
to an error, it must call WorkQueue::finish() to wake up the writer
thread. Otherwise, if the queue is full and the writer thread is waiting
for a free slot, it could hang forever.

This can happen in pratice when decompressing a large, corrupted file
that does not contain pzstd skippable frames.

fix out-of-bounds array index access

fixed macro name typo

bench: nb threads specified with -v

should check defined(_M_X64) not defined(_M_X86) when building with MSVC.

_M_X86 is only defined under MSVC 32Bit
_M_X64 is only defined under MSVC 64Bit

Merge pull request #4218 from facebook/externC

Move #includes out of `extern "C"` blocks

Merge pull request #4231 from sunpoet/dev

Update MANDIR for FreeBSD

Merge pull request #4230 from facebook/variedOutput

Do not vary row matchfinder selection based on availability of SSE2/Neon

Update MANDIR for FreeBSD

share/man became a valid path for manpage since Jan 2020. And we
converted the whole ports tree to share/man around last March.

Do not vary row matchfinder selection based on availability of SSE2/Neon

Move towards a stronger guarantee of reproducibility by removing this small difference for machines without SSE2/Neon.
The SIMD behavior is now the default for all platforms.

[opt] Fix too short of match getting generated

The optimal parser with LDM enabled using minMatch > 3 could generate a match
length of 3 when minMatch >= 4. This is not allowed.

1. Fix the bug
2. Add validation logic to `ZSTD_buildSeqStore()` in debug mode for all block
   compressors that checks we never generate too short a match. This way we don't
   rely on the `generate_sequences` fuzzer to find this issue.

Credit to OSS-Fuzz

Merge pull request #4229 from facebook/noFseek

Support for libc variants without fseeko/ftello

chore: indentation alignment

PR feedback

Oops

Support for libc variants without fseeko/ftello

Some older Android libc implementations don't support `fseeko` or `ftello`.
This commit adds a new compile-time macro `LIBC_NO_FSEEKO` as well as a usage in CMake for old Android APIs.

Merge pull request #4228 from facebook/skippableMagicVariant

ZSTD_getFrameHeader() for skippable frames

update type names

naming convention: Type names should start with a Capital letter (after the prefix)

Merge pull request #4227 from facebook/doc_skippableFrame

clarify documentation for Frame-level methods invoked on a skippable frame