fixed zlib test

new versions of the library generate a different error code

zlib-wrapper: separate test components to better understand what is failing

update installed lib64gcc version

short-test-1: separate tests, giving each a name

to better observe where the problem might be

fixed cmake-build-and-test-check

missing the liblzma library

fix make-external-compressors "only-lzma" test

missing the liblzma-dev package

fix meson-linux build test

missing the liblzma package

fix clang-pgo test

Merge pull request #4234 from MessyHack/dev

[MSVC] Wrong define checked when building for 64bit with Visual Studio

Merge pull request #4237 from facebook/typo_s

fixed an obvious macro name typo

[contrib/pzstd] Prevent hangs when there are errors

When two threads are using a WorkQueue and the reader thread exits due
to an error, it must call WorkQueue::finish() to wake up the writer
thread. Otherwise, if the queue is full and the writer thread is waiting
for a free slot, it could hang forever.

This can happen in pratice when decompressing a large, corrupted file
that does not contain pzstd skippable frames.

fixed macro name typo

should check defined(_M_X64) not defined(_M_X86) when building with MSVC.

_M_X86 is only defined under MSVC 32Bit
_M_X64 is only defined under MSVC 64Bit

Merge pull request #4218 from facebook/externC

Move #includes out of `extern "C"` blocks

Merge pull request #4231 from sunpoet/dev

Update MANDIR for FreeBSD

Merge pull request #4230 from facebook/variedOutput

Do not vary row matchfinder selection based on availability of SSE2/Neon

Update MANDIR for FreeBSD

share/man became a valid path for manpage since Jan 2020. And we
converted the whole ports tree to share/man around last March.

Do not vary row matchfinder selection based on availability of SSE2/Neon

Move towards a stronger guarantee of reproducibility by removing this small difference for machines without SSE2/Neon.
The SIMD behavior is now the default for all platforms.

[opt] Fix too short of match getting generated

The optimal parser with LDM enabled using minMatch > 3 could generate a match
length of 3 when minMatch >= 4. This is not allowed.

1. Fix the bug
2. Add validation logic to `ZSTD_buildSeqStore()` in debug mode for all block
   compressors that checks we never generate too short a match. This way we don't
   rely on the `generate_sequences` fuzzer to find this issue.

Credit to OSS-Fuzz

Merge pull request #4229 from facebook/noFseek

Support for libc variants without fseeko/ftello

chore: indentation alignment

PR feedback

Oops

Support for libc variants without fseeko/ftello

Some older Android libc implementations don't support `fseeko` or `ftello`.
This commit adds a new compile-time macro `LIBC_NO_FSEEKO` as well as a usage in CMake for old Android APIs.

Merge pull request #4228 from facebook/skippableMagicVariant

ZSTD_getFrameHeader() for skippable frames

update type names

naming convention: Type names should start with a Capital letter (after the prefix)

Merge pull request #4227 from facebook/doc_skippableFrame

clarify documentation for Frame-level methods invoked on a skippable frame

improve ZSTD_getFrameHeader on skippable frames

now reports:
- the header size
- the magic variant (within @dictID field)

clarify doc on Frame-level methods when invoked on a skippable frame

following discussion at #4226

Merge pull request #4217 from facebook/ZSTD_compressSequencesAndLiterals

ZSTD_compressSequencesAndLiterals

fixed another invalid scenario

compressSequencesAndLiterals() doesn't support sequence validation

add one valid test case

ZSTD_compressSequencesAndLiterals() may return a specific error code
when data to compress is non-compressible.

added fuzzer test for compressSequencesAndLiterals()

piggy-backing onto existing compressSequences() fuzzer test

[cmake] Fix -z noexecstack portability

Summary:
Issue reported by @ryandesign and @MarcusCalhoun-Lopez.

CMake doesn't support spaces in flags. This caused older versions of gcc to
ignore the unknown flag "-z noexecstack" on MacOS since it was interpreted as a
single flag, not two separate flags. Then, during compilation it was treated as
"-z" "noexecstack", which was correctly forwarded to the linker. But the MacOS
linker does not support `-z noexecstack` so compilation failed.

The fix is to use `-Wl,-z,noexecstack`. This is never misinterpreted by a
compiler. However, not all compilers support this syntax to forward flags to the
linker. To fix this issue, we check if all the relevant `noexecstack` flags have
been successfully set, and if they haven't we disable assembly.

See also PR#4056 and PR#4061. I decided to go a different route because this is
simpler. It might not successfully set these flags on some compilers, but in that
case it also disables assembly, so they aren't required.

Test Plan:
```
mkdir build-cmake
cmake ../build/cmake/CMakeLists.txt
make -j
```

See that the linker flag is successfully detected & that assembly is enabled.

Run the same commands on MacOS which doesn't support `-Wl,-z,noexecstack` and see
that everything compiles and that `LD_FLAG_WL_Z_NOEXECSTACK` and
`ZSTD_HAS_NOEXECSTACK` are both false.

restore invocation of ZSTD_entropyCompressSeqStore()

in the ZSTD_compressSequences() pipeline

minor: use MEM_writeLE24()

so that an empty frame needs only 3 bytes of dstCapacity.

added parameter litCapacity

to ZSTD_compressSequencesAndLiterals()
to enforce the litCapacity >= litSize+8 condition.

add a check, to return an error if Sequence validation is enabled

since ZSTD_compressSequencesAndLiterals() doesn't support it.

fixed minor error in preparation of one fullbench scenario

ensure that srcSize is controlled

add dedicated error code for special case

ZSTD_compressSequencesAndLiterals() cannot produce an uncompressed block

added a test for ZSTD_compressSequencesAndLiterals

checks that srcSize is present in the frame header
and bounds the window size.

ZSTD_compressSequencesAndLiterals requires srcSize as parameter

this makes it possible to adjust windowSize to its tightest.

fixed minor error in one benchmark scenario

fixed minor conversion warning

improved speed of the Sequences converter

added benchmark for ZSTD_convertBlockSequences_wBlockDelim()

change name to ZSTD_convertSequences*()

attempt to silence Visual Studio warning about fopen()

fixed incorrect assert

removed fullbench-dll project from visual solutions

update Visual Studio solutions

added tests

check that ZSTD_compressAndLiterals() also controls that the `srcSize` field is exact.

ZSTD_compressSequencesAndLiterals() now supports multi-blocks frames.

change advanced parameter name: ZSTD_c_repcodeResolution

and updated its documentation.
Note: older name ZSTD_c_searchForExternalRepcodes remains supported via #define

minor: cleaner function parameter repcodeResolution

updated documentation on validateSequence

optimization: instantiate specialized version without Sequence checking code

results in +4% compression speed,
thanks to removal of branches in the hot loop.

minor optimization: only track seqPos->posInSrc when validateSequences is enabled

note: very minor saving, no performance impact

minor doc update

minor optimization for ZSTD_compressSequencesAndLiterals()

does not need to track and update internal `litPtr`.
note: does not measurably impact performance.

minor conversion warning fix

fullbench: new scenario: compressSequencesAndLiterals()

fullbench: switch default generator to lorem ipsum

which creates more "realistic" scenarios than former compressible noise.

The legacy data generator remains accessible,
it is triggered when requesting an explicit compressibility factor (-P#).

add the compressSequences() benchmark scenario

fullbench: preparation functions are now in charge of allocating buffers

minor variable renaming

minor: test reordering

refactor fullbench

to make it easier to add new scenarios

prepare fullbench for a refactor

added unit tests to ZSTD_compressSequencesAndLiterals()

seems to work as expected,
correctly control that `litSize` and `srcSize` are exactly correct.

produced ZSTD_compressSequencesAndLiterals() as a separate pipeline

only supports explicit delimiter mode, at least for the time being

minor: more accurate variable scope

ZSTD_SequenceCopier_f no returns the nb of bytes consumed from input

which feels much more natural

codemod: ZSTD_cParamMode_e -> ZSTD_CParamMode_e

codemod: ZSTD_paramSwitch_e -> ZSTD_ParamSwitch_e

minor simplification

fix minor artifact error in single_file_lib

doc: add mention of frame checksum incompatibility

for new prototype ZSTD_compressSequencesAndLiterals()

codemod: ZSTD_blockCompressor -> ZSTD_BlockCompressor_f

codemod: rawSeqStore_t -> RawSeqStore_t

codemod: repcodes_t -> Repcodes_t

codemod: ZSTD_matchState_t -> ZSTD_MatchState_t

codemod: ZSTD_buildSeqStore_e -> ZSTD_BuildSeqStore_e

codemod: ZSTD_sequencePosition -> ZSTD_SequencePosition

enable proper type

fix proper type for .forceNonContiguous

scope: ZSTD_copySequencesToSeqStore*() are private to ZSTD_compress.c

no need to publish them outside of this unit.

minor: simplify ZSTD_selectSequenceCopier

codemod: ZSTD_sequenceCopier -> ZSTD_SequenceCopier_f

codemod: ZSTD_sequenceFormat_e -> ZSTD_SequenceFormat_e

since it's a type name.

Note: in contrast with previous names, this one is on the Public API side.
So there is a #define, so that existing programs using ZSTD_sequenceFormat_e still work.

created ZSTD_entropyCompressSeqStore_wExtLitBuffer()

can receive externally defined buffer of literals

ZSTD_entropyCompressSeqStore_internal() can accept an externally defined literals buffer

codemod: ZSTD_defaultPolicy_e -> ZSTD_DefaultPolicy_e

codemod: symbolEncodingType_e -> SymbolEncodingType_e

codemod: ZSTD_sequenceLength -> ZSTD_SequenceLength

codemod: seqStore_t -> SeqStore_t

same idea, SeqStore_t is a type name, it should start with a Capital letter.

codemod: seqDef -> SeqDef

SeqDef is a type name, so it should start with a Capital letter.
It's an internal symbol, no impact on public API.

move Sequences definition to zstd_compress_internal.h

they should not be in common/zstd_internal.h,
since these definitions are not shared beyond lib/compress/.

created ZSTD_storeSeqOnly()

makes it possible to register a sequence without copying its literals.