Use _M_X64 only without mixing with _M_AMD64

Merge pull request #4251 from facebook/x32_bmi2

BMI2 detection in 32-bit mode

no longer limit automated BMI2 detection to x64

this was previously no triggered in x86 32-bit mode,
due to a limitation in `bitstream.h`, that was fixed in #4248.

Now, `bmi2` will be automatically detected and triggered
at compilation time, if the corresponding instruction set is enabled,
even in 32-bit mode.

Also: updated library documentation, to feature STATIC_BMI2 build variable

Merge pull request #4250 from facebook/x86_32_avx2

added a CI test for x86 32-bit + avx2 combination

also add `-mbmi2` to the compilation test

minor: cosmetic, indentation

added -DSTATIC_BMI2=1 for the -mavx2 test

fixed minor static function declaration issue

in AVX2 mode only

added avx2 (x64) compilation test

added a CI test for x86 32-bit + avx2 combination

which is expected to be quite rare, but nonetheless possible.

This test is initially expected to fail, before integration of #4248 fix

Merge pull request #4248 from pps83/dev-bzhi32

Use _bzhi_u32 for 32-bit builds when building with STATIC_BMI2

Merge pull request #4246 from pps83/dev-asmx64-win

[asm] Enable x86_64 asm for windows builds

Merge pull request #4249 from facebook/zds_nonnull

minor: assert that state is not null

update sizeof check

remove unrelated changes

change to BitContainerType

handle 32bit size_t when building for x64

handle 32bit size_t when building for x64

minor: assert that state is not null

replaces #4016

Merge pull request #4247 from facebook/test_endMsg

Added a human-readable final success message at end of tests

CI: replaced shortest target by check

Use _bzhi_u32 for 32-bit builds when building with STATIC_BMI2

`_bzhi_u64` is available only for 64-bit builds, while `BIT_getLowerBits` expects `nbBits` to be less than `BIT_MASK_SIZE` (`BIT_MASK_SIZE` is 32)

[asm] Enable x86_64 asm for windows builds

Added a final success message at end of tests

so that a human reading the test log can determine everything was fine without consulting the shell error code.

Also: made `make check` slightly shorter by moving one longer test to `make test`

Merge pull request #4242 from lalakii/dev

add prerelease option

Merge pull request #4235 from facebook/bench_nbThreads

benchmark mode specifies nb of threads with -v

Merge pull request #4238 from szsam/patch-1

fix out-of-bounds array index access

Merge pull request #4232 from facebook/convertSequences_SSE

Improve speed of ZSTD_compressSequencesAndLiterals() using AVX2

restore full equation

do not solve the equation, even though some members cancel each other,
this is done for clarity,
we'll let the compiler do the resolution at compile time.

Alignment instruction ZSTD_ALIGNED() in common/compiler.h

changed code compilation test to employ ZSTD_ARCH_X86_AVX2

removed unused branch

create new compilation macro ZSTD_ARCH_X86_AVX2

minor code doc update

added compilation-time checks to ensure AVX2 code is valid

since it depends on a specific definition of ZSTD_Sequence structure.

removed unused variable

fix minor conversion warning

no need for specialized variant

the branch is not in the hot loop

removed erroneous #includes

that were automatically added by the editor without notification

AVX2 version of ZSTD_get1BlockSummary()

minor +10% speed improvement for scalar ZSTD_get1BlockSummary()

added benchmark for get1BlockSummary()

generalize validation function

control long length within AVX2 implementation

fullbench can run a verification function

compressSequencesAndLiterals: fixed long lengths in scalar mode

initial implementation (incomplete)

needs to take care of long lengths > 65535

Merge pull request #4243 from facebook/fix_ci

fix ci tests

fixed zlib test

new versions of the library generate a different error code

zlib-wrapper: separate test components to better understand what is failing

update installed lib64gcc version

short-test-1: separate tests, giving each a name

to better observe where the problem might be

fixed cmake-build-and-test-check

missing the liblzma library

fix make-external-compressors "only-lzma" test

missing the liblzma-dev package

fix meson-linux build test

missing the liblzma package

fix clang-pgo test

Merge pull request #4234 from MessyHack/dev

[MSVC] Wrong define checked when building for 64bit with Visual Studio

Merge pull request #4237 from facebook/typo_s

fixed an obvious macro name typo

add prerelease option

return error if block delimiter is not found

[contrib/pzstd] Prevent hangs when there are errors

When two threads are using a WorkQueue and the reader thread exits due
to an error, it must call WorkQueue::finish() to wake up the writer
thread. Otherwise, if the queue is full and the writer thread is waiting
for a free slot, it could hang forever.

This can happen in pratice when decompressing a large, corrupted file
that does not contain pzstd skippable frames.

fix out-of-bounds array index access

fixed macro name typo

bench: nb threads specified with -v

should check defined(_M_X64) not defined(_M_X86) when building with MSVC.

_M_X86 is only defined under MSVC 32Bit
_M_X64 is only defined under MSVC 64Bit

Merge pull request #4218 from facebook/externC

Move #includes out of `extern "C"` blocks

Merge pull request #4231 from sunpoet/dev

Update MANDIR for FreeBSD

Merge pull request #4230 from facebook/variedOutput

Do not vary row matchfinder selection based on availability of SSE2/Neon

Update MANDIR for FreeBSD

share/man became a valid path for manpage since Jan 2020. And we
converted the whole ports tree to share/man around last March.

Do not vary row matchfinder selection based on availability of SSE2/Neon

Move towards a stronger guarantee of reproducibility by removing this small difference for machines without SSE2/Neon.
The SIMD behavior is now the default for all platforms.

[opt] Fix too short of match getting generated

The optimal parser with LDM enabled using minMatch > 3 could generate a match
length of 3 when minMatch >= 4. This is not allowed.

1. Fix the bug
2. Add validation logic to `ZSTD_buildSeqStore()` in debug mode for all block
   compressors that checks we never generate too short a match. This way we don't
   rely on the `generate_sequences` fuzzer to find this issue.

Credit to OSS-Fuzz

Merge pull request #4229 from facebook/noFseek

Support for libc variants without fseeko/ftello

chore: indentation alignment

PR feedback

Oops

Support for libc variants without fseeko/ftello

Some older Android libc implementations don't support `fseeko` or `ftello`.
This commit adds a new compile-time macro `LIBC_NO_FSEEKO` as well as a usage in CMake for old Android APIs.

Merge pull request #4228 from facebook/skippableMagicVariant

ZSTD_getFrameHeader() for skippable frames

update type names

naming convention: Type names should start with a Capital letter (after the prefix)

Merge pull request #4227 from facebook/doc_skippableFrame

clarify documentation for Frame-level methods invoked on a skippable frame

improve ZSTD_getFrameHeader on skippable frames

now reports:
- the header size
- the magic variant (within @dictID field)

clarify doc on Frame-level methods when invoked on a skippable frame

following discussion at #4226

Merge pull request #4217 from facebook/ZSTD_compressSequencesAndLiterals

ZSTD_compressSequencesAndLiterals

fixed another invalid scenario

compressSequencesAndLiterals() doesn't support sequence validation

add one valid test case

ZSTD_compressSequencesAndLiterals() may return a specific error code
when data to compress is non-compressible.

added fuzzer test for compressSequencesAndLiterals()

piggy-backing onto existing compressSequences() fuzzer test

[cmake] Fix -z noexecstack portability

Summary:
Issue reported by @ryandesign and @MarcusCalhoun-Lopez.

CMake doesn't support spaces in flags. This caused older versions of gcc to
ignore the unknown flag "-z noexecstack" on MacOS since it was interpreted as a
single flag, not two separate flags. Then, during compilation it was treated as
"-z" "noexecstack", which was correctly forwarded to the linker. But the MacOS
linker does not support `-z noexecstack` so compilation failed.

The fix is to use `-Wl,-z,noexecstack`. This is never misinterpreted by a
compiler. However, not all compilers support this syntax to forward flags to the
linker. To fix this issue, we check if all the relevant `noexecstack` flags have
been successfully set, and if they haven't we disable assembly.

See also PR#4056 and PR#4061. I decided to go a different route because this is
simpler. It might not successfully set these flags on some compilers, but in that
case it also disables assembly, so they aren't required.

Test Plan:
```
mkdir build-cmake
cmake ../build/cmake/CMakeLists.txt
make -j
```

See that the linker flag is successfully detected & that assembly is enabled.

Run the same commands on MacOS which doesn't support `-Wl,-z,noexecstack` and see
that everything compiles and that `LD_FLAG_WL_Z_NOEXECSTACK` and
`ZSTD_HAS_NOEXECSTACK` are both false.

restore invocation of ZSTD_entropyCompressSeqStore()

in the ZSTD_compressSequences() pipeline

minor: use MEM_writeLE24()

so that an empty frame needs only 3 bytes of dstCapacity.

added parameter litCapacity

to ZSTD_compressSequencesAndLiterals()
to enforce the litCapacity >= litSize+8 condition.

add a check, to return an error if Sequence validation is enabled

since ZSTD_compressSequencesAndLiterals() doesn't support it.

fixed minor error in preparation of one fullbench scenario

ensure that srcSize is controlled

add dedicated error code for special case

ZSTD_compressSequencesAndLiterals() cannot produce an uncompressed block

added a test for ZSTD_compressSequencesAndLiterals

checks that srcSize is present in the frame header
and bounds the window size.

ZSTD_compressSequencesAndLiterals requires srcSize as parameter

this makes it possible to adjust windowSize to its tightest.

fixed minor error in one benchmark scenario

fixed minor conversion warning

improved speed of the Sequences converter

added benchmark for ZSTD_convertBlockSequences_wBlockDelim()

change name to ZSTD_convertSequences*()

attempt to silence Visual Studio warning about fopen()