Stop Hardcoding the POSIX Version on BSDs

BSDs should all have a `unistd.h` header.

Merge pull request #3860 from likema/fix-xxhash-aix-51

Fix building xxhash on AIX 5.1

Merge pull request #3929 from facebook/llu_vscode

fix LLU->ULL

Merge pull request #3928 from facebook/doc3727

update -V documentation

Merge pull request #3824 from elasota/specify-zero-offset

Specify offset 0 as invalid and specify required fixup behavior

Merge pull request #3816 from elasota/fix-state-table

Fix state table formatting

Merge pull request #3840 from aimuz/fix-reserved

lib/decompress: check for reserved bit corruption in zstd

fix LLU->ULL

LLU is a correct prefix according to C99 & C11 standards (but not C90).
However, older versions of Visual Studio do not work with it.
Replace by ULL, which doesn't have this issue.

Fixes https://github.com/facebook/zstd/issues/3647

update -V documentation

to answer #3727 comment

Merge pull request #3927 from facebook/dependabot/github_actions/github/codeql-action-3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.5 to 3.24.6.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/47b3d888fe66b639e431abf22ebca059152f1eea...8a470fddafa5cbb6266ee11b37ef4d8aae19c571)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3753 from facebook/make2

minor Makefile refactoring

Merge pull request #3804 from facebook/dependabot/github_actions/ossf/scorecard-action-2.3.1

Bump ossf/scorecard-action from 2.2.0 to 2.3.1

Merge pull request #3918 from facebook/dependabot/github_actions/github/codeql-action-3.24.5

Bump github/codeql-action from 3.23.0 to 3.24.5

Merge pull request #3926 from facebook/checkoutVersion

fix version of actions/checkout

fix version of actions/checkout

Merge pull request #3811 from teo-tsirpanis/unified-target

Export a `zstd::libzstd` CMake target if only static or dynamic linkage is specified.

Merge branch 'dev' into unified-target

Define the unified target inside the CMake project, and export it.

This is less error-prone.

Merge pull request #3916 from facebook/no_sprintf

removed sprintf usage from zstdcli.c

Merge pull request #3917 from facebook/targetCBlock_moreRegular

More regular block sizes with `targetCBlockSize`

sizeBlockSequences() also tracks uncompressed size

and only defines a sub-block boundary when
it believes that it is compressible.

It's effectively an optimization,
avoiding a compression cycle to reach the same conclusion.

minor refactor for clarity

since we can ensure that nbSubBlocks>0

optimization: bail out faster in presence of incompressible data

nit: comment indentation

as reported by @terrelln

minor: reformulate nbSubBlocks assignment

fix extraneous semicolon ';'

as reported by @terrelln

Bump github/codeql-action from 3.23.0 to 3.24.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.23.0 to 3.24.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e5f05b81d5b6ff8cfa111c80c22c5fd02a384118...47b3d888fe66b639e431abf22ebca059152f1eea)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

fix minor visual static analyzer warning

it's a false positive,
but change the code nonetheless to make it more obvious to the static analyzer.

targetCBlockSize: modified splitting strategy to generate blocks of more regular size

notably avoiding to feature a larger first block

removed sprintf usage from zstdcli.c

some static analyzers flag this standard C90 function as unsafe.

Merge pull request #3915 from facebook/targetCBlockSize

Improve speed of ZSTD_c_targetCBlockSize

reduced minimum compressed block size

with the intention to match the transport layer size,
such as Ethernet and 4G mobile networks.

update API documentation

fix partial block uncompressed

fixed some regressionTests

but not all

minor: fix overly cautious conversion warning

fix long sequences (> 64 KB)

fix issue with incompressible sections

speed optimized version of targetCBlockSize

note that the size of individual compressed blocks will vary more wildly with this modification.
But it seems good enough for a first test, and fix the speed regression issue.
Further refinements can be attempted later.

benchmark more can test targetCBlockSize

Merge pull request #3903 from gruenich/feature/reduce-scope-of-variables

Reduce scope of variables

Merge pull request #3905 from facebook/dependabot/github_actions/actions/upload-artifact-4.3.1

Bump actions/upload-artifact from 4.3.0 to 4.3.1

Merge pull request #3913 from facebook/lorem2

Lorem Ipsum generator update

Merge pull request #3914 from facebook/setup_msys2_v2.22.0

updated setup-msys2 to v2.22.0

updated setup-msys2 to v2.22.0

following a warning in recent test reports

```
Node.js 16 actions are deprecated. Please update the following actions to use Node.js 20: msys2/setup-msys2@5beef6d11f48bba68b9eb503e3adc60b23c0cc36. For more information see: https://github.blog/changelog/2023-09-22-github-actions-transitioning-from-node-16-to-node-20/.
```

fix include order

fix Visual Studio datagen recipe

fix clangbuild

notably -Wconversion and -Wdocumentation

fix cmake build

fix c89 compatibility by removing snprintf()

note that this function has been in the code for a long while,
so why does it only start failing CI tests now ?

fix meson datagen build

fix datagen size control

internal benchmark: can select size of generated synthetic sample

datagen generates lorem ipsum by default

increase word dictionary

for higher variety of messages.
Now, level 5 compresses better than level 4 (by a hair).

runtime weight distribution table

and made small words a bit more common.

add question marks

and (slightly) longer sentences.

enriched vocabulary again

using real latin sentences from Cicero.

Compression ratio lower again, closer to "real" text,

now level 6 is way better than level 4.

level 5 is still lower than level 4,
but at least it's now higher than level 3.

increase vocabulary size

makes compression a bit less good,
hence a bit more comparable with real text (though still too easy to compress).
level 6 is now stronger than level 4, by a hair.
However, there is still a ratio dip at level 5.

Merge pull request #3909 from felixhandte/security-md-notif-list-ad

Advertise Availability of Security Vulnerability Notifications

Advertise Availability of Security Vulnerability Notifications

Add SECURITY.md File

This just adds a copy of the Meta default SECURITY.md that we can then modify.

Bump actions/upload-artifact from 4.3.0 to 4.3.1

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 4.3.0 to 4.3.1.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/26f96dfa697d77e81fd5907df203aa23a56210a8...5d5d22a31266ced268874388b861e4b58bb5c2f3)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Reduce scope of variables

This improves readability, keeps variables local, and
prevents the unintended use (e.g. typo) later on.
Found by Cppcheck (variableScope)

Merge pull request #3902 from facebook/fuzz_debuglevel

Fix fuzz issue 5131069967892480

fix fuzz issue 5131069967892480

fuzz: control debuglevel from Makefile

and make the compilation faster

Merge pull request #3900 from facebook/fix5921623844651008

fix 5921623844651008

Merge pull request #3899 from sandreenko/dev

[Zstd] Less verbose log for patch mode.

fix issue 5921623844651008

ossfuzz managed to create a scenario which triggers an `assert`.
This fixes it, by giving +1 more space for the backward search pass.

[Zstd] Less verbose log for patch mode.

Merge pull request #3895 from facebook/fix_3793

Improve compression of Arrays of Integers (High compression mode)

added or updated code comments

as suggested by @terrelln,
to make the code of the optimal parser a bit more understandable.

update compression results for regression tests

fix msan warnings

fix uasan dictionary_stream_round_trip fuzz test

Merge pull request #3897 from facebook/dependabot/github_actions/microsoft/setup-msbuild-2.0.0

Bump microsoft/setup-msbuild from 1.3.2 to 2.0.0

fix msbuild action version number

Bump microsoft/setup-msbuild from 1.3.2 to 2.0.0

Bumps [microsoft/setup-msbuild](https://github.com/microsoft/setup-msbuild) from 1.3.2 to 2.0.0.
- [Release notes](https://github.com/microsoft/setup-msbuild/releases)
- [Changelog](https://github.com/microsoft/setup-msbuild/blob/main/building-release.md)
- [Commits](https://github.com/microsoft/setup-msbuild/compare/031090342aeefe171e49f3820f3b52110c66e402...6fb02220983dee41ce7ae257b6f4d8f9bf5ed4ce)

---
updated-dependencies:
- dependency-name: microsoft/setup-msbuild
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

use ZSTD_memcpy()

which can be redirected in Linux kernel mode

removed trace control

fixed wrong assert

by introducing ZSTD_OPT_SIZE

update compression results

good news: there are only improvements

fixed wrong assert

minor optimization, mostly for clarity

finally, a version that generalizes well

While it's not always strictly a win,
it's a win for files that see a noticeably compression ratio increase,
while it's a very small noise for other files.

Downside is, this patch is less efficient for 32-bit arrays of integer
than the previous patch which was introducing losses for other files,
but it's still a net improvement on this scenario.

Merge pull request #3893 from felixhandte/gh-actions-cet-test-update-dep

Update Dependency in Intel CET Test; Re-Enable Test

Update Dependency in Intel CET Test; Re-Enable Test

Motivated by #3884.

Merge pull request #3890 from facebook/lorem

add a lorem ipsum generator

modification: differentiate literal update at pos+1

helps when litlen==1 is cheaper than litlen==0

works great on pathological arr[u32] examples
but doesn't generalize well on other files.

silesia/x-ray is amoung the most negatively affected ones.

Merge pull request #3886 from facebook/sparc64

add sparc64 compilation test

refactor optimal parser

store stretches as intermediate solution instead of sequences.
makes it possible to link a solution to a predecessor.

improve high compression ratio for file like #3793

this works great for 32-bit arrays,
notably the synthetic ones, with extreme regularity,
unfortunately, it's not universal,
and in some cases, it's a loss.
Crucially, on average, it's a loss on silesia.
The most negatively impacted file is x-ray.
It deserves an investigation before suggesting it as an evolution.

blindfix meson recipe

note: absence of GLOB capability within meson makes its maintenance more painful.

fix cmake recipe

fix Visual Studio solutions

note: we probably don't want to maintain VS2008 solution anymore.
Its successor VS2010 is > 10 years old,
which is more or less the limit after which we can stop supporting old compilers.

fix paramgrill Makefile recipe

add a lorem ipsum generator

this generator replaces the statistical generator
for the general case when no statistic is requested.

Generated data features a compression level speed / ratio curve
which is more in line with expectation.

Merge pull request #3888 from facebook/dependabot/github_actions/microsoft/setup-msbuild-1.3.2

Bump microsoft/setup-msbuild from 1.3.1 to 1.3.2