[doc] minor clarification for maximum block size

closes #4339

Merge pull request #4341 from clan/pragma

lib/zstd.h: don't put pragma after static

lib/zstd.h: move pragma before static

otherwise will cause dev-python/zstandard build failed when compiling with
clang as reported at https://bugs.gentoo.org/950259

the root cause is pycparser, which is unfixed since reported 2.5 years
ago, :(

Signed-off-by: Z. Liu <zhixu.liu@gmail.com>

Merge pull request #4336 from Cyan4973/qsort_v2

fix #4312 - musl compilation compatibility

removed OpenBSD specificity

updated documentation

add support for C11 Annex K qsort_s()

standard defined re-entrant variant of qsort().
Unfortunately, Annex K is optional.

re-design qsort() selection in cover

centralizes auto detection tests,
then distribute the outcome in all the places where it's active.

fix #4312

and upgraded the test so that it would fail, both at compile time and at run time, without the fix

attempt to reduce length of long cli tests by invoking -T0

[linux] Opt out of row based match finder for the kernel

The row based match finder is slower without SIMD. We used to detect the
presence of SIMD to set the lower bound to 17, but that breaks
determinism. Instead, specifically opt into it for the kernel, because
it is one of the rare cases that doesn't have SIMD support.

Merge pull request #4335 from Cyan4973/dec_mt_warning

warn when requesting decompression with multiple threads

fix minor unused variable warning

warn when requesting decompression with multiple threads

restore #2918 fix

Merge pull request #4334 from Cyan4973/fix4332

fix #4332: setting ZSTD_NBTHREADS=0 via environment variable

fixed ShellCheck warning

fix FreeBSD

use an alias instead of a function

also: added more traces and updated version nb to v1.5.8

add test

checks that ZSTD_NBTHREADS triggers the expected verbose message

Also: checked that the new test script fails on current `dev` branch, and is fixed by this branch

removed useless assert()

fix #4332: setting ZSTD_NBTHREADS=0 via environment variables

[test] Add tests for determinism

Run compression & validate the compressed file matches a known checksum.

To update the output run:

```
make -C tests update-cli-tests
```

Add a method for checking if ZSTD was compiled with flags that impact determinism

Merge pull request #4329 from Cyan4973/cmd_split

New commands --split and --jobsize

[zstd] Remove global variables in dictBuilder

D50949782 fixed a race condition updating `g_displayLevel` by disabling display.
Instead of disabling display, delete the global variable and always "capture" a local `displayLevel` variable.
This also fixes `DISPLAYUPDATE()` by requiring the user to pass in the last update time as the first parameter.

[zstd] Backport D49756856

Merge pull request #4327 from Cyan4973/win_artifacts

Generate Zstandard binaries for Windows with lz4 support

added a cli test for new command --jobsize

fix typo

update fileio to employ jobSize

update cli-tests

updated playTests.sh to employ the new commands

changed -B# command into --jobsize

to reduce confusion with the term "block".

-B# remains supported for existing scripts,
but it's no longer documented, so it's effectively a hidden shortcut.

convert benchmark unit to use the new naming scheme

chunks instead of blocks

changed command --blocksize into --split

to reduce confusion with the concept of "blocks" inside a Zstandard frame.

We are now talking about "independent chunks" being produced by a `split` operation.

updated documentation accordingly.

Note: old commands "-B#` and `--blocksize=#` remain supported,
to maintain compatibility with existing scripts.

attempt to no longer depend on system library presence for autodetection

use explicit opt-in and path setting

update zstd build recipe to also support lz4 format

Merge pull request #4324 from facebook/dependabot/github_actions/actions/checkout-4

Bump actions/checkout from 3 to 4

Update windows-artifacts.yml

edit version comment

Update scorecards.yml

edit version comment

Update publish-release-artifacts.yml

fix version comment

Bump actions/checkout from 3 to 4

Bumps [actions/checkout](https://github.com/actions/checkout) from 3 to 4.
- [Release notes](https://github.com/actions/checkout/releases)
- [Commits](https://github.com/actions/checkout/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

lib: zstd: export API needed for dictionary support

Patch series "zram: introduce custom comp backends API", v7.

This series introduces support for run-time compression algorithms tuning,
so users, for instance, can adjust compression/acceleration levels and
provide pre-trained compression/decompression dictionaries which certain
algorithms support.

At this point we stop supporting (old/deprecated) comp API.  We may add
new acomp API support in the future, but before that zram needs to undergo
some major rework (we are not ready for async compression).

Some benchmarks for reference (look at column #2)

*** init zstd
/sys/block/zram0/mm_stat
1750659072 504622188 514355200        0 514355200        1        0    34204    34204

*** init zstd dict=/home/ss/zstd-dict-amd64
/sys/block/zram0/mm_stat
1750650880 465908890 475398144        0 475398144        1        0    34185    34185

*** init zstd level=8 dict=/home/ss/zstd-dict-amd64
/sys/block/zram0/mm_stat
1750654976 430803319 439873536        0 439873536        1        0    34185    34185

*** init lz4
/sys/block/zram0/mm_stat
1750646784 664266564 677060608        0 677060608        1        0    34288    34288

*** init lz4 dict=/home/ss/lz4-dict-amd64
/sys/block/zram0/mm_stat
1750650880 619990300 632102912        0 632102912        1        0    34278    34278

*** init lz4hc
/sys/block/zram0/mm_stat
1750630400 609023822 621232128        0 621232128        1        0    34288    34288

*** init lz4hc dict=/home/ss/lz4-dict-amd64
/sys/block/zram0/mm_stat
1750659072 505133172 515231744        0 515231744        1        0    34278    34278

Recompress
init zram zstd (prio=0), zstd level=5 (prio 1), zstd with dict (prio 2)

*** zstd
/sys/block/zram0/mm_stat
1750982656 504630584 514269184        0 514269184        1        0    34204    34204

*** idle recompress priority=1 (zstd level=5)
/sys/block/zram0/mm_stat
1750982656 488645601 525438976        0 514269184        1        0    34204    34204

*** idle recompress priority=2 (zstd dict)
/sys/block/zram0/mm_stat
1750982656 460869640 517914624        0 514269184        1        0    34185    34204

This patch (of 24):

We need to export a number of API functions that enable advanced zstd
usage - C/D dictionaries, dictionaries sharing between contexts, etc.

Link: https://lkml.kernel.org/r/20240902105656.1383858-1-senozhatsky@chromium.org
Link: https://lkml.kernel.org/r/20240902105656.1383858-2-senozhatsky@chromium.org
Signed-off-by: Sergey Senozhatsky <senozhatsky@chromium.org>
Cc: Nick Terrell <terrelln@fb.com>
Cc: Minchan Kim <minchan@kernel.org>
Cc: Sergey Senozhatsky <senozhatsky@chromium.org>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>

Merge pull request #4321 from Cyan4973/win_artifacts

Automate Windows Artifact generation and publication

automatically upload windows artifact on Release Tag creation

test win artifact generation on pushing to release

this will get a chance to check that win artifact generation works correctly
before creating the release tag.

avoid double zipping

proper usage of standard variables

fixed the script so that it fails when a copy fails

and also: fix the list of files, as `zdict.h` was incorrectly set.

update build_package.bat by using a subrouting

updated zlib version to more recent v1.3.1

ensure that a copy error results in the task failing clearly

error code != 0, red status

checked by intentionally inserting an error in another run

Merge pull request #4322 from Cyan4973/meson_win

fix the meson windows build

try to fix the meson windows build

apparently could be just a missing include

Merge pull request #4312 from Cyan4973/musl_ci

introduce ZSTD_USE_C90_QSORT

Merge pull request #4317 from hirohira9119/fix-function-signature

Fix function signature mismatch for ZSTD_convertBlockSequences

Merge pull request #4320 from sebres/patch-1

build_package.bat: fix path to zstd_errors.h, avoid silently ignore of the errors if build failed

Merge pull request #4319 from Cyan4973/Wconversion

step towards -Wconversion

fixed minor C++ compat warnings

GHA/windows-artifacts.yml: don't ignore the error if build-package batch failed

build_package.bat: don't swallow the error(s) by copy, exit with error if failed somewhere

build_package.bat: fix path to zstd_errors.h (it is in lib not in lib/common)

closes gh-4318

fixed -Wconversion for lib/decompress/zstd_decompress_block.c

fixed -Wconversion for cover.c

fixed -Wconversion for divsufsort.c

fixed -Wconversion for zdict

fix conversion warning

Fix function signature mismatch for ZSTD_convertBlockSequences

Merge pull request #4310 from Cyan4973/cmake_target_compile

[cmake] use target_compile_definitions

Merge pull request #4309 from Cyan4973/check_manual

Check API manual and man pages before release

Merge pull request #4315 from facebook/dependabot/github_actions/msys2/setup-msys2-2.27.0

Bump msys2/setup-msys2 from 2.26.0 to 2.27.0

Bump msys2/setup-msys2 from 2.26.0 to 2.27.0

Bumps [msys2/setup-msys2](https://github.com/msys2/setup-msys2) from 2.26.0 to 2.27.0.
- [Release notes](https://github.com/msys2/setup-msys2/releases)
- [Changelog](https://github.com/msys2/setup-msys2/blob/main/CHANGELOG.md)
- [Commits](https://github.com/msys2/setup-msys2/compare/d44ca8e88d8b43d56cf5670f91747359d5537f97...61f9e5e925871ba6c9e3e8da24ede83ea27fa91f)

---
updated-dependencies:
- dependency-name: msys2/setup-msys2
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

document ZSTD_USE_C90_QSORT

introduce ZSTD_USE_C90_QSORT

added musl compilation test in CI

[cmake] use target_compile_definitions

which is considered best practice.

check man page update

add CI check for zstd_manual before release

ensures it's properly updated

Merge pull request #4302 from facebook/man157

updated man pages and manual

updated man pages and manual

fixes #4301

Merge pull request #4300 from facebook/bench_157

updated benchmark numbers for v1.5.7

updated benchmark numbers

using latest version of @inikep's lzbench

faster clang-msan-testzstd

this is by far our longest CI test.
Attempt to make it run a bit faster.

Merge pull request #4299 from facebook/ga_harden

Improved Github Actions scorecards

pinned dependency hash

harden github actions script Android NDK Build

Merge pull request #4297 from facebook/changelog157

update changelog for v1.5.7

update changelog for v1.5.7

Merge pull request #4274 from luau-project/intel-compilers

CI: enable Intel LLVM C compiler (icx) check

Merge pull request #4293 from facebook/rip-ubuntu20

Fixed CI

disabled BTI test

this test seems impossible on Ubuntu-24

faster aarch64 test execution

minor arm64 test script clarification

updated FreeBSD VM to 14.2

14.1 seems no longer supported by gcloud

update arm64 test

for ubuntu-24

removing x32 tests

this ABI is no longer supported by Ubuntu,
and there is a wider consensus that this ABI is on the way out,
with more and more distributions dropping it,
and lingering questions about support of x32 in the kernel.

move qemu tests to ubuntu24

ubuntu 20 is being deprecated

change ubuntu20 tests to use more modern ubuntu variants

Merge pull request #4288 from facebook/stronger_patchfrom

Improve compression ratio of the --patch-from mode

update hrlog comment

derive hashratelog from hashlog when only hashlog is set