Ensure BMK_timedFnState is always freed in benchMem

When an error occurs in BMK_isSuccessful_runOutcome, the code
previously skipped the call to BMK_freeTimedFnState(tfs),
leaking the allocated tfs object.
Fiexed by calling BMK_freeTimedFnState(tfs) before goto _cleanOut.

Merge pull request #4406 from Cyan4973/separate-cmake-tests

cmake CI tests refactor

remove global variable

overkill and leaky to transport a test result just in one place.

Merge pull request #4403 from dloidolt/fix_FUZZ_malloc_rand

fuzz: Fix FUZZ_malloc_rand() to return non-NULL for zero-size allocations

Merge pull request #4397 from xiaoge1001/free

Fix several locations with potential memory leak

Fix several locations with potential memory leak

fix #4405

fixed cmake + windows + visual + clang-cl

by removing processing of resource files in this case

remove fail-fast so that the outcome of other tests can be observed

refactor: modularize CMakeLists.txt for better maintainability

- Split monolithic 235-line CMakeLists.txt into focused modules
- Main file reduced to 78 lines with clear section organization
- Created 5 specialized modules:
  * ZstdVersion.cmake - CMake policies and version management
  * ZstdOptions.cmake - Build options and platform configuration
  * ZstdDependencies.cmake - External dependency management
  * ZstdBuild.cmake - Build targets and validation
  * ZstdPackage.cmake - Package configuration generation

Benefits:
- Improved readability and maintainability
- Better separation of concerns
- Easier debugging and modification
- Preserved 100% backward compatibility
- All existing build options and targets unchanged

The refactored build system passes all tests and maintains
identical functionality while being much easier to understand
and maintain.

add cmake build test with ZSTD_BUILD_TESTS disabled

should reproduce #4405 and fail

added macos arm64 tests

and comment out windows arm64 tests due to unacceptably long queue time

added windows arm64 runner to cmake tests

refactor CMake tests workflow for readability

ci: separate cmake tests into dedicated workflow file

- Create new .github/workflows/cmake-tests.yml with all cmake-related jobs
- Move cmake-build-and-test-check, cmake-source-directory-with-spaces, and cmake-visual-2022 jobs
- Remove cmake tests from dev-short-tests.yml to improve organization
- Maintain same trigger conditions and test configurations
- Add dedicated concurrency group for cmake tests

This separation allows cmake tests to run independently and makes
the CI configuration more modular and easier to maintain.

Merge pull request #4384 from xiaoge1001/dev

update `--rm` cmd help info

Merge pull request #4392 from mugitya03/MLK

Fix potential memory leak in function `benchMem`

Merge pull request #4399 from zijianli1234/dev

Improve speed of convertSequences() and get1BlockSummary() using RVV

fuzz: Fix FUZZ_malloc_rand() to return non-NULL for zero-size allocations

The FUZZ_malloc_rand() function was incorrectly always returning NULL for
zero-size allocations. The random offset generated by
FUZZ_dataProducer_int32Range() was not being added to the pointer variable,
causing the function to always return (void *)0.

Merge pull request #4401 from mugitya03/MLK-1

Release resources before returning

Release resources before returning

In main, resources were freed on the success path but not in the error path.
This change ensures all allocated resources are released before returning.

Improve speed of ZSTD_compressSequencesAndLiterals() using RVV

update `--rm` cmd help info

Starting from cee6bec9fa6aa249f2df9f84165b682eb793eab, --rm is ignored when the output is `stdout`.

Fix memory leak in function benchMem

`speedPerRound` is allocated at the start of benchMem to collect per-round speeds,
but is never freed, causing a leak on each invocation.

lz4: Remove ancient test helpers

Building lz4 as root was causing `make clean` to fail with permission
errors.

We used to have to install lz4 from source back in Ubuntu 14.04, but
nowadays the installed lz4 is fine. Get rid of ancient helpers and
cruft!

seekable_format: Fix conversion warnings in parallel_compression

seekable_format: Add test for parallel_compression memory usage

Use ulimit to fail the test if we use O(filesize) memory, rather than
O(threads).

seekable_format: Fix race in parallel_processing

There was no memory barrier between writing and reading `done`, which
would allow reordering to cause races. With so little data to handle
after each job completes, we might as well just join.

seekable_format: Cleanup POOL in parallel_compression

seekable_format: Make parallel_compression use memory properly

Previously, parallel_compression would only handle each job's results
after ALL jobs were successfully queued. This caused all src/dst
buffers to remain in memory until then!

It also polled to check whether a job completed, which is racy without
any memory barrier.

Now, we flush results as a side effect of completing a job. Completed
frames are placed in an ordered linked-list, and any eligible frames
are flushed. This may be zero or multiple frames, depending on the
order in which jobs finish.

This design also makes it simple to support streaming input, so that
is now available. Just pass `-` as the filename, and stdin/stdout will
be used for I/O.

seekable_format: Link against multi-threaded libzstd.a

Some of these examples are intended to be parallel, and don't make
sense to link against single-threaded libzstd.

The filename of mt and nomt libzstd are identical, so it's still
possible to link against the single-threaded one, just harder.

seekable_format: Build with $(MAKE)

This passes make flags, such as `-jN` for building in parallel, to
the underlying make.

[cmake] only require a CXX compiler when tests are build

Signed-off-by: Thomas Devoogdt <thomas@devoogdt.com>

Add License variable to pkg-config file

The pkg-config file has License variable that allows you to set the license for
the software. This sets 'BSD-3-Clause OR GPL-2.0-only' to License.

Ref: https://github.com/pkgconf/pkgconf/blob/master/man/pc.5#L116
Signed-off-by: Nobuhiro Iwamatsu <iwamatsu@nigauri.org>

Merge pull request #4378 from Cyan4973/fix_zstreamtest_minor

fix minor warning in zstreamtest

Merge pull request #4371 from ecordonnier-sc/eco/fix-macos-duplicate-lc-rpath

Fix duplicate LC_RPATH error on MacOS

fix minor warning in zstreamtest

Fix duplicate LC_RPATH error on MacOS

After the update to MacOS 15.4, the dynamic loader dyld treats duplicated LC_RPATH as an error.
The `FLAGS` variable already contains `LDFLAGS`, thus using both `FLAGS` and `LDFLAGS`
duplicates all `LDFLAGS`, including `-Wl,rpath` parameters.

The duplicate LC_RPATH causes this kind of errors:

```
dyld[29361]: Library not loaded: @loader_path/../lib/libzstd.1.dylib
      Referenced from: <7131C877-3CF0-33AC-AA05-257BA4FDD770> /Users/foobar/...
      Reason: tried: '/Users/foobar/..../lib/libzstd.1.dylib' (duplicate LC_RPATH '/usr/mypath.../lib')
```

Closes https://github.com/facebook/zstd/issues/4369

Signed-off-by: Etienne Cordonnier <ecordonnier@snap.com>

Merge pull request #4362 from facebook/dependabot/github_actions/actions/setup-java-4.7.1

Bump actions/setup-java from 4.7.0 to 4.7.1

Bump actions/setup-java from 4.7.0 to 4.7.1

Bumps [actions/setup-java](https://github.com/actions/setup-java) from 4.7.0 to 4.7.1.
- [Release notes](https://github.com/actions/setup-java/releases)
- [Commits](https://github.com/actions/setup-java/compare/3a4f6e1af504cf6a31855fa899c6aa5355ba6c12...c5195efecf7bdfc987ee8bae7a71cb8b11521c00)

---
updated-dependencies:
- dependency-name: actions/setup-java
  dependency-version: 4.7.1
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #4353 from afq984/sparse

Check regular file for sparse support after opening

Update cli-tests/file-stat tests

Check regular file for sparse support after opening

A regular file may be created by the open call.
Checking after opening allows sparseFileSupport even
if dstFileName does not already exist.

Merge pull request #4349 from Cyan4973/devfd

Support process substitution for `--filelist=`

update error message

fix test

add error message clarification for inputs as process substitution

added CI test

visual studio fix

minor: restore some code comment

better naming

and more narrow scope of local variables

second implementation, better structured for improved maintenance

first implementation supporting Process Substitution

Merge pull request #4346 from Cyan4973/wintime

fix a risk of overflow on a time counter on Windows

Merge pull request #4350 from Cyan4973/patchapply

add --patch-apply command

add --patch-apply command

as an equivalent for `-d --patch-from`.
Requested by @sergeevabc in #2173.

Merge pull request #4314 from facebook/dependabot/github_actions/ossf/scorecard-action-2.4.1

Bump ossf/scorecard-action from 2.4.0 to 2.4.1

Merge pull request #4345 from Cyan4973/block128

[doc] minor clarification for maximum block size

Merge pull request #4344 from Cyan4973/assert1

add an assert

update zstd --fast benchmark result

use --fast=4, instead of --fast=3,
to make it more representative of a lzo equivalent scenario.

update benchmark result

brotli uses -1 level, like all other compressors

fix a risk of overflow on a time counter on Windows

closes #4126

[doc] minor clarification for maximum block size

closes #4339

add an assert

to help static analyzers understand there is no overflow risk there.

Merge pull request #4341 from clan/pragma

lib/zstd.h: don't put pragma after static

lib/zstd.h: move pragma before static

otherwise will cause dev-python/zstandard build failed when compiling with
clang as reported at https://bugs.gentoo.org/950259

the root cause is pycparser, which is unfixed since reported 2.5 years
ago, :(

Signed-off-by: Z. Liu <zhixu.liu@gmail.com>

Merge pull request #4336 from Cyan4973/qsort_v2

fix #4312 - musl compilation compatibility

removed OpenBSD specificity

updated documentation

add support for C11 Annex K qsort_s()

standard defined re-entrant variant of qsort().
Unfortunately, Annex K is optional.

re-design qsort() selection in cover

centralizes auto detection tests,
then distribute the outcome in all the places where it's active.

fix #4312

and upgraded the test so that it would fail, both at compile time and at run time, without the fix

attempt to reduce length of long cli tests by invoking -T0

[linux] Opt out of row based match finder for the kernel

The row based match finder is slower without SIMD. We used to detect the
presence of SIMD to set the lower bound to 17, but that breaks
determinism. Instead, specifically opt into it for the kernel, because
it is one of the rare cases that doesn't have SIMD support.

Merge pull request #4335 from Cyan4973/dec_mt_warning

warn when requesting decompression with multiple threads

fix minor unused variable warning

warn when requesting decompression with multiple threads

restore #2918 fix

Merge pull request #4334 from Cyan4973/fix4332

fix #4332: setting ZSTD_NBTHREADS=0 via environment variable

fixed ShellCheck warning

fix FreeBSD

use an alias instead of a function

also: added more traces and updated version nb to v1.5.8

add test

checks that ZSTD_NBTHREADS triggers the expected verbose message

Also: checked that the new test script fails on current `dev` branch, and is fixed by this branch

removed useless assert()

fix #4332: setting ZSTD_NBTHREADS=0 via environment variables

[test] Add tests for determinism

Run compression & validate the compressed file matches a known checksum.

To update the output run:

```
make -C tests update-cli-tests
```

Add a method for checking if ZSTD was compiled with flags that impact determinism

Merge pull request #4329 from Cyan4973/cmd_split

New commands --split and --jobsize

[zstd] Remove global variables in dictBuilder

D50949782 fixed a race condition updating `g_displayLevel` by disabling display.
Instead of disabling display, delete the global variable and always "capture" a local `displayLevel` variable.
This also fixes `DISPLAYUPDATE()` by requiring the user to pass in the last update time as the first parameter.

[zstd] Backport D49756856

Merge pull request #4327 from Cyan4973/win_artifacts

Generate Zstandard binaries for Windows with lz4 support

added a cli test for new command --jobsize

fix typo

update fileio to employ jobSize

update cli-tests

updated playTests.sh to employ the new commands

changed -B# command into --jobsize

to reduce confusion with the term "block".

-B# remains supported for existing scripts,
but it's no longer documented, so it's effectively a hidden shortcut.

convert benchmark unit to use the new naming scheme

chunks instead of blocks

changed command --blocksize into --split

to reduce confusion with the concept of "blocks" inside a Zstandard frame.

We are now talking about "independent chunks" being produced by a `split` operation.

updated documentation accordingly.

Note: old commands "-B#` and `--blocksize=#` remain supported,
to maintain compatibility with existing scripts.

attempt to no longer depend on system library presence for autodetection

use explicit opt-in and path setting

update zstd build recipe to also support lz4 format

Merge pull request #4324 from facebook/dependabot/github_actions/actions/checkout-4

Bump actions/checkout from 3 to 4