Remove Erroneous Exclusion of Hidden Files and Folders in `--output-dir-mirror`

Add a Few Tests

Merge pull request #3958 from facebook/doc3698

updated documentation

Merge pull request #3956 from facebook/fix3702

Do not truncate file name in verbose mode

[CI] Run tests with CMake on Windows

Build and run tests on Windows with CMake

[cpu] Backport fix for rbx clobbering on Windows with Clang

Backport folly fix for rbx clobbering: https://github.com/facebook/folly/commit/f22f88b8b9d70160388f0f149bc9abaeb82c250b

This supercedes PR #3646.

Merge pull request #3954 from facebook/zeroSeq_sample

Add the zeroSeq sample

Updates `ZSTD_RowFindBestMatch` comment (#3947)

Updates the comment on the head of `ZSTD_RowFindBestMatch` to make sure it's aligned with recent changes to the hash table.

Exercise ZSTD_findDecompressedSize() in the simple decompression fuzzer (#3959)

* Improve decompression fuzzer

* Fix legacy frame header fuzzer crash, add unit test

fix duplicated paragraph

reported by @zougloub

updated documentation

following recommendations by @zougloub at #3698

Export ZSTD_LEGACY_SUPPORT in tests/Makefile (#3955)

This doesn't affect most of the targets, but will help me sleep better at night knowing that future refactors won't break the legacy support.

Should have been included in https://github.com/facebook/zstd/pull/3943 but I noticed after that merged, so putting up a separate PR.

no longer truncate file name in verbose mode

fix #3702

Add common file extensions to --exclude-compressed (#3951)

removed golden-decompression/.gitignore

replaced by an exclusion rule in tests/.gitignore

Merge pull request #3901 from robandpdx-org/convert-facebook-zstd-to-actions

Convert the CircleCI workflow to a GitHub Actions workflow

Merge pull request #3952 from felixhandte/stop-hardcoding-posix-version-on-bsd

Stop Hardcoding the POSIX Version on BSDs

add same .gitignore rule in golden-decompression/

as requested by @embg

Merge pull request #3933 from facebook/fix3819

prevent XXH64 from being autovectorized by XXH512 by default

Merge pull request #3934 from facebook/risc5ci

add RISC-V emulation tests to Github CI

Merge pull request #3936 from facebook/debug5

minor: fix incorrect debug level

Merge pull request #3942 from facebook/fix3719

Fix #3719 : mixing -c, -o and --rm

Merge pull request #3946 from facebook/cmake_hpux

cmake refactor: move HP-UX specific logic into its own function

Merge pull request #3948 from facebook/tests_2927

add tests inspired from #2927

Add the zeroSeq sample

that should have been part of #3674

Merge pull request #3937 from facebook/offset0

new method to deal with offset==0 erroneous edge case

chore: fix some typos (#3949)

Signed-off-by: acceptacross <csqcqs@gmail.com>

Pin tsan and msan CI jobs to ubuntu-20.04 (#3945)

Use ZSTD_LEGACY_SUPPORT=5 in make test (#3943)

add tests inspired from #2927

centered around -T# and --fast=# arguments

Fix AsyncIO reading seed queueing (#3940)

Fixes a bug in AsyncIO where we queue reads after opening a file so our queue will always be saturated (or as saturated as possible).
Previous code was looping up to `availableJobsCount` not realizing `availableJobsCount` was also decreasing in each iteration, so instead of queueing 10 jobs we'd queue 5 (and instead of 2 we'd queue 1).
This PR fixes the loop to queue as long as `availableJobsCount` is not 0.

cmake refactor: move HP-UX specific logic into its own function

reduce visual clutter of corner case configuration.

Merge pull request #3862 from likema/fix-hpux-parisc

Fix building on HP-UX 11.11 PA-RISC

Stop Hardcoding the POSIX Version on BSDs

BSDs should all have a `unistd.h` header.

minor man page clarification

added tests

fix #3719

only disable `--rm` at end of command line parsing,
so that `-c` only disables `--rm` if it's effectively selected,
and not if it's overriden by a later `-o FILE` command.

Merge pull request #3860 from likema/fix-xxhash-aix-51

Fix building xxhash on AIX 5.1

Merge pull request #3929 from facebook/llu_vscode

fix LLU->ULL

Merge pull request #3928 from facebook/doc3727

update -V documentation

produced golden sample for the offset==0 decoder test

is correctly detected as corrupted by new version,
and is accepted (changed into offset==1) by older version.

updated documentation accordingly, with an hexadecimal representation.

update documentation

new method to deal with offset==0

in this new method, when an `offset==0` is detected,
it's converted into (size_t)(-1), instead of 1.

The logic is that (size_t)(-1) is effectively an extremely large positive number,
which will not pass the offset distance test at next stage (`execSequence()`).
Checked the source code, and offset is always checked (as it should),
using a formula which is not vulnerable to arithmetic overflow:
```
RETURN_ERROR_IF(sequence.offset > (size_t)(oLitEnd - virtualStart),
```

The benefit is that such a case (offset==0) is always detected as corrupted data
as opposed to relying on the checksum to detect the error.

Merge pull request #3824 from elasota/specify-zero-offset

Specify offset 0 as invalid and specify required fixup behavior

Merge pull request #3816 from elasota/fix-state-table

Fix state table formatting

minor: fix incorrect debug level

added RISC-V emulation tests on Github CI

prevent XXH64 from being autovectorized by XXH512 by default

backport fix https://github.com/Cyan4973/xxHash/pull/924 from libxxhash

Merge pull request #3840 from aimuz/fix-reserved

lib/decompress: check for reserved bit corruption in zstd

fix LLU->ULL

LLU is a correct prefix according to C99 & C11 standards (but not C90).
However, older versions of Visual Studio do not work with it.
Replace by ULL, which doesn't have this issue.

Fixes https://github.com/facebook/zstd/issues/3647

update -V documentation

to answer #3727 comment

Merge pull request #3927 from facebook/dependabot/github_actions/github/codeql-action-3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.5 to 3.24.6.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/47b3d888fe66b639e431abf22ebca059152f1eea...8a470fddafa5cbb6266ee11b37ef4d8aae19c571)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3753 from facebook/make2

minor Makefile refactoring

Merge pull request #3804 from facebook/dependabot/github_actions/ossf/scorecard-action-2.3.1

Bump ossf/scorecard-action from 2.2.0 to 2.3.1

Merge pull request #3918 from facebook/dependabot/github_actions/github/codeql-action-3.24.5

Bump github/codeql-action from 3.23.0 to 3.24.5

Merge pull request #3926 from facebook/checkoutVersion

fix version of actions/checkout

fix version of actions/checkout

Merge pull request #3811 from teo-tsirpanis/unified-target

Export a `zstd::libzstd` CMake target if only static or dynamic linkage is specified.

Merge branch 'dev' into unified-target

Define the unified target inside the CMake project, and export it.

This is less error-prone.

Merge pull request #3916 from facebook/no_sprintf

removed sprintf usage from zstdcli.c

Merge pull request #3917 from facebook/targetCBlock_moreRegular

More regular block sizes with `targetCBlockSize`

sizeBlockSequences() also tracks uncompressed size

and only defines a sub-block boundary when
it believes that it is compressible.

It's effectively an optimization,
avoiding a compression cycle to reach the same conclusion.

minor refactor for clarity

since we can ensure that nbSubBlocks>0

optimization: bail out faster in presence of incompressible data

nit: comment indentation

as reported by @terrelln

minor: reformulate nbSubBlocks assignment

fix extraneous semicolon ';'

as reported by @terrelln

Bump github/codeql-action from 3.23.0 to 3.24.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.23.0 to 3.24.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e5f05b81d5b6ff8cfa111c80c22c5fd02a384118...47b3d888fe66b639e431abf22ebca059152f1eea)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

fix minor visual static analyzer warning

it's a false positive,
but change the code nonetheless to make it more obvious to the static analyzer.

targetCBlockSize: modified splitting strategy to generate blocks of more regular size

notably avoiding to feature a larger first block

removed sprintf usage from zstdcli.c

some static analyzers flag this standard C90 function as unsafe.

Merge pull request #3915 from facebook/targetCBlockSize

Improve speed of ZSTD_c_targetCBlockSize

reduced minimum compressed block size

with the intention to match the transport layer size,
such as Ethernet and 4G mobile networks.

update API documentation

fix partial block uncompressed

fixed some regressionTests

but not all

minor: fix overly cautious conversion warning

fix long sequences (> 64 KB)

fix issue with incompressible sections

speed optimized version of targetCBlockSize

note that the size of individual compressed blocks will vary more wildly with this modification.
But it seems good enough for a first test, and fix the speed regression issue.
Further refinements can be attempted later.

benchmark more can test targetCBlockSize

Merge pull request #3903 from gruenich/feature/reduce-scope-of-variables

Reduce scope of variables

Merge pull request #3905 from facebook/dependabot/github_actions/actions/upload-artifact-4.3.1

Bump actions/upload-artifact from 4.3.0 to 4.3.1

Merge pull request #3913 from facebook/lorem2

Lorem Ipsum generator update

Merge pull request #3914 from facebook/setup_msys2_v2.22.0

updated setup-msys2 to v2.22.0

updated setup-msys2 to v2.22.0

following a warning in recent test reports

```
Node.js 16 actions are deprecated. Please update the following actions to use Node.js 20: msys2/setup-msys2@5beef6d11f48bba68b9eb503e3adc60b23c0cc36. For more information see: https://github.blog/changelog/2023-09-22-github-actions-transitioning-from-node-16-to-node-20/.
```

fix include order

fix Visual Studio datagen recipe

fix clangbuild

notably -Wconversion and -Wdocumentation

fix cmake build

fix c89 compatibility by removing snprintf()

note that this function has been in the code for a long while,
so why does it only start failing CI tests now ?

fix meson datagen build

fix datagen size control

internal benchmark: can select size of generated synthetic sample

datagen generates lorem ipsum by default

increase word dictionary

for higher variety of messages.
Now, level 5 compresses better than level 4 (by a hair).

runtime weight distribution table

and made small words a bit more common.

add question marks

and (slightly) longer sentences.