Fail on errors when building fuzzers

Fails on errors when building fuzzers with `fuzz.py` (adds `Werror`).
Currently allows `declaration-after-statement`, `c++-compat` and
`deprecated` as they are abundant in code (some fixes to
`declaration-after-statement` are presented in this commit).

Fix bugs in simple decompression fuzzer (#3978)

Fixes 2 issue in `simple_decompress.c`:
1. Wrong type used for storing the results of `ZSTD_findDecompressedSize` resulting in never matching to `ZSTD_CONTENTSIZE_ERROR` or `ZSTD_CONTENTSIZE_UNKNOWN`.

2. Experimental API is used (`ZSTD_findDecompressedSize`) without defining `ZSTD_STATIC_LINKING_ONLY`.

pzstd: use c++14 without conditions

Doing this check with a direct c++ snippet is prone to portability problems:

- \043 is not portable between shells: dash expands it to #,
bash does not;

- using # directly works with make 4.3 but does not with make 4.2.

Let's just use the c++ version that covers both the code and the gtest.

Implement one-shot fallback for magicless format (#3971)

[cmake] Fix up PR #3716

* Make a variable `PublicHeaders` for Zstd's public headers
* Add `PublicHeaders` to `Headers`, which was missing
* Only export `${LIBRARY_DIR}` publicly, not `common/`
* Switch the `target_include_directories()` to `INTERFACE` because zstd uses relative includes internally, so doesn't need any include directories to build
* Switch installation to use the `PublicHeaders` variable, and test that the right headers are installed

Makes it possible to use the lib through FetchContent or ExternalProject_Add

Merge pull request #3973 from facebook/dependabot/github_actions/github/codeql-action-3.24.7

Bump github/codeql-action from 3.24.6 to 3.24.7

Merge pull request #3972 from facebook/dependabot/github_actions/actions/cache-4

Bump actions/cache from 3 to 4

Bump github/codeql-action from 3.24.6 to 3.24.7

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.6 to 3.24.7.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/8a470fddafa5cbb6266ee11b37ef4d8aae19c571...3ab4101902695724f9365a384f86c1074d94e18c)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/cache from 3 to 4

Bumps [actions/cache](https://github.com/actions/cache) from 3 to 4.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3969 from facebook/v156_prep

bump version number

Merge pull request #3966 from facebook/debug_lineNumber

add line number to debug traces

update CHANGELOG for v1.5.6

updated version to v1.5.6

Remove duplicate and incorrect docs in zstd_decompress.c (#3967)

add line number to debug traces

[cmake] Always create libzstd target

If both `ZSTD_BUILD_SHARED` and `ZSTD_BUILD_STATIC` are set, then cmake exports the libraries `libzstd_shared` and `libzstd_static` only.
It does not export `libzstd`, which is only exported when exactly one of `ZSTD_BUILD_SHARED` and `ZSTD_BUILD_STATIC` is set.
This PR exports `libzstd` in that case, based on the value of the standard CMake variable [`BUILD_SHARED_LIBS`](https://cmake.org/cmake/help/latest/variable/BUILD_SHARED_LIBS.html).
This ensures that `libzstd` can always be used to refer to the exported zstd library, since the build errors if neither `ZSTD_BUILD_SHARED` nor `ZSTD_BUILD_STATIC` are set.

I tested all the possible combinations of `ZSTD_BUILD_SHARED`, `ZSTD_BUILD_STATIC`, and `BUILD_SHARED_LIBS` and they always worked as expected:
* If only exactly one of `ZSTD_BUILD_SHARED` and `ZSTD_BUILD_STATIC` is set, that is used as `libzstd`.
* Otherwise, libzstd is set based on `BUILD_SHARED_LIBS`.

Fixes #3859.

Merge pull request #3964 from felixhandte/promote-tgt-c-blk-size-to-stable

Promote `ZSTD_c_targetCBlockSize` Parameter to Stable API

Merge pull request #3963 from felixhandte/also-handle-hidden-files-output-dir-mirror

Remove Erroneous Exclusion of Hidden Files and Folders in `--output-dir-mirror`

Merge pull request #3962 from facebook/cover_lessIncludes

reduce the amount of #include in cover.h

Merge pull request #3960 from felixhandte/use-utimensat-on-posix-2001

Use `utimensat()` on FreeBSD

Promote `ZSTD_c_targetCBlockSize` Parameter to Stable API

This feature has demonstrated itself to be useful in web compression and we
want to encourage other folks to use it. But we currently make it difficult
to do so since it's locked away in the experimental API.

The API itself is really straightforward and I think it's fine to commit to
maintaining support / compatibility for this API even if in the future the
underlying implementation may continue to evolve.

Note that this commit changes its enum name and also its numeric value. Users
who respected the instructions of using the experimental API should be fine
with both of these changes since they should only have referred to it by the.

Conceivably someone could have done bad feature detection of this capability
by doing `#ifdef ZSTD_c_targetCBlockSize` which will now return false since
it's no longer a macro... but I think that's an acceptable hypothetical
breakage.

Remove Erroneous Exclusion of Hidden Files and Folders in `--output-dir-mirror`

Add a Few Tests

Use `utimensat()` on FreeBSD

FreeBSD only claims to support POSIX 2001 [0]. But they do in fact support
`utimensat()`. This adds a specific check to opt them in to using it. This
value was selected by consulting [1].

See discussion on #3952.

Further addresses #3748.

[0] https://github.com/freebsd/freebsd-src/blob/937a0055858a098027f464abf0b2b1ec5d36748f/sys/sys/unistd.h#L96

[1] https://docs.freebsd.org/en/books/porters-handbook/versions/

[asm][aarch64] Mark that BTI and PAC are supported

Mark that `huf_decompress_amd64.S` supports BTI and PAC, which it trivially does because it is empty for aarch64.

The issue only requested BTI markings, but it also makes sense to mark PAC, which is the only other feature.

Also run add a test for this mode to the ARM64 QEMU test. Before this PR it warns on `huf_decompress_amd64.S`, after it doesn't.

Fixes Issue #3841.

reduce the amount of includes in "cover.h"

Merge pull request #3958 from facebook/doc3698

updated documentation

Merge pull request #3956 from facebook/fix3702

Do not truncate file name in verbose mode

[CI] Run tests with CMake on Windows

Build and run tests on Windows with CMake

[cpu] Backport fix for rbx clobbering on Windows with Clang

Backport folly fix for rbx clobbering: https://github.com/facebook/folly/commit/f22f88b8b9d70160388f0f149bc9abaeb82c250b

This supercedes PR #3646.

Merge pull request #3954 from facebook/zeroSeq_sample

Add the zeroSeq sample

Updates `ZSTD_RowFindBestMatch` comment (#3947)

Updates the comment on the head of `ZSTD_RowFindBestMatch` to make sure it's aligned with recent changes to the hash table.

Exercise ZSTD_findDecompressedSize() in the simple decompression fuzzer (#3959)

* Improve decompression fuzzer

* Fix legacy frame header fuzzer crash, add unit test

fix duplicated paragraph

reported by @zougloub

updated documentation

following recommendations by @zougloub at #3698

Export ZSTD_LEGACY_SUPPORT in tests/Makefile (#3955)

This doesn't affect most of the targets, but will help me sleep better at night knowing that future refactors won't break the legacy support.

Should have been included in https://github.com/facebook/zstd/pull/3943 but I noticed after that merged, so putting up a separate PR.

no longer truncate file name in verbose mode

fix #3702

Add common file extensions to --exclude-compressed (#3951)

removed golden-decompression/.gitignore

replaced by an exclusion rule in tests/.gitignore

Merge pull request #3901 from robandpdx-org/convert-facebook-zstd-to-actions

Convert the CircleCI workflow to a GitHub Actions workflow

Merge pull request #3952 from felixhandte/stop-hardcoding-posix-version-on-bsd

Stop Hardcoding the POSIX Version on BSDs

add same .gitignore rule in golden-decompression/

as requested by @embg

Merge pull request #3933 from facebook/fix3819

prevent XXH64 from being autovectorized by XXH512 by default

Merge pull request #3934 from facebook/risc5ci

add RISC-V emulation tests to Github CI

Merge pull request #3936 from facebook/debug5

minor: fix incorrect debug level

Merge pull request #3942 from facebook/fix3719

Fix #3719 : mixing -c, -o and --rm

Merge pull request #3946 from facebook/cmake_hpux

cmake refactor: move HP-UX specific logic into its own function

Merge pull request #3948 from facebook/tests_2927

add tests inspired from #2927

Add the zeroSeq sample

that should have been part of #3674

Merge pull request #3937 from facebook/offset0

new method to deal with offset==0 erroneous edge case

chore: fix some typos (#3949)

Signed-off-by: acceptacross <csqcqs@gmail.com>

Pin tsan and msan CI jobs to ubuntu-20.04 (#3945)

Use ZSTD_LEGACY_SUPPORT=5 in make test (#3943)

add tests inspired from #2927

centered around -T# and --fast=# arguments

Fix AsyncIO reading seed queueing (#3940)

Fixes a bug in AsyncIO where we queue reads after opening a file so our queue will always be saturated (or as saturated as possible).
Previous code was looping up to `availableJobsCount` not realizing `availableJobsCount` was also decreasing in each iteration, so instead of queueing 10 jobs we'd queue 5 (and instead of 2 we'd queue 1).
This PR fixes the loop to queue as long as `availableJobsCount` is not 0.

cmake refactor: move HP-UX specific logic into its own function

reduce visual clutter of corner case configuration.

Merge pull request #3862 from likema/fix-hpux-parisc

Fix building on HP-UX 11.11 PA-RISC

Stop Hardcoding the POSIX Version on BSDs

BSDs should all have a `unistd.h` header.

minor man page clarification

added tests

fix #3719

only disable `--rm` at end of command line parsing,
so that `-c` only disables `--rm` if it's effectively selected,
and not if it's overriden by a later `-o FILE` command.

Merge pull request #3860 from likema/fix-xxhash-aix-51

Fix building xxhash on AIX 5.1

Merge pull request #3929 from facebook/llu_vscode

fix LLU->ULL

Merge pull request #3928 from facebook/doc3727

update -V documentation

produced golden sample for the offset==0 decoder test

is correctly detected as corrupted by new version,
and is accepted (changed into offset==1) by older version.

updated documentation accordingly, with an hexadecimal representation.

update documentation

new method to deal with offset==0

in this new method, when an `offset==0` is detected,
it's converted into (size_t)(-1), instead of 1.

The logic is that (size_t)(-1) is effectively an extremely large positive number,
which will not pass the offset distance test at next stage (`execSequence()`).
Checked the source code, and offset is always checked (as it should),
using a formula which is not vulnerable to arithmetic overflow:
```
RETURN_ERROR_IF(sequence.offset > (size_t)(oLitEnd - virtualStart),
```

The benefit is that such a case (offset==0) is always detected as corrupted data
as opposed to relying on the checksum to detect the error.

Merge pull request #3824 from elasota/specify-zero-offset

Specify offset 0 as invalid and specify required fixup behavior

Merge pull request #3816 from elasota/fix-state-table

Fix state table formatting

minor: fix incorrect debug level

added RISC-V emulation tests on Github CI

prevent XXH64 from being autovectorized by XXH512 by default

backport fix https://github.com/Cyan4973/xxHash/pull/924 from libxxhash

Merge pull request #3840 from aimuz/fix-reserved

lib/decompress: check for reserved bit corruption in zstd

fix LLU->ULL

LLU is a correct prefix according to C99 & C11 standards (but not C90).
However, older versions of Visual Studio do not work with it.
Replace by ULL, which doesn't have this issue.

Fixes https://github.com/facebook/zstd/issues/3647

update -V documentation

to answer #3727 comment

Merge pull request #3927 from facebook/dependabot/github_actions/github/codeql-action-3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bump github/codeql-action from 3.24.5 to 3.24.6

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.5 to 3.24.6.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/47b3d888fe66b639e431abf22ebca059152f1eea...8a470fddafa5cbb6266ee11b37ef4d8aae19c571)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3753 from facebook/make2

minor Makefile refactoring

Merge pull request #3804 from facebook/dependabot/github_actions/ossf/scorecard-action-2.3.1

Bump ossf/scorecard-action from 2.2.0 to 2.3.1

Merge pull request #3918 from facebook/dependabot/github_actions/github/codeql-action-3.24.5

Bump github/codeql-action from 3.23.0 to 3.24.5

Merge pull request #3926 from facebook/checkoutVersion

fix version of actions/checkout

fix version of actions/checkout

Merge pull request #3811 from teo-tsirpanis/unified-target

Export a `zstd::libzstd` CMake target if only static or dynamic linkage is specified.

Merge branch 'dev' into unified-target

Define the unified target inside the CMake project, and export it.

This is less error-prone.

Merge pull request #3916 from facebook/no_sprintf

removed sprintf usage from zstdcli.c

Merge pull request #3917 from facebook/targetCBlock_moreRegular

More regular block sizes with `targetCBlockSize`

sizeBlockSequences() also tracks uncompressed size

and only defines a sub-block boundary when
it believes that it is compressible.

It's effectively an optimization,
avoiding a compression cycle to reach the same conclusion.

minor refactor for clarity

since we can ensure that nbSubBlocks>0

optimization: bail out faster in presence of incompressible data

nit: comment indentation

as reported by @terrelln

minor: reformulate nbSubBlocks assignment

fix extraneous semicolon ';'

as reported by @terrelln

Bump github/codeql-action from 3.23.0 to 3.24.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.23.0 to 3.24.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e5f05b81d5b6ff8cfa111c80c22c5fd02a384118...47b3d888fe66b639e431abf22ebca059152f1eea)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

fix minor visual static analyzer warning

it's a false positive,
but change the code nonetheless to make it more obvious to the static analyzer.

targetCBlockSize: modified splitting strategy to generate blocks of more regular size

notably avoiding to feature a larger first block

removed sprintf usage from zstdcli.c

some static analyzers flag this standard C90 function as unsafe.

Merge pull request #3915 from facebook/targetCBlockSize

Improve speed of ZSTD_c_targetCBlockSize

reduced minimum compressed block size

with the intention to match the transport layer size,
such as Ethernet and 4G mobile networks.