added c89 build test to CI

Bugfixes for the External Matchfinder API (#3433)

* external matchfinder bugfixes + tests

* small doc fix

Merge pull request #3418 from daniellerozenblit/fuzz-max-block-size

Fuzz on maxBlockSize

Merge pull request #3423 from facebook/ptime

Refactor timefn, restore support for clock_gettime()

[tests] Fix version test determinism

The dictionary source files were taken from the `dev` branch before this
commit, which could introduce non-determinism on PR jobs. Instead take
the sources from the PR checkout.

This PR also adds stderr logging, and verbose output for the jobs that
are failing, to help catch the failure if it occurs again.

fix maxBlockSize resolution + add test cases

Merge pull request #3424 from felixhandte/disable-asan-msan-poison-mingw

Disable Custom ASAN/MSAN Poisoning on MinGW Builds

fix msys2 symlink breakage in CI (#3429)

Bump github/codeql-action from 2.1.37 to 2.1.38 (#3428)

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2.1.37 to 2.1.38.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/959cbb7472c4d4ad70cdfe6f4976053fe48ab394...515828d97454b8354517688ddc5b48402b723750)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>
Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Deprecate advanced streaming functions (#3408)

* deprecate advanced streaming functions

* remove internal usage of the deprecated functions

* nit

* suppress warnings in tests/zstreamtest.c

* purge ZSTD_initDStream_usingDict

* nits

* c90 compat

* zstreamtest.c already disables deprecation warnings!

* fix initDStream() return value

* fix typo

* wasn't able to import private symbol properly, this commit works around that

* new strategy for zbuff

* undo zbuff deprecation warning changes

* move ZSTD_DISABLE_DEPRECATE_WARNINGS from .h to .c

missing #include for Windows

Don't Even Declare Poisoning Functions if Poisoning is Disabled

This guarantees that we won't accidentally forget to check the macro somewhere
where we use these functions.

Disable Custom ASAN/MSAN Poisoning on MinGW Builds

Addresses #3240.

move ZSTD_BLOCKSIZE_MAX_MIN to static linking only section

Merge pull request #3419 from facebook/fix3416

fix root cause of #3416

restore support of clock_gettime() for POSIX systems

This should notably allow posix systems with timespec_get()
to have access to a high resolution timer,
instead of falling back to C90's clock_t.

refactor timefn

The timer storage type is no longer dependent on OS.
This will make it possible to re-enable posix precise timers
since the timer storage type will no longer be sensible to #include order.
See #3168 for details of pbs of previous interface.

Suggestion by @terrelln

Add support for in-place decompression

* Add a function and macro ZSTD_decompressionMargin() that computes the
  decompression margin for in-place decompression. The function computes
  a tight margin that works in all cases, and the macro computes an upper
  bound that will only work if flush isn't used.
* When doing in-place decompression, make sure that our output buffer
  doesn't overlap with the input buffer. This ensures that we don't
  decide to use the portion of the output buffer that overlaps the input
  buffer for temporary memory, like for literals.
* Add a simple unit test.
* Add in-place decompression to the simple_round_trip and
  stream_round_trip fuzzers. This should help verify that our margin stays
  correct.

add explanation about new test

as requested by @terrelln

fix root cause of #3416

A minor change in 5434de0 changed a `<=` into a `<`,
and as an indirect consequence allowed compression attempt of literals when there are only 6 literals to compress
(previous limit was effectively 7 literals).

This is not in itself a problem, as the threshold is merely an heuristic,
but it emerged a bug that has always been there, and was just never triggered so far due to the previous limit.
This bug would make the literal compressor believes that all literals are the same symbol,
but for the exact case where nbLiterals==6, plus a pretty wild combination of other limit conditions,
this outcome could be false, resulting in data corruption.

Replaced the blind heuristic by an actual test for all limit cases,
so that even if the threshold is changed again in the future,
the detection of RLE mode will remain reliable.

Merge pull request #3413 from facebook/timefn

minor refactoring for timefn

additional tests and documentation updates + allow maxBlockSize to be set to 0 (goes to default)

Merge pull request #3402 from facebook/dependabot/github_actions/ossf/scorecard-action-2.1.2

Bump ossf/scorecard-action from 2.1.0 to 2.1.2

add simple test for maxBlockSize expected functionality

Completely overhaul Windows CI (#3410)

* Overhaul windows CI

* upgrade setup-msbuild from v1.1.3 to v1.3

* remove cmake 2019 test

* fix 32-bit gcc mingw test

* merge conflict

update minimum threshold for max block size

Make the producer use the same amount of entropy

Fix fuzzing with ZSTD_MULTITHREAD

At Google we fuzz zstd without ZSTD_MULTITHREAD but we want inputs to be as much as reproducible. It allows us to test new fuzzing methods for our fuzz team internally and have more horsepower to find bugs

Merge pull request #3414 from facebook/dependabot/github_actions/actions/checkout-3.3.0

Bump actions/checkout from 3.2.0 to 3.3.0

resolve max block value in cctx and use when calculating the max block size

Bump actions/checkout from 3.2.0 to 3.3.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.2.0 to 3.3.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/755da8c3cf115ac066823e79a1e1788f8940201b...ac593985615ec2ede58e132d2e21d2b1cbd6127c)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

minor simplification refactoring for timefn

`UTIL_getSpanTimeMicro()` can be factored in a generic way,
reducing OS-dependent code.

minor: fix conversion warnings

Merge branch 'dev' into fuzz-max-block-size

initial commit

Merge pull request #3391 from facebook/fix3228

improve compression ratio of small alphabets

update levels.sh test

comparing level 19 to level 22 and expecting a stricter better result from level 22
is not that guaranteed,
because level 19 and 22 are very close to each other,
especially for small files,
so any noise in the final compression result
result in failing this test.

Level 22 could be compared to something much lower, like level 15,
But level 19 is required anyway, because there is a clamping test which depends on it.

Removed level 22, kept level 19

update regression results

improve compression ratio of small alphabets

fix #3328

In situations where the alphabet size is very small,
the evaluation of literal costs from the Optimal Parser is initially incorrect.
It takes some time to converge, during which compression is less efficient.
This is especially important for small files,
because there will not be enough data to converge,
so most of the parsing is selected based on incorrect metrics.

After this patch, the scenario ##3328 gets fixed,
delivering the expected 29 bytes compressed size (smallest known compressed size).

Merge pull request #3302 from daniellerozenblit/optimal-huff-depth-speed

Optimal huff depth speed improvements

update regression results.csv

implement suggestions

Merge pull request #3248 from facebook/opt_comments1

[easy] add a few comments to the optimal parser code base for improved clarity

fixed incorrect assert

commented Fweight instead

just add some comments to zstd_opt for improved clarity

Merge pull request #3400 from danlark1/dev

Move deprecated annotation before static to allow C++ compilation for clang

Merge pull request #3395 from terrelln/2022-12-21-deprecated-test

[tests] Remove deprecated function from longmatch.c test

update ZSTD_CCts_setCParams() inline documentation

specify behavior when changing compression parameters during MT compression,
reported by @embg

Merge pull request #3403 from facebook/setCParams

ZSTD_CCtx_setCParams

External matchfinder API (#3333)

* First building commit with sample matchfinder

* Set up ZSTD_externalMatchCtx struct

* move seqBuffer to ZSTD_Sequence*

* support non-contiguous dictionary

* clean up parens

* add clearExternalMatchfinder, handle allocation errors

* Add useExternalMatchfinder cParam

* validate useExternalMatchfinder cParam

* Disable LDM + external matchfinder

* Check for static CCtx

* Validate mState and mStateDestructor

* Improve LDM check to cover both branches

* Error API with optional fallback

* handle RLE properly for external matchfinder

* nit

* Move to a CDict-like model for resource ownership

* Add hidden useExternalMatchfinder bool to CCtx_params_s

* Eliminate malloc, move to cwksp allocation

* Handle CCtx reset properly

* Ensure seqStore has enough space for external sequences

* fix capitalization

* Add DEBUGLOG statements

* Add compressionLevel param to matchfinder API

* fix c99 issues and add a param combination error code

* nits

* Test external matchfinder API

* C90 compat for simpleExternalMatchFinder

* Fix some @nocommits and an ASAN bug

* nit

* nit

* nits

* forward declare copySequencesToSeqStore functions in zstd_compress_internal.h

* nit

* nit

* nits

* Update copyright headers

* Fix CMake zstreamtest build

* Fix copyright headers (again)

* typo

* Add externalMatchfinder demo program to make contrib

* Reduce memory consumption for small blockSize

* ZSTD_postProcessExternalMatchFinderResult nits

* test sum(matchlen) + sum(litlen) == srcSize in debug builds

* refExternalMatchFinder -> registerExternalMatchFinder

* C90 nit

* zstreamtest nits

* contrib nits

* contrib nits

* allow block splitter + external matchfinder, refactor

* add windowSize param

* add contrib/externalMatchfinder/README.md

* docs

* go back to old RLE heuristic because of the first block issue

* fix initializer element is not a constant expression

* ref contrib from zstd.h

* extremely pedantic compiler warning fix, meson fix, typo fix

* Additional docs on API limitations

* minor nits

* Refactor maxNbSeq calculation into a helper function

* Fix copyright

Signal parameter change during MT compression

New xp library symbol : ZSTD_CCtx_setCParams()

Inspired by #3395,
offer a new capability to set all parameters defined in a ZSTD_compressionParameters structure
with a single symbol invocation
to improve user code brevity.

Merge pull request #3394 from terrelln/issue-3010

[cli-tests] Test file stat read/write

Bump ossf/scorecard-action from 2.1.0 to 2.1.2

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.1.0 to 2.1.2.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/937ffa90d79c7d720498178154ad4c7ba1e4ad8c...e38b1902ae4f44df626f11ba0734b14fb91f8f86)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

cmake build: fix nit

reported by @jaimeMF in https://github.com/facebook/zstd/pull/3392#discussion_r1056643794

Move deprecated annotation before static to allow C++ compilation for clang

This fixes last 2 instances of https://github.com/facebook/zstd/issues/3250

Merge pull request #3398 from facebook/fix3316

spec update : require minimum nb of literals for 4-streams mode

spec update : require minimum nb of literals for 4-streams mode

Reported by @shulib :
the specification for 4-streams mode
doesn't work when the amount of literals to compress is 5 bytes.
Extending it, it also doesn't work for sizes 1 or 2.

This patch updates the specification and the implementation
to require a minimum of 6 literals to trigger or accept the 4-streams mode.

The impact is expected to be a no-op :
the 4-streams mode is never triggered for such small quantity of literals anyway,
since it would be wasteful (it costs ~7.3 bytes more than single-stream mode).
An informal lower limit is set at ~256 bytes,
so the technical minimum is very far from this limit.

This is just meant for completeness of the specification.

Merge pull request #3399 from facebook/fix2577

Support decompression of compressed blocks of size ZSTD_BLOCKSIZE_MAX

Support decompression of compressed blocks of size ZSTD_BLOCKSIZE_MAX exactly

Merge pull request #3397 from felixhandte/man-page-tweaks

Man Page Tweaks, Edits, Formatting Fixes

`make man`

Man Page Tweaks, Edits, Formatting Fixes

This started as an application of the edits suggested in #3201 and expanded
from there.

[cli-tests] Add tests that use --trace-file-stat

Basic tests for (de)compressing in the following modes:
* file to file
* file to stdout
* stdin to file
* stdin to stdout

These are basic tests, and aren't testing more advanced scenarios, but
it adds the groundwork for more complex tests as needed.

Fixes #3010.

[tests] Remove deprecated function from longmatch.c test

Thanks to @eli-schwartz for pointing it out!

We should maybe consider adding a helper function for applying
`ZSTD_parameters` and `ZSTD_compressionParameters` to a context.
That would aid the transition to the new API in situations like this.

Fix `make clangbuild` & add CI

Fix the errors for:
* `-Wdocumentation`
* `-Wconversion` except `-Wsign-conversion`

[cmake] Add noexecstack to compiler/linker flags

[cli-tests] Add --set-exact-output to update the expected output

`./run.py --set-exact-output` will update `stdout.expect` and
`stderr.expect` to match the expected output. This doesn't apply to
outputs which use `.glob` or `.ignore`.

[util] Add traces enabled by --trace-file-stat

Print traces to stderr when --trace-file-stat is passed.
We trace all functions that read and write file metadata.

Merge pull request #3385 from jonpalmisc/improve_help

Improve help/usage (`-h`, `-H`) formatting

Merge pull request #3386 from felixhandte/pin-other-action-commit-hashes

Pin Remaining Action Dependencies (Except OSS-Fuzz)

Update tests to expect new CLI help output

Clean up welcome message

Rewrite help output to improve readability

Pin Remaining Action Dependencies (Except OSS-Fuzz)

The one that isn't pinned is the OSS-Fuzz builder and runner. They don't
offer tagged releases. I could pin to the current master commit, but I'm not
sure how desirable that is.

Merge pull request #3384 from felixhandte/pin-checkout-action-commit-hash

Pin actions/checkout Dependency to Specific Commit Hash

[build][cmake] Fix cmake with custom assembler

Tell CMake to explicitly compile our assembly as C code, because we
require it is compiled by a C compiler, and it is only enabled for
clang/gcc.

Fixes #3193.

fix CI errors

Merge branch 'optimal-huff-depth-speed' of github.com:daniellerozenblit/zstd into optimal-huff-depth-speed

huf log speed optimization: unidirectional scan of logs + break when regressing

Pin actions/checkout Dependency to Specific Commit Hash

It's a bit silly, because if we can't trust GitHub, what are we doing here?
But OSSF complains about it, so let's fix it.

Merge pull request #3378 from facebook/dependabot/github_actions/github/codeql-action-2.1.37

Bump github/codeql-action from 1.0.26 to 2.1.37

Merge pull request #3377 from facebook/dependabot/github_actions/ossf/scorecard-action-2.1.0

Bump ossf/scorecard-action from 2.0.6 to 2.1.0

Merge pull request #3340 from facebook/dependabot/github_actions/actions/upload-artifact-3

Bump actions/upload-artifact from 1 to 3

[docs] Clarify dictionary loading documentation

Reinforce that loading a new dictionary clears the current dictionary.
Except for the multiple-ddict mode.

Merge pull request #3173 from felixhandte/update-copyright-company

Update Copyright Comments

Coalesce Almost All Copyright Notices to Standard Phrasing

```
for f in $(find . \( -path ./.git -o -path ./tests/fuzz/corpora -o -path ./tests/regression/data-cache -o -path ./tests/regression/cache \) -prune -o -type f); do sed -i '/Copyright .* \(Yann Collet\)\|\(Meta Platforms\)/ s/Copyright .*/Copyright (c) Meta Platforms, Inc. and affiliates./' $f; done

git checkout HEAD -- build/VS2010/libzstd-dll/libzstd-dll.rc build/VS2010/zstd/zstd.rc tests/test-license.py contrib/linux-kernel/test/include/linux/xxhash.h examples/streaming_compression_thread_pool.c lib/legacy/zstd_v0*.c lib/legacy/zstd_v0*.h
nano ./programs/windres/zstd.rc
nano ./build/VS2010/zstd/zstd.rc
nano ./build/VS2010/libzstd-dll/libzstd-dll.rc
```

Rewrite Copyright Date Ranges from `-present` to `-2022`

Apparently it's better. Somehow.

```
for f in $(find . \( -path ./.git -o -path ./tests/fuzz/corpora -o -path ./tests/regression/data-cache -o -path ./tests/regression/cache \) -prune -o -type f); do echo $f; sed -i 's/\-present/-2022/' $f; done

g co HEAD -- build/meson/
```

Update test-license.py

Update Copyright Year ('2021' -> 'present')

```
for f in $(find . \( -path ./.git -o -path ./tests/fuzz/corpora -o -path ./tests/regression/data-cache -o -path ./tests/regression/cache \) -prune -o -type f);
do
  sed -i 's/\-2021/-present/' $f;
done

g co HEAD -- .github/workflows/dev-short-tests.yml # fix bad match
```

Update Copyright Headers 'Facebook' -> 'Meta Platforms'

```
for f in $(find . \( -path ./.git -o -path ./tests/fuzz/corpora \) -prune -o -type f);
do
  sed -i 's/Facebook, Inc\./Meta Platforms, Inc. and affiliates./' $f;
done
```

Manually Update VS Code Copyright Definitions

Merge pull request #3289 from nmoinvaz/cmake/playtest-win

Don't attempt playTests.sh cmake test if running on Windows.

Merge pull request #3364 from yoniko/fix-windows-mt-thread-resize-bug

Windows MT layer bug fixes

CR fixes

[pzstd] Fixes for Windows build

* Add `Portability.h` to fix min/max issues.
* Fix conversion warnings
* Assert that windowLog <= 23, which is currently always the case.
  This could be loosened, but we aren't looking to add new functionality.

Fixes on top of PR #3375 by @eli-schwartz, which added Windows CI for contrib & programs.

CI: build contrib directory on meson-windows

CI: build programs on meson-windows too

Merge pull request #3376 from facebook/split2

Block splitter : minor reformatting

Bump github/codeql-action from 1.0.26 to 2.1.37

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 1.0.26 to 2.1.37.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/5f532563584d71fdef14ee64d17bafb34f751ce5...959cbb7472c4d4ad70cdfe6f4976053fe48ab394)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>