Add extra space to match linux kernel

Add comment to unused variable suppression

[linux-kernel] Don't add -O3 to CFLAGS

It is no longer necessary to get good performance, there is only a small
speed difference between -O2 and -O3, so just stick to the default of
-O2.

This also fixes the stack space usage on parisc. The compiler was buggy
for -O3 and used ~3KB of stack space for several functions. With -O2 the
problem is completely resolved, and stack space is back to a few hundred
bytes.

Additionally, we get a large code size win on gcc:

| Compiler | Before (Bytes) | After (Bytes) | Delta (Bytes) |
|----------|----------------|---------------|---------------|
| gcc-11   |         952754 |        738954 |       -213800 |
| clang-12 |         976290 |        938826 |        -37464 |

[linux-kernel] Don't inline function in zstd_opt.c

The optimal parser is unlikely to be used in the linux kernel in
practice. There is no reason these functions should be force inlined,
since we aren't gaining anything, and are losing build size.

| Compiler | Before (Bytes) | After (Bytes) | Delta (Bytes) |
|----------|----------------|---------------|---------------|
| gcc-11   |        1142090 |        952754 |       -189336 |
| clang-12 |        1228402 |        976290 |       -252112 |

This is a temporary solution pending the resolution of Issue #2862 in
the `dev` branch.

Fix unused variable warning

`litLengthSum` is unused when asserts are disabled. Already fixed in `dev` by
PR#2838. Found by the Kernel test robot [0].

[0] https://lore.kernel.org/linux-mm/202111120312.833wII4i-lkp@intel.com/T/

Reported-by: kernel test robot <lkp@intel.com>

Backport zstd patch from LKML

Credit to Nathan Chancellor for the bug fix and Nick Desaulniers for the
bug report.

Link: ClangBuiltLinux/linux#1486
Link: https://lore.kernel.org/all/20211021202353.2356400-1-nathan@kernel.org/

[binary-tree] Fix underflow of nbCompares

Fix underflow of `nbCompares` by switching to an `int` and comparing
`nbCompares > 0`. This is a minimal fix, because I don't want to change
the logic. These loops seem to be doing `nbCompares + 1` comparisons.

The bug was reported by Dan Carpenter and found by Smatch static
checker.

https://lore.kernel.org/all/20211008063704.GA5370@kili/

[ldm] Fix ZSTD_c_ldmHashRateLog bounds check

There is no minimum value check, so the parameter could be negative.
Switch to the standard pattern of using `BOUNDCHECK()`.

The bug was reported by Dan Carpenter and found by Smatch static
checker.

https://lore.kernel.org/all/20211008063704.GA5370@kili/

[nit] Fix buggy indentation

The bug was reported by Dan Carpenter and found by Smatch static
checker.

https://lore.kernel.org/all/20211008063704.GA5370@kili/

[multiple-ddicts] Fix NULL checks

The bug was reported by Dan Carpenter and found by Smatch static
checker.

https://lore.kernel.org/all/20211008063704.GA5370@kili/

[lib] Make lib compatible with `-Wfall-through` excepting legacy

Switch to a macro `ZSTD_FALLTHROUGH;` instead of a comment. On supported
compilers this uses an attribute, otherwise it becomes a comment.

This is necessary to be compatible with clang's `-Wfall-through`, and
gcc's `-Wfall-through=2` which don't support comments. Without this the
linux build emits a bunch of warnings.

[contrib][linux] Reduce stack usage by 80 bytes

Instead of calling `ZSTD_compress_advanced()` and
`ZSTD_initCStream_advanced()`, which each take a `ZSTD_parameters` by
value, use the new advanced API.

Stack usage went from 2024 -> 1944.

[contrib][linux] Fix up SPDX license identifiers

Correctly identify that we are GPL v2+ or BSD 3 clause, as pointed out
in issue #2663.

[linux-kernel] Replace kernel-style comments

Replace kernel-style comments with regular comments.

E.g.

```
/** Before */

/* After */

/**
 * Before
 */

/*
 * After
 */

/***********************************
 * Before
 ***********************************/

/* *********************************
 * After
 ***********************************/
```

[contrib][linux-kernel] Add zstd_min_clevel() and zstd_max_clevel()

[copyright][license] Switch to yearless copyright and some cleanup in the linux-kernel files

* Switch to yearless copyright per FB policy
* Fix up SPDX-License-Identifier lines in `contrib/linux-kernel` sources
* Add zstd copyright/license header to the `contrib/linux-kernel` sources
* Update the `tests/test-license.py` to check for yearless copyright
* Improvements to `tests/test-license.py`
* Check `contrib/linux-kernel` in `tests/test-license.py`

Merge pull request #2539 from terrelln/linux-kernel-fixes

Fixes for the next linux kernel patch version

Merge pull request #2538 from senhuang42/monotonicity_test

Add memory monotonicity test over srcSize

Merge pull request #2524 from terrelln/huf-stack-reduction

[huf] Reduce stack usage of HUF_readDTableX2 by ~972 bytes

[FSE] Clean up workspace using dynamically sized struct

Merge pull request #2550 from facebook/vvv_srcSize

fix #2549

Make ZSTD_estimateCCtxSize_internal() loop through all srcSize parameter sets as well

fix #2549

Merge pull request #2548 from SupervisedThinking/build_fix

meson: fix build by adding missing files

meson: fix build by adding missing files

fixes https://github.com/facebook/zstd/issues/2519

Merge pull request #2540 from senhuang42/fix_dds_supported

Fix dedicated dict search isSupported() requirements.

[huf][fse] Clean up workspaces

* Move `counting` to a struct in `FSE_decompress_wksp_body()`
* Fix error code in `FSE_decompress_wksp_body()`
* Rename a variable in `HUF_ReadDTableX2_Workspace`

Fix ZSTD_dedicatedDictSearch_isSupported() requirements

[lib] Bump zstd version number

[lib][tracing] Add ZSTD_NO_TRACE macro

When defined, it disables tracing, and avoids including the header.

[contrib][freestanding] Remove tracing support

Remove tracing support from `freestanding.py` to keep things simple.

[contrib][linux] Expose zstd headers to avoid duplication

Expose the zstd headers in `include/linux` to avoid struct duplication.
This makes the member names not follow Kernel style guidelines, and
exposes the zstd symbols. But, the LMKL reviewers are okay with that.

[contrib][linux-kernel] Update test include stubs

Update the test include stubs so they are able to run the current zstd
version in the kernel, so I can compare stack usage.

[contrib][linux-kernel] Fix unaligned.h

Fix the `unaligned.h` shim in the tests that was causing corruption in
the tests. Note that this is a problem with the test shim, not the
kernel code.

Merge pull request #2534 from foxeng/fix-seek-descriptor-check

Fix seek table descriptor check when loading

Add mem monotonicity test over srcSize

Merge pull request #2535 from felixhandte/gha-release-artifacts

Add GitHub Action to Automatically Publish Release Tarballs

Allow a Passphrase on the Key

Maintain Artifact Name Backwards Compatibility

When the tag is `v1.2.3`, name the artifacts `zstd-1.2.3.tar*` rather than
`zstd-v1.2.3.tar*`. When the tag doesn't match, use the full tag.

Run generic-dev:gcc-8-asan-ubsan-testzstd on latest Ubuntu

Remove CircleCI Artifact Generation

Fix seekable test to provide valid descriptor

Fix seek table descriptor check when loading

Add GitHub Action to Automatically Publish Release Tarballs

This commit introduces a GitHub action that is triggered on release creation,
which creates the release tarball, compresses it, hashes it, signs it, and
attaches all of those files to the release.

Merge pull request #2517 from PaulBone/num_cores

Make the number of physical CPU cores detection more robust

Merge pull request #2521 from animalize/doc_free

doc: ZSTD_free*() functions accept NULL pointer

[fse] Reduce stack usage of FSE_decompress_wksp() by 512 bytes

* Move `counting` into the workspace
* Inrease `HUF_DECOMPRESS_WORKSPACE_SIZE` by 512 bytes

[huf] Reduce stack usage of HUF_readDTableX2 by ~460 bytes

* Use `HUF_readStats_wksp()`
* Use workspace in `HUF_fillDTableX2*()`
* Clean up workspace usage to use a workspace struct

Merge pull request #2523 from terrelln/huf-stack-reduction

Add HUF_writeCTable_wksp() function

Add HUF_writeCTable_wksp() function

This saves ~700 bytes of stack space in HUF_writeCTable.

Merge pull request #2522 from terrelln/stack-reduction

Reduce stack usage of ZSTD_buildCTable()

Reduce stack usage of ZSTD_buildCTable()

It is a stack high-point for some compression strategies and has an easy
fix. This moves the normalized count into the entropy workspace.

Merge pull request #2518 from facebook/seekTable

New direct seekTable access methods

added code comments for new API ZSTD_seekTable

Merge branch 'seekTable' of github.com:facebook/zstd into seekTable

doc: ZSTD_free*() functions accept NULL pointer

added test case for seekTable API

and simple roundtrip test

fixed gcc-7 conversion warning

fixed wrong assert condition

fixed gcc conversion warnings

Merge branch 'dev' into seekTable

Merge pull request #2516 from senhuang42/seekable_hang_fix

Seekable hang fix

various minor style fixes

Only set numPhysicalCores if ratio is valid

If cpuinfo parsing fails fallback to sysconf

strengthen compilation flags

fixed const guarantees

read-only objects are properly const-ified in parameters

fix potential leak on exit

Fix seekable decompress hanging

ZSTD_seekable_decompress() example that hangs.

Merge pull request #2113 from mdittmer/expose-seek-table

[contrib] Support seek table-only API

Merge pull request #2514 from felixhandte/v1.4.9

Prepare Codebase for v1.4.9 Release

Update CHANGELOG

Documentation Rebuild

Bump Library Version 1.4.8 -> 1.4.9

Merge pull request #2513 from felixhandte/fix-2493

Avoid Using `stat -c` on NetBSD

Merge pull request #2512 from felixhandte/fix-2509

Detect `..` in Paths Correctly

Avoid Using `stat -c` on NetBSD

Addresses #2493. I think. I don't have a NetBSD system to test on.

Cover These Edge Cases in Tests

Detect `..` in Paths Correctly

This commit addresses #2509.

Merge pull request #2510 from terrelln/regression

[regression] Update results.csv

[regression] Update results.csv

Fixes the update from PR #2508. I had accidentally forgotten to rebuild
the library, and the regression test suite isn't hooked up to the new
fancy build system yet.

I've double checked that the results are deterministic.

Merge pull request #2492 from niacat/dev

Use standard md5 tool on NetBSD.

Merge pull request #2489 from concatime/cmake-c-lib-programs

CMake: Enable only C for lib and programs projects

Merge pull request #2508 from terrelln/regression

[regression] Update results.csv

[regression] Update results.csv

9f327c02fd17a5aad2b24ae06b85d8226add1f93 changed the compression method
for LDM, so the results are slightly different.

I've re-tested LDM on some larger inputs and everything seems fine.
These ratio changes just seem to be noise. There is generally a 0.01%
swing in ratio, sometimes better sometimes worse, but never large.

Merge pull request #2507 from facebook/freebsd12_2

update FreeBSD image to latest 12.2

Merge pull request #2504 from skitt/stop-using-resetxstream

Stop using deprecated reset?Stream functions

disabled icc tests on Github Actions

Stop using deprecated reset?Stream functions

These are replaced by the corresponding context resets. When
converting resetCStream, CCtx_setPledgedSrcSize isn't called if the
source size is "unknown".

This helps reduce the reliance on "static only" symbols, as well as
reducing the use of deprecated functions.

Signed-off-by: Stephen Kitt <steve@sk2.org>

update FreeBSD image to latest 12.2

Merge pull request #2502 from facebook/ubsanfix

fix ubsan test errors

removing signed integer overflow exception from ubsan tests

Merge pull request #2503 from terrelln/fuzz-ubsan

[fuzz] Fix compiler detection & update ubsan flags

[fuzz] Fix compiler detection & update ubsan flags

* Fix compiler version regex, which was broken for multi-digit
  versions.
* Fix compiler detection for gcc.
* Disable `pointer-overflow` instead of `integer-overflow` for gcc
  versions newer than 8.0.0.

fix ubsan test errors

allows recovering from pointer overflow

Merge pull request #2495 from felixhandte/umask

Use umask() to Constrain Created File Permissions

Use umask() to Constrain Created File Permissions

This commit addresses #2491.

Note that a downside of this solution is that it is global: `umask()` affects
all file creation calls in the process. I believe this is safe since
`fileio.c` functions should only ever be used in the zstd binary, and these
are (almost) the only files ever created by zstd, and AIUI they're only
created in a single thread. So we can get away with messing with global state.

Note that this doesn't change the permissions of files created by `dibio.c`.
I'm not sure what those should be...

Merge pull request #2500 from senhuang42/add_cli_newline

[easy][cli] Add newline to boundary of --help message of --trace and --[no-]check

Add newline to end of cli help message