On more mistake (Node -> Note)

Typo and grammar fixes

Merge pull request #3088 from cyberknight777/dev

[contrib][linux] Fix a warning in zstd_reset_cstream()

Merge pull request #3093 from dirkmueller/cli_tests_fixup

Handle newer less versions in zstdless testing

Handle newer less versions in zstdless testing

Newer less versions appear to have changed how stderr
and stdout are showing error messages. hardcode the
expected behavior to make the tests pass with any less version.

Also set locale to C so that the strings are matching.

[contrib][linux] Make zstd_reset_cstream() functionally identical to ZSTD_resetCStream()

- As referenced by Nick Terrelln ~ the ZSTD maintainer in the linux kernel, making zstd_reset_cstream() functionally identical to ZSTD_resetCStream() would be the perfect way to fix the warning without touching any core functions or breaking other parts of the code.

Suggested-by: Nick Terrell <terrelln@fb.com>
Signed-off-by: Cyber Knight <cyberknight755@gmail.com>

Merge pull request #3092 from terrelln/2022-03-09-decoder-errata-doc

[doc] Add decompressor errata document

[doc] Add decompressor errata document

Add a document that lists the known bugs in the decoder where valid
frames are rejected, along with the version that they were fixed.

Merge pull request #3059 from dirkmueller/gzip_fast_best

Implement more gzip compatibility (#3037)

Merge pull request #3079 from niamster/cmake-compat-5

build:cmake: enable ZSTD legacy support by default

[contrib][linux] Use ZSTD_CCtx_setPledgedSrcSize() instead of ZSTD_CCtx_reset()

- The previous patch throws the following warning:

 ../linux/lib/zstd/zstd_compress_module.c: In function ‘zstd_reset_cstream’:
../linux/lib/zstd/zstd_compress_module.c:136:34: error: enum conversion when passing argument 2 of ‘ZSTD_CCtx_reset’ is invalid in C++ [-Werror=c++-compat]
  136 |  return ZSTD_CCtx_reset(cstream, pledged_src_size);
      |                                  ^~~~~~~~~~~~~~~~
In file included from ../linux/include/linux/zstd.h:26,
                 from ../linux/lib/zstd/zstd_compress_module.c:15:
../linux/include/linux/zstd_lib.h:501:20: note: expected ‘ZSTD_ResetDirective’ {aka ‘enum <anonymous>’} but argument is of type ‘long long unsigned int’
  501 | ZSTDLIB_API size_t ZSTD_CCtx_reset(ZSTD_CCtx* cctx, ZSTD_ResetDirective reset);
      |                    ^~~~~~~~~~~~~~~
cc1: all warnings being treated as errors

Since we have a choice to either use ZSTD_CCtx_reset or ZSTD_CCtx_setPledgedSrcSize instead of ZSTD_resetCStream, let's switch to ZSTD_CCtx_setPledgedSrcSize to not have any unnecessary warns alongside the kernel build and CI test build.

Signed-off-by: Cyber Knight <cyberknight755@gmail.com>

[contrib][linux] Fix a warning in zstd_reset_cstream()

- This fixes the below warning:

../lib/zstd/zstd_compress_module.c: In function 'zstd_reset_cstream':
../lib/zstd/zstd_compress_module.c:136:9: warning: 'ZSTD_resetCStream' is deprecated [-Wdeprecated-declarations]
  136 |         return ZSTD_resetCStream(cstream, pledged_src_size);
      |         ^~~~~~
In file included from ../include/linux/zstd.h:26,
                 from ../lib/zstd/zstd_compress_module.c:15:
../include/linux/zstd_lib.h:2277:8: note: declared here
 2277 | size_t ZSTD_resetCStream(ZSTD_CStream* zcs, unsigned long long pledgedSrcSize);
      |        ^~~~~~~~~~~~~~~~~

ZSTD_resetCstream is deprecated and zstd_CCtx_reset is suggested to use hence let's switch to it.

Signed-off-by: Cyber Knight <cyberknight755@gmail.com>

Merge pull request #3060 from rex4539/typos

Fix typos

Fix typos

fix the assertion in readLinesFromFile (#3084)

* fix the assertion in readLinesFromFile

When the file is not terminated by endline, readLineFromFile will append
a '\0' for the last line.  In this case pos + lineLength == dstCapacity.

* test: don't print very long text garbage

Merge pull request #3080 from TocarIP/tokarip/static_bmi2

Enable STATIC_BMI2 for gcc/clang

Enable STATIC_BMI2 for gcc/clang

Some usage (e.g. BIT_getLowerBit) uses it without checking for MSVC,
so enabling for clang gives a small performance boost.

Fix CI failures by adding apt-get update to Github Actions (#3082)

* Fix CI failures by adding apt-get update to Makefile

* Fix travis failure caused by apt-get update

* Move apt-get update from Makefile to Github Actions .yml

* Revert .travis.yml change

* Fix typo

Merge pull request #3081 from terrelln/dict-load-zero

[programs] Fix infinite loop when empty input is passed to trainer

[programs] Fix infinite loop when empty input is passed to trainer

When an empty input file was passed to the dictionary trainer, it would infinite loop.
The added test case exposes the bug, and is fixed with this PR.

build:cmake: enable ZSTD legacy support by default

Merge pull request #3075 from TocarIP/tokarip/bzhi

Use helper function for bit manipulations.

Use helper function for bit manipulations.

We already have BIT_getLowerBits, so use it. Benefits are 2fold:
1) Somewhat cleaner code
2) We are now using bzhi instructions, when available. Performance
delta is too small for microbenchmarks, but avoiding load still helps
larger applications, by reducing data cache pressure.

Merge pull request #3045 from embg/asm_refactor

Refactor bitwise intrinsics

Replace XOR with subtraction for readability

Fix fuzzer.c nits and replace CLZ fallback

Add back check to prevent Win32 static analysis issues

Add tests for bitwise intrinsics

bits.h refactor and bugfix

Fix nits

Pull out software fallbacks

Move bitwise builtins into bits.h

Merge pull request #3063 from embg/largeNbDicts

Bugfix and new features for largeNbDicts benchmark

Bugfix and new features for largeNbDicts benchmark

Merge pull request #3054 from ooosssososos/patch-1

[trace] Add aarch64 to supported architectures for zstd_trace

Implement more gzip compatibility (#3037)

-n --no-name is the current behavior already, so we can implement
this as a noop.

--best is an alias for -9 in gzip

add basic cli tests.

Merge pull request #3061 from embg/debug_ci_windows

Debug Windows CI failures

Replace "windows-latest" with "windows-2019" in CI workflows

Move zstdgrep and zstdless tests to cli-tests (#3057)

* Move zstdgrep and zstdless tests to cli-tests

Co-authored-by: Binh Vo <binhvo@fb.com>

Merge pull request #3055 from terrelln/cli-test-symlinks

[cli-tests] Fix zstd symlinks

[cli-tests] Fix zstd symlinks

The zstd symlinks, notably `zstdcat`, weren't working as expected
because only the `tests/cli-tests/bin/zstd` wrapper was symlinked. We
still invoked `zstd` with the name `zstd`. The fix is to create a
directory of zstd symlinks in `tests/cli-tests/bin/symlinks` for each
name that zstd recognizes. And when `tets/cli-tests/bin/zstd` is
invoked, it selects the correct symlink to call.

See the test `zstd-cli/zstdcat.sh` for an example of how it would work.

[trace] Add aarch64 to supported architectures for zstd_trace

Arm Toolchain should support weak symbols

Merge pull request #3050 from shadchin/patch-1

Select legacy level for cmake

Merge pull request #3042 from u1f35c/fix2968

Fix required decompression memory usage reported by -vv + --long

Merge pull request #3046 from rex4539/typos

Fix typos

Select legacy level for cmake

Macos playtest envvars fix (#3035)

* playtests.sh: fix for a bug in macos' /bin/sh that persists temporary env vars when introduced before function calls
* cli-tests/run.py: Do not use existing ZSTD* envvars

Add rails for huffman table log calculation (#3047)

Fix typos

Fix required decompression memory usage reported by -vv + --long

The use of --long alters the window size internally in the underlying
library (lib/compress/zstd_compress.c:ZSTD_getCParamsFromCCtxParams),
which changes the memory required for decompression. This means that the
reported requirement from the zstd binary when -vv is specified is
incorrect.

A full fix for this would be to add an API call to be able to retrieve
the required decompression memory from the library, but as a
lighterweight fix we can just take account of the fact we've enabled
long mode and update our verbose output appropriately.

Fixes #2968

Merge pull request #3040 from facebook/fix44239

fix 44239

fix 44239

credit to oss-fuzz

This issue could happen when using the new Sequence Compression API in Explicit Delimiter Mode
with a too small dstCapacity.
In which case, there was one place where the buffer size wasn't checked.

Merge pull request #3036 from facebook/fix44168

fixed bug 44168

Merge branch 'dev' into fix44168

Travis CI: fix by installing pip compatible with python 3.6 (#3041)

Pip install script no longer supports python3.6 by default, switched to a script that does.

update sequence_compression_api fuzzer test

to check for under-sized dstCapacity.

AsyncIO compression part 2 - added async read and asyncio to compression code (#3022)

* Compression asyncio:
- Added asyncio functionality for compression flow
- Added ReadPool for async reads, implemented in both comp and decomp flows

Merge pull request #3020 from terrelln/cli-tests

Add new CLI testing platform

Fix static analysis false-positives

* It couldn't detect that the `fastCoverParams` can't be non-null, since it was just an assertion.
* It thought we were accesing `wksp->dtable` beyond the bounds because we were using it to set the `workSpace` value. Instead, compute the workspace size used in a different way.

fixed bug 44168

discovered by oss-fuzz

It's a bug in the test itself :
ZSTD_compressBound() as an upper bound of the compress size
only works for data compressed "normally".
But in situations where many flushes are forcefully introduced,
this creates many more blocks,
each of which has a potential to increase the size by 3 bytes.
In extreme cases (lots of small incompressible blocks), the expansion can go beyond ZSTD_compressBound().

This situation is similar when using the CompressSequences() API
with Explicit Block Delimiters.
In which case, each explicit block acts like a deliberate flush.
When employed by a fuzzer, it's possible to generate scenarios like the one described above,
with tons of incompressible blocks of small sizes,
thus going beyond ZSTD_compressBound().

fix : when using Explicit Block Delimiters, use a larger bound, to account for this scenario.

Merge pull request #3027 from brailovich/dev

fix for -r on empty directory

Merge pull request #3030 from terrelln/verbose-version

Print zlib/lz4/lzma library versions in verbose version output

minor refactor to blocksplit

notably simplication of ZSTD_deriveSeqStoreChunk()

Merge pull request #3034 from facebook/fix44122

fix 44122 test error

fix 44122 test error

It's a bug in the test itself, in exceptional circumstances (no more space for additional sequence).

There should be enough room for all cases to work fine from now on,
and if not, we have an additional `assert()` to catch that situation.

[CI] Hook cli-tests up to CI

Add cli-tests to `make test`. This adds a `python3` dependency to `make
test`, but not `make check`. We could make this dependency optional by
skipping the tests if `python3` is not present.

[test] Add new CLI testing platform

Adds the new CLI testing platform that I'm proposing.
See the added `README.md` for details.

[datagen] Remove extra newline printed

`datagen` was printing a `\n` even when it had no other output. Raise
the output level for the final `\n` to the minimum output level used.

This minor bug was caught by the new testing framework.

[zstdcli] Fix option detection for --auto-threads

The option `--auto-threads` should still be accepted and parsed, even if
`ZSTD_MULTITHREAD` is not defined. It doesn't mean anything, but we
should still accept the option. Since we want scripts to be able to work
generically.

This bug was caught by tests I added to the new testing framework.

[dibio] Fix assertion triggered by no inputs

Passing 0 inputs to `DiB_shuffle()` caused an assertion failure where
it should just return.

A test is added in a later commit, with the initial introduction of the
new testing framework.

Fixes #3007.

Merge pull request #3033 from facebook/fix44108

fix issue 44108

Update playTests.sh

combination of -r with empty folder simplified to comply with sh compatibility tests

Merge pull request #2974 from facebook/fix2966_part3

Lazy parameters adaptation (part 1 - ZSTD_c_stableInBuffer)

fix issue 44108

credit to oss-fuzz

In rare circumstances, the block-splitter might cut a block at the exact beginning of a repcode.
In which case, since litlength=0, if the repcode expected 1+ literals in front, its signification changes.
This scenario is controlled in ZSTD_seqStore_resolveOffCodes(),
and the repcode is transformed into a raw offset when its new meaning is incorrect.

In more complex scenarios, the previous block might be emitted as uncompressed after all,
thus modifying the expected repcode history.
In the case discovered by oss-fuzz, the first block is emitted as uncompressed,
so the repcode history remains at default values: 1,4,8.

But since the starting repcode is repcode3, and the literal length is == 0,
its meaning is : = repcode1 - 1.
Since repcode1==1, it results in an offset value of 0, which is invalid.

So that's what the `assert()` was verifying : the result of the repcode translation should be a valid offset.

But actually, it doesn't matter, because this result will then be compared to reality,
and since it's an invalid offset, it will necessarily be discarded if incorrect,
then the repcode will be replaced by a raw offset.

So the `assert()` is not useful.
Furthermore, it's incorrect, because it assumes this situation cannot happen, but it does, as described in above scenario.

Update playTests.sh

more usage of new error code stabilityCondition_notRespected

as suggested by @terrelln

Print zlib/lz4/lzma library versions in verbose version output

Knowing the version of zlib/lz4/lzma we're linking against is very
useful for debugging issues with those libraries, so print it out in the
verbosity 4 version output.

Also print this information at the top of `playTests.sh`.

Merge pull request #3019 from facebook/huf_traces

More traces to improved debugging of literals compression

Update playTests.sh

Update zstdcli.c

removed new huffman depth heuristic

results are now identical to before this PR

introduced LitHufLog constant

which properly represents the maximum bit size of compressed literals (11) as defined in the specification.

To be preferred from HUF_TABLELOG_DEFAULT which represents the same value but by accident.

Name selected to keep the same convention as existing width definitions,
MLFSELog, LLFSELog and OffFSELog.

renamed HufLog into ZSTD_HUFFDTABLE_CAPACITY_LOG

old name was not descriptive and actually misleading

moved HufLog to lib/decompress

it's only used to size decompression tables

only declare debug functions in debug mode

proper max limit to 11

update regression tests

minor compression ratio benefits in some cases,
no compression ratio regression in the measured scenarios.

improved compression of literals in specific corner cases

In rare cases, the default huffman depth selector is a bit too harsh,
requiring brutal adaptations to the tree,
resulting is some loss of compression ratio.
This new heuristic avoids the worse cases, favoring compression ratio.

As an example, compression of a specific distribution of 771 literals
is now improved to 441 bytes, from 601 bytes before.

adding traces to better track processing of literals

Merge pull request #3023 from facebook/fix_seqCompress_withDelimiter

fix sequence compression API in Explicit Delimiter mode

added ZSTD_compressStream2() + ZSTD_c_stableInBuffer test

added helper function inBuffer_forEndFlush()

converted checks into user validation generating error codes

had to create a new error code for this condition,
none of the existing ones were fitting enough.

added streaming test starting from non-0 pos

fix extended case combining stableInBuffer with continue() and flush() modes

better consistency in accessing @input

as suggested by @terrelln.

Also : commented zstreamtest more
to ensure ZSTD_stableInBuffer is tested/

pretend consuming input to provide a sense of forward progress

fixed incorrect comment

minor behavior refinements

specifically, there is no obligation to start streaming compression with pos=0.
stableSrc mode is now compatible with this setup.

make stableSrc compatible with regular streaming API

including flushStream().

Now the only condition is for `input.size` to continuously grow.