Fix required decompression memory usage reported by -vv + --long

The use of --long alters the window size internally in the underlying
library (lib/compress/zstd_compress.c:ZSTD_getCParamsFromCCtxParams),
which changes the memory required for decompression. This means that the
reported requirement from the zstd binary when -vv is specified is
incorrect.

A full fix for this would be to add an API call to be able to retrieve
the required decompression memory from the library, but as a
lighterweight fix we can just take account of the fact we've enabled
long mode and update our verbose output appropriately.

Fixes #2968

Travis CI: fix by installing pip compatible with python 3.6 (#3041)

Pip install script no longer supports python3.6 by default, switched to a script that does.

AsyncIO compression part 2 - added async read and asyncio to compression code (#3022)

* Compression asyncio:
- Added asyncio functionality for compression flow
- Added ReadPool for async reads, implemented in both comp and decomp flows

Merge pull request #3020 from terrelln/cli-tests

Add new CLI testing platform

Fix static analysis false-positives

* It couldn't detect that the `fastCoverParams` can't be non-null, since it was just an assertion.
* It thought we were accesing `wksp->dtable` beyond the bounds because we were using it to set the `workSpace` value. Instead, compute the workspace size used in a different way.

Merge pull request #3027 from brailovich/dev

fix for -r on empty directory

Merge pull request #3030 from terrelln/verbose-version

Print zlib/lz4/lzma library versions in verbose version output

minor refactor to blocksplit

notably simplication of ZSTD_deriveSeqStoreChunk()

Merge pull request #3034 from facebook/fix44122

fix 44122 test error

fix 44122 test error

It's a bug in the test itself, in exceptional circumstances (no more space for additional sequence).

There should be enough room for all cases to work fine from now on,
and if not, we have an additional `assert()` to catch that situation.

[CI] Hook cli-tests up to CI

Add cli-tests to `make test`. This adds a `python3` dependency to `make
test`, but not `make check`. We could make this dependency optional by
skipping the tests if `python3` is not present.

[test] Add new CLI testing platform

Adds the new CLI testing platform that I'm proposing.
See the added `README.md` for details.

[datagen] Remove extra newline printed

`datagen` was printing a `\n` even when it had no other output. Raise
the output level for the final `\n` to the minimum output level used.

This minor bug was caught by the new testing framework.

[zstdcli] Fix option detection for --auto-threads

The option `--auto-threads` should still be accepted and parsed, even if
`ZSTD_MULTITHREAD` is not defined. It doesn't mean anything, but we
should still accept the option. Since we want scripts to be able to work
generically.

This bug was caught by tests I added to the new testing framework.

[dibio] Fix assertion triggered by no inputs

Passing 0 inputs to `DiB_shuffle()` caused an assertion failure where
it should just return.

A test is added in a later commit, with the initial introduction of the
new testing framework.

Fixes #3007.

Merge pull request #3033 from facebook/fix44108

fix issue 44108

Update playTests.sh

combination of -r with empty folder simplified to comply with sh compatibility tests

Merge pull request #2974 from facebook/fix2966_part3

Lazy parameters adaptation (part 1 - ZSTD_c_stableInBuffer)

fix issue 44108

credit to oss-fuzz

In rare circumstances, the block-splitter might cut a block at the exact beginning of a repcode.
In which case, since litlength=0, if the repcode expected 1+ literals in front, its signification changes.
This scenario is controlled in ZSTD_seqStore_resolveOffCodes(),
and the repcode is transformed into a raw offset when its new meaning is incorrect.

In more complex scenarios, the previous block might be emitted as uncompressed after all,
thus modifying the expected repcode history.
In the case discovered by oss-fuzz, the first block is emitted as uncompressed,
so the repcode history remains at default values: 1,4,8.

But since the starting repcode is repcode3, and the literal length is == 0,
its meaning is : = repcode1 - 1.
Since repcode1==1, it results in an offset value of 0, which is invalid.

So that's what the `assert()` was verifying : the result of the repcode translation should be a valid offset.

But actually, it doesn't matter, because this result will then be compared to reality,
and since it's an invalid offset, it will necessarily be discarded if incorrect,
then the repcode will be replaced by a raw offset.

So the `assert()` is not useful.
Furthermore, it's incorrect, because it assumes this situation cannot happen, but it does, as described in above scenario.

Update playTests.sh

more usage of new error code stabilityCondition_notRespected

as suggested by @terrelln

Print zlib/lz4/lzma library versions in verbose version output

Knowing the version of zlib/lz4/lzma we're linking against is very
useful for debugging issues with those libraries, so print it out in the
verbosity 4 version output.

Also print this information at the top of `playTests.sh`.

Merge pull request #3019 from facebook/huf_traces

More traces to improved debugging of literals compression

Update playTests.sh

Update zstdcli.c

removed new huffman depth heuristic

results are now identical to before this PR

introduced LitHufLog constant

which properly represents the maximum bit size of compressed literals (11) as defined in the specification.

To be preferred from HUF_TABLELOG_DEFAULT which represents the same value but by accident.

Name selected to keep the same convention as existing width definitions,
MLFSELog, LLFSELog and OffFSELog.

renamed HufLog into ZSTD_HUFFDTABLE_CAPACITY_LOG

old name was not descriptive and actually misleading

moved HufLog to lib/decompress

it's only used to size decompression tables

only declare debug functions in debug mode

proper max limit to 11

update regression tests

minor compression ratio benefits in some cases,
no compression ratio regression in the measured scenarios.

improved compression of literals in specific corner cases

In rare cases, the default huffman depth selector is a bit too harsh,
requiring brutal adaptations to the tree,
resulting is some loss of compression ratio.
This new heuristic avoids the worse cases, favoring compression ratio.

As an example, compression of a specific distribution of 771 literals
is now improved to 441 bytes, from 601 bytes before.

adding traces to better track processing of literals

Merge pull request #3023 from facebook/fix_seqCompress_withDelimiter

fix sequence compression API in Explicit Delimiter mode

added ZSTD_compressStream2() + ZSTD_c_stableInBuffer test

added helper function inBuffer_forEndFlush()

converted checks into user validation generating error codes

had to create a new error code for this condition,
none of the existing ones were fitting enough.

added streaming test starting from non-0 pos

fix extended case combining stableInBuffer with continue() and flush() modes

better consistency in accessing @input

as suggested by @terrelln.

Also : commented zstreamtest more
to ensure ZSTD_stableInBuffer is tested/

pretend consuming input to provide a sense of forward progress

fixed incorrect comment

minor behavior refinements

specifically, there is no obligation to start streaming compression with pos=0.
stableSrc mode is now compatible with this setup.

make stableSrc compatible with regular streaming API

including flushStream().

Now the only condition is for `input.size` to continuously grow.

streaming compression : lazy parameter adaptation with stable input

effectively makes ZSTD_c_stableInput compatible ZSTD_compressStream()
and zstd_e_continue operation mode.

minor refactoring

on streaming compression implementation.

refactored fuzzer tests for sequence compression api

add explicit delimiter mode to libfuzzer test

fix sequence compression API in Explicit Delimiter mode

Merge pull request #1 from brailovich/brailovich-patch-1

fix for error message in recursive mode for an empty folder

fix for error message in recursive mode for an empty folder

-r on empty directory resulted in zstd waiting input from stdin. now zstd exits without error and prints a warning message explaining why no processing happened (no files or directories to process).

Merge pull request #2965 from facebook/offbase

Converge sumtype (offset | repcode) numeric representation towards offBase

AsyncIO compression part 1 - refactor of existing asyncio code (#3021)

* Refactored fileio.c:
- Extracted asyncio code to fileio_asyncio.c/.h
- Moved type definitions to fileio_types.h
- Moved common macro definitions needed by both fileio.c and fileio_asyncio.c to fileio_common.h

* Bugfix - rename fileio_asycio to fileio_asyncio

* Added copyrights & license to new files

* CR fixes

Merge pull request #3026 from trixirt/from-linux-fix

cleanup double word in comment.

cleanup double word in comment.

Remove the second 'a' and 'into'

Signed-off-by: Tom Rix <trix@redhat.com>

slightly shortened status and summary lines in very verbose mode

Change zstdless behavior to align with zless (#2909)

* Change zstdless behavior to align with zless

Merge pull request #3005 from cwoffenden/faster-amalgamate

Use faster Python script to amalgamate

slightly shortened compression status update line

to fit within 80 columns limit.

Merge pull request #2985 from yoniko/zstd-output-file-buffer

ZSTD CLI: Use buffered output

Async write for decompression (#2975)

* Async IO decompression:
- Added --[no-]asyncio flag for CLI decompression.
- Replaced dstBuffer in decompression with a pool of write jobs.
- Added an ability to execute write jobs in a separate thread.
- Added an ability to wait (join) on all jobs in a thread pool (queued and running).

Merge pull request #3013 from WojciechMula/simplify-asm

Simplify HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop

Merge pull request #3018 from felixhandte/gh-action-release-artifacts-trigger-fix

Trigger Release Artifact Generation on Publish

Merge pull request #2983 from facebook/minLitPricev2

[opt] minor compression ratio improvement

Trigger Release Artifact Generation on Publish

We previously triggered release artifact generation on release creation. We
sometimes observed that the action failed to run. I hypothesized that we were
hitting rate limiting or something. I just stumbled across [this documentat-
ion](https://docs.github.com/en/actions/using-workflows/events-that-trigger-workflows#release), which says:

> Note: Workflows are not triggered for the `created`, `edited`, or `deleted`
> activity types for draft releases. When you create your release through the
> GitHub browser UI, your release may automatically be saved as a draft.

This must have been what was happening. This commit therefore changes the
trigger to the `published` activity. This should be more reliable.

This does have the unfortunate side effect that artifacts won't be generated
or attached until *after* the release has been published, which is what I was
trying to avoid by using the `created` activity. Oh well.

Merge pull request #3015 from felixhandte/enable-cet-test-illegal-instruction

Add GitHub Action Checking that Zstd Runs Successfully Under CET

Merge pull request #3016 from embg/macro_lint

Minor lint fix

Merge pull request #2994 from hjl-tools/hjl/cet-report/dev

x86: Append -z cet-report=error to LDFLAGS

Minor lint fix

x86: Append -z cet-report=error to LDFLAGS

Append -z cet-report=error to LDFLAGS if -fcf-protection is enabled by
default in compiler to catch the missing Intel CET marker:

compiling multi-threaded dynamic library 1.5.1
/usr/local/bin/ld: obj/conf_f408b4c825de923ffc88f7f21b6884b1/dynamic/huf_decompress_amd64.o: error: missing IBT and SHSTK properties
collect2: error: ld returned 1 exit status
...
LINK obj/conf_dbc0b41e36c44111bb0bb918e093d7c1/zstd
/usr/local/bin/ld: obj/conf_dbc0b41e36c44111bb0bb918e093d7c1/huf_decompress_amd64.o: error: missing IBT and SHSTK properties
collect2: error: ld returned 1 exit status

Add GitHub Action Checking that Zstd Runs Successfully Under CET

Merge pull request #2992 from hjl-tools/hjl/cet/dev

x86-64: Enable Intel CET

More descriptive exclusion error; updated docs and copyright

Simplify HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop

Get rid of three divisions. The original expression was:

    opmin := min((oend0 - op0) / 10, (oend1 - op1) / 10, (oend2 - op2) / 10, (oend3 - op3) / 10)
    r15   := min(r15, opmin)

The division by 10 can be moved outside the `min`:

    opmin := min(oend0 - op0, oend1 - op1, oend2 - op2, oend3 - op3)
    r15   := min(r15, opmin/10)

Typo (and missing commit)

Merge pull request #2999 from embg/ci_instructions_update

Update CI documentation

Update CI documentation

Suggestion from code review

Python style change

Co-authored-by: Alexandre Bury <alexandre.bury@gmail.com>

Fixed bugs found in other projects

When testing amalgamating other projects it was found: invalid Unicode errors were tripping Python's text IO, and the header search order appears differs from the shell version.

Updated README

Test and tidy

Made the Python more Python-like. Added notes and general tidy. Tested exclusions and building with various options. Tested all scripts.

Merge pull request #3009 from terrelln/asm-flags

[build][asm] Pass ASFLAGS to the assembler instead of CFLAGS

Merge pull request #2998 from floppym/issue2997

Avoid updating timestamps when the destination is stdout

[build][asm] Pass ASFLAGS to the assembler instead of CFLAGS

* Add `-Wa,--noexecstack` to both `ASFLAGS` and `CFLAGS`
* Pass `ASFLAGS` to `.S` compilation instead of `CFLAGS`

Fixes #3006.

Feature parity with original shell script; needs further testing

Merge pull request #3000 from embg/mt_memory_readability

Documentation and minor refactor to clarify MT memory management

Documentation and minor refactor to clarify MT memory management.

Work-in-progress; annotated types, added docs, parsed and resolved excluded files

Using faster Python script to amalgamate

Merge branch 'facebook:dev' into hjl/cet/dev

Avoid updating timestamps when the destination is stdout

Fixes: 9cd6c1ff4d56fc74a2cbdfd9bcc82a64e0fe4bb7
Fixes: https://github.com/facebook/zstd/issues/2997

Merge pull request #2987 from felixhandte/prepare-v1.5.2

Prepare v1.5.2

x86-64: Enable Intel CET

Intel Control-flow Enforcement Technology (CET):

https://en.wikipedia.org/wiki/Control-flow_integrity#Intel_Control-flow_Enforcement_Technology

requires that on Linux, all linker input files are marked as CET enabled
in .note.gnu.property section.  For high-level language source codes,
.note.gnu.property section is added by compiler with the -fcf-protection
option.  For assembly sources, include <cet.h> to add .note.gnu.property
section.

Merge pull request #2993 from hjl-tools/hjl/asm/dev

x86-64: Hide internal assembly functions

Merge pull request #2957 from hmaarrfk/fix_cmake_msvc

Fixup MSVC source file inclusion for cmake builds

Merge pull request #2956 from sunwire/fix-tar-test-cases

Fix tar test cases

Merge pull request #2982 from terrelln/decompress-progress-0

Fix stderr progress logging for decompression

x86-64: Hide internal assembly functions

Hide x86-64 internal assembly functions. Before

$ nm -D lib/libzstd.so.1 | grep usingDTable_internal_bmi2_asm_loop
00000000000c23c0 T _HUF_decompress4X1_usingDTable_internal_bmi2_asm_loop
00000000000c23c0 T HUF_decompress4X1_usingDTable_internal_bmi2_asm_loop
00000000000c283d T _HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop
00000000000c283d T HUF_decompress4X2_usingDTable_internal_bmi2_asm_loop
$

After

$ nm -D lib/libzstd.so.1 | grep usingDTable_internal_bmi2_asm_loop
$

This fixes issue #2990.

Update Changelog