Add -f to .zstd decompression CLI test

Support .zstd suffix only for decompression

Merge pull request #2292 from senhuang42/multifile_status_update_fio_refactor

Make multifile (de)compression print out a summary

Merge pull request #2299 from senhuang42/env_var_num_threads

Allow environment variable to specify number of threads for compression

Merge pull request #2306 from facebook/check_endDirective

check endDirective in ZSTD_compressStream2()

minor fix casting for Visual

check endDirective in ZSTD_compressStream2()

fix #2297
also :
- `assert()` `endDirective` in `ZSTD_compressStream_internal()`, for debug mode
- add relevant tests

Merge pull request #2295 from felixhandte/dedicated-dict-search-structure-chain

DDSS for Lazy: Implement a Dedicated Dictionary Chain Table

Print More During Fuzzer Test to Avoid CI Killing it Due to Timeout

This is kind of hacky. And maybe this test doesn't need to be permanently as
exhaustive as it is now. But while we're actively developing the DDSS, we
should ensure it's compatible across many different modes.

Test Fewer Dictionary Sizes

Fix Debug Logging in 32-bit Build

Document searchFuncs Table

Further Consolidate Dict Mode Checks

Improve Documentation Slightly

Make DDSS Selection Override ForceCopy Directive

Test DDSS A Little More Thoroughly

Attempt to Fix MSVC Warnings

Simplify Match Limit Checks

Seems like a ~1.25% speedup.

Use All Available Space in the Hash Table to Extent Chain Table Reach

Rather than restrict our temp chain table to 2 ** chainLog entries, this
commit uses all available space to reach further back to gather longer
chains to pack into the DDSS chain table.

Rewrite Table Fill to Retain Cache Entries Beyond Chain Window

Avoid Malloc in Table Fill; Pack Tmp Structure into Hash Table

Truncate Chain at Last Possible Attempt

Make the chain table denser?

Prefetch Chain Table Matches

Lay Out Chain Table Chains Contiguously

Rather than interleave all of the chain table entries, tying each entry's
position to the corresponding position in the input, this commit changes the
layout so that all the entries in a single chain are laid out next to each
other. The last entry in the hash table's bucket for this hash is now a packed
pointer of position + length of this chain.

This cannot be merged as written, since it allocates temporary memory inside
ZSTD_dedicatedDictSearch_lazy_loadDictionary().

Only Insert Positions Inside the Chain Window

Only Allow Dedicated Dict Search for Dicts Loaded in 1 Chunk

The load algorithm requires we do it all in one go.

Merge pull request #2276 from felixhandte/dedicated-dict-search-structure

DDSS For Lazy: Implement a Dedicated Dictionary Hash Table

Fix Bug: Only Use DDSS Insertion on CDict MatchStates

Previously, if DDSS was enabled on a CCtx and a dictionary was inserted into
the CCtx, the CCtx MatchState would be filled as a DDSS struct, causing
segfaults etc. This changes the check to use whether the MatchState is marked
as using the DDSS (which is only ever set for CDict MatchStates), rather than
looking at the CCtxParams.

Shorten Dict Mode Conditionals in Order to Improve Readability

Force-Inline ZSTD_insertAndFindFirstIndex_internal()

Without this, gcc was declining to inline the function in `ZSTD_noDict` mode,
resulting in a ~10% slowdown.

Clean Up Search Function Selection

Fix `-Wshorten-64-to-32` Error

Adjust Working Context Table Sizes Back Down

Add Warning Comment to ZSTD_createCDict_advanced2() Declaration

Permit Matching Against Lowest Valid Position

This comparison was previously faulty: the lowest valid position is itself
valid, and we should therefore be allowed to match against it.

Make ZSTD_dedicatedDictSearch_getCParams Wrap ZSTD_getCParams

Fixes up bounds-checking, and lets us clean up what is at the moment an
unnecessary duplication of the default cparams tables.

Easy: Fix Test

Remove Chain Limit on Hash Cache Entries; Slightly Improve Compression

Entries in the hashTable chain cache aren't subject to the same aliasing that
the circular chain table is subject to. As such, we don't need to stop when we
cross the chain limit. We can delve deeper. :)

Split Lookups in Hash Cache and Chain Table into Two Loops

Sliiiight speedup.

Simplify DDS Hash Table Construction

No need to walk the chainTable; we can just keep shifting the entries in the
hashTable.

Document the ZSTD_c_enableDedicatedDictSearch Parameter

Rename and Move DD_BLOG Constant to ZSTD_LAZY_DDSS_BUCKET_LOG

Prefetch First Batch of Match Positions; +11% Speed in Level 5 w/ 1 Dict

Fix Off-By-One Error in Counting DDS Search Attempts

This caused us to double-search the first position and fail to search the
last position in the chain, slowing down search and making it less effective.

Enable Dedicated Dict Search in the CLI

Init CCtx's Local Dict with CCtxParams

Decision for Whether to Attach Should be Based on CDict Config, not CCtx

Move Prefetch Before Insertion; Speed Up ~6%

Misc Refactor of DDS Search Code

Rename enableDedicatedDictSearch to dedicatedDictSearch in MatchState

This makes it clear that not only is the feature allowed here, we're actually
using it, as opposed to the CCtxParam field, in which it's enabled, but we may
or may not be using it.

Always Init CDict's enableDedicatedDictSearch Field

Add a ZSTD_dedicatedDictSearch ZSTD_dictMode_e to Allow Const Propagation

Speed +1.5%.

Fix ZSTD_c_forceAttachDict Bounds

Make ZSTD_c_enableDedicatedDictSearch an Experimental Param

Add Fuzzer Test for the Various Dict Attachment Strategies

TODO: Comment

Fix Compilation Warnings

updating cold benchmark

creating ZSTD_createCDict_advanced_internal

changing to int for consistency

using dict mls instead of src mls

add hashtable head prefetching

change method name for consistency

pass correct cparams

removing wrong comment

making cctxParams a pointer

loading dict using new algorithm

adding dedicatedDictSearch algorithm

adding enableDedicatedDictSearch to matchState_t

adding dedicated dict load method to lazy

adding ZSTD_createCDict_advanced2 to zstd.h

always attach dict when using dedicatedDictSearch

adding dedicatedDictSearch cParams helper methods

adding ZSTD_dedicatedDictSearch_defaultCParameters variable

Add ZSTD_c_enableDedicatedDictSearch Param

Merge pull request #2301 from terrelln/prepare-for-release

Prepare library for a release

[lib] Bump version number to 1.4.6

Update CHANGELOG for the next release

[doc] Document new build macros in lib/README.md

Merge pull request #2289 from terrelln/zstd-kernel-2

[linux-kernel] Prepare zstd for the Linux Kernel

[linux-kernel] Update README with initial instructions on how to update zstd in the kernel

[linux-kernel] Add test that checks the ifdef hardwiring

Add linux-kernel freestanding

[contrib] Add preprocessor hardwiring to freestanding.py

[lib] Add ZSTD_NO_UNUSED_FUNCTIONS macro to hide unused functions

The unused function definitions are hidden behind a
`#ifndef ZSTD_NO_UNUSED_FUNCTIONS` check.

Initially hiding all functions which are unused and take up more than
2KB of stack space, because these will show up as warnings in the
Linux Kernel build system.

[lib] Replace 64-bit divisions with ZSTD_div64()

[lib] Reduce zstd stack usage by 1KB

Fix ZSTD_initCStream_advanced() with no dictionary and static allocation

Add ZSTD_NO_INTRINSICS macro to avoid explicit intrinsics

[lib] s/current/curr because it collides with Linux Kernel macro

nbThreads instead of numThreads

Merge pull request #2291 from i-do-cpp/fix-compression-level-default

Fix setParameter not falling back to default compression level

Add ZSTD_NUMTHREADS tests to playTests.sh

Add include guards for init_numThreads()

Update documentation for environment variable

Add quick documentation for ZSTD_NUMTHREADS in the code

Change param name to ZSTDCLI_NUMTHREADS_DEFAULT

Change default num_threads value

Adjust function signatures

Merge pull request #2294 from felixhandte/makefile-lib-fix-var-order

Fix Makefile Variable Concatenation Order