Remove Chain Limit on Hash Cache Entries; Slightly Improve Compression

Entries in the hashTable chain cache aren't subject to the same aliasing that
the circular chain table is subject to. As such, we don't need to stop when we
cross the chain limit. We can delve deeper. :)

Split Lookups in Hash Cache and Chain Table into Two Loops

Sliiiight speedup.

Simplify DDS Hash Table Construction

No need to walk the chainTable; we can just keep shifting the entries in the
hashTable.

Document the ZSTD_c_enableDedicatedDictSearch Parameter

Rename and Move DD_BLOG Constant to ZSTD_LAZY_DDSS_BUCKET_LOG

Prefetch First Batch of Match Positions; +11% Speed in Level 5 w/ 1 Dict

Fix Off-By-One Error in Counting DDS Search Attempts

This caused us to double-search the first position and fail to search the
last position in the chain, slowing down search and making it less effective.

Enable Dedicated Dict Search in the CLI

Init CCtx's Local Dict with CCtxParams

Decision for Whether to Attach Should be Based on CDict Config, not CCtx

Move Prefetch Before Insertion; Speed Up ~6%

Misc Refactor of DDS Search Code

Rename enableDedicatedDictSearch to dedicatedDictSearch in MatchState

This makes it clear that not only is the feature allowed here, we're actually
using it, as opposed to the CCtxParam field, in which it's enabled, but we may
or may not be using it.

Always Init CDict's enableDedicatedDictSearch Field

Add a ZSTD_dedicatedDictSearch ZSTD_dictMode_e to Allow Const Propagation

Speed +1.5%.

Fix ZSTD_c_forceAttachDict Bounds

Make ZSTD_c_enableDedicatedDictSearch an Experimental Param

Add Fuzzer Test for the Various Dict Attachment Strategies

TODO: Comment

Fix Compilation Warnings

updating cold benchmark

creating ZSTD_createCDict_advanced_internal

changing to int for consistency

using dict mls instead of src mls

add hashtable head prefetching

change method name for consistency

pass correct cparams

removing wrong comment

making cctxParams a pointer

loading dict using new algorithm

adding dedicatedDictSearch algorithm

adding enableDedicatedDictSearch to matchState_t

adding dedicated dict load method to lazy

adding ZSTD_createCDict_advanced2 to zstd.h

always attach dict when using dedicatedDictSearch

adding dedicatedDictSearch cParams helper methods

adding ZSTD_dedicatedDictSearch_defaultCParameters variable

Add ZSTD_c_enableDedicatedDictSearch Param

Merge pull request #2301 from terrelln/prepare-for-release

Prepare library for a release

Adjust ZSTD_createCDict_byReference() function, and check for cdict when using compressStream2

[lib] Bump version number to 1.4.6

Update CHANGELOG for the next release

[doc] Document new build macros in lib/README.md

Merge pull request #2289 from terrelln/zstd-kernel-2

[linux-kernel] Prepare zstd for the Linux Kernel

[linux-kernel] Update README with initial instructions on how to update zstd in the kernel

[linux-kernel] Add test that checks the ifdef hardwiring

Add linux-kernel freestanding

[contrib] Add preprocessor hardwiring to freestanding.py

[lib] Add ZSTD_NO_UNUSED_FUNCTIONS macro to hide unused functions

The unused function definitions are hidden behind a
`#ifndef ZSTD_NO_UNUSED_FUNCTIONS` check.

Initially hiding all functions which are unused and take up more than
2KB of stack space, because these will show up as warnings in the
Linux Kernel build system.

[lib] Replace 64-bit divisions with ZSTD_div64()

[lib] Reduce zstd stack usage by 1KB

Fix ZSTD_initCStream_advanced() with no dictionary and static allocation

Add ZSTD_NO_INTRINSICS macro to avoid explicit intrinsics

[lib] s/current/curr because it collides with Linux Kernel macro

nbThreads instead of numThreads

Merge pull request #2291 from i-do-cpp/fix-compression-level-default

Fix setParameter not falling back to default compression level

Add ZSTD_NUMTHREADS tests to playTests.sh

Add include guards for init_numThreads()

Update documentation for environment variable

Add quick documentation for ZSTD_NUMTHREADS in the code

Change param name to ZSTDCLI_NUMTHREADS_DEFAULT

Change default num_threads value

Adjust function signatures

Merge pull request #2294 from felixhandte/makefile-lib-fix-var-order

Fix Makefile Variable Concatenation Order

Always update bytes status in FIO_ctx_t

Remove extraneous FIO_ctx_t functions

Fix Makefile Variable Concatenation Order

Previously, this construct would add `-O3` onto the end of the compiler flags
variable, **after** `MOREFLAGS`, which meant that it was impossible to over-
ride. This commit fixes this order and should otherwise be a no-op.

Merge pull request #2293 from allanjude/coverity

Resolve Coverity 1432392 Unintentional integer overflow

Resolve Coverity 1432392 Unintentional integer overflow

Unintentional integer overflow (OVERFLOW_BEFORE_WIDEN)
overflow_before_widen: Potentially overflowing expression:
cdict->dictContentSize * 6U
with type unsigned int (32 bits, unsigned) is evaluated using 32-bit
arithmetic, and then used in a context that expects an expression of
type U64 (64 bits, unsigned).

Address memory leak in CLI from fCtx

Fix FIO_removeMultiFilesWarning conflict

Merge branch 'dev' into multifile_status_update_fio_refactor

Remove comma-separated decls

Adjust comments and struct to better reflect FIO_ctx_t

Fix 1 file multifile logic, remove unnecessary variable assignments

Merge pull request #2279 from senhuang42/show_warnings_with_multiple_input_files

Add a warning whenever (de)compressing multiple files

Adjusted extra explanation warning to always pop up if applicable

Fixed newline issue and adjusted wording in comment

Cleanup comments, add function to set FIO_ctx_t.nbFilesProcessed

Fix the logic in printing final status updates

Integrate refactor into status print for multifiles, adjust logic for printing as needed

Change name to ZSTD_NUMTHREADS

Update zstd_compress.c

Fix setParameter not falling back to default compression level on 0 value

See documentation for `ZSTD_c_compressionLevel`: `Special: value 0 means default, which is controlled by ZSTD_CLEVEL_DEFAULT`

First pass at refactoring and creating new FIO_ctx_t */

Improve documentation, update man

Merge pull request #2288 from animalize/doc_version

[doc] Add ZSTD_versionString() to manual

Add ZSTD_versionString() function to manual.

Merge pull request #2264 from terrelln/zstd-kernel

Prepare for freestanding library and add initial translator script

Fix potential memory leak

Fix UTIL_requireUserConfirmation() declaration

Move logic into new function FIO_removeMultiFilesWarning, add support for decompression

Fix merge conflicts

[contrib] Add freestanding translator prototype

This is the idea, some of the functionality isn't yet implemented.

ZSTD_ prefix mem{cpy,move,set},malloc,calloc,free

Rename ZSTD_{malloc,calloc,free} to ZSTD_custom{Malloc,Calloc,Free}

Move standard includes to zstd_deps.h

Merge pull request #2283 from senhuang42/progress_bars_for_multiple_files

Refreshing progress bar for processing multiple files

Merge pull request #2282 from terrelln/ncount-fix

[bug] Fix FSE_readNCount()

Remove extraneous FIO_setNbFiles()