[zstdmt] Clarify a comment

[zstdmt] Fix determinism issue with rsyncable mode

The problem occurs in this scenario:
1. We find a synchronization point.
2. We attmept to create the job.
3. We fail because the job table is full: `mtctx->nextJobID > mtctx->doneJobID + mtctx->jobIDMask`.
4. We call `ZSTDMT_compressStream_generic` again.
5. We forget that we're at a sync point already, and we continue looking
   for the next sync point.

This fix is to detect if we're currently paused at a sync point, and if
we are then don't load any more input.

Caught by zstreamtest. I modified it to make the bug occur more often
(~1/100K -> ~1/200) and verified that it is fixed after. I then ran a
few hundred thousand unmodified zstreamtest iterations to verify.

[zstdmt] Fix bug where extra empty blocks are emitted

When zstdmt cannot get a buffer and `ZSTD_e_end` is passed an empty
compression job can be created. Additionally, `mtctx->frameEnded` can be
set to 1, which could potentially cause problems like unterminated blocks.

The fix is to adjust to `ZSTD_e_flush` even when we can't get a buffer.

[zstreamtest] Add compression determinism tests

* Run compression twice and check the compressed data is byte-identical.
  The compression loop had to be rewritten to ensure deteriminism. It is
  guaranteed by always making maximal forward progress.
* When nbWorkers > 0, change the number of workers 1/8 of the time.
* Run in single-pass mode 1/4 of the time.

I've run a few hundred thousand iterations of zstreamtest and have seen
no deteriminism issues so far. Before the zstdmt fix that skips the
single-pass shortcut non-determinism showed up in a few hundred
iterations.

[zstdmt] Rip out the zstdmt API

This commit leaves only the functions used by zstd_compress.c. All other
functions have been removed from the API. The ZSTDMT unit tests in
fuzzer.c and zstreamtest.c have been rewritten to use the ZSTD API. And
the --mt zstreamtest tests have been ripped out.

[zstdmt] Remove single-pass shortcut

Simplifies the code and removes blocking from zstdmt.

At this point we could completely delete
`ZSTDMT_compress_advanced_internal()`. However I'm leaving it in because
I think we want to do that in the zstd-1.5.0 release, in case anyone is
still using the ZSTDMT API, even though it is not installed by default.

Fixes #2327.

[zstdmt] Remove singleBlockingThread mode

This is already handled by zstd, so this logic is never used.

Merge pull request #2329 from senhuang42/prevent_summary_updates_when_using_stdout

Prevent summary updates when using stdout

Merge pull request #2328 from marxin/zstd-pool-api

Allow external creation of POOLs that can be shared.

Merge pull request #2303 from senhuang42/let_cdict_take_clevel_priority

For ZSTD_compressStream2(), let cdict take compression level priority

Merge pull request #2319 from facebook/fullbench_stream2

update fullbench for compressStream2()

Add callsites to zstdcli.c and tests to playTests.sh

Add hasStdoutOutput setter to fileio.h

Fixed logic for stdout output

Add new stdoutOutput field

Allow external creation of POOLs that can be shared.

Merge pull request #2330 from senhuang42/fix_stdinout_error_messages

Improve error messages on console input/output

Merge pull request #2338 from terrelln/comments

Add comments to ZSTD_getLowest{Match,Prefix}Index()

Merge pull request #2333 from terrelln/stable-dst

Reset all decompression parameters in ZSTD_DCtx_reset()

Reset all decompression parameters in ZSTD_DCtx_reset()

* Reset all decompression parameters in `ZSTD_DCtx_reset()` when
  resetting parameters.
* Add a test case.

Add comments to ZSTD_getLowest{Match,Prefix}Index()

Clarify how we handle dictionaries in each case.

Merge pull request #2317 from animalize/msvc_inline

Let MSVC force inline ZSTD_hashPtr() function

Merge pull request #2321 from senhuang42/disallow_repcode_0_in_dict

Update documentation about repcodes in dictionaries

Merge pull request #2322 from senhuang42/guard_against_stdin_for_warning_prompts

Don't let warning messages consume input from stdin

Merge pull request #2326 from terrelln/kernel-test-fix

Fix issues and warnings exposed by Kernel Test Robot

Modify error messages on console input/output

Fix Stdin typo

Merge pull request #2310 from senhuang42/fix_multifile_status_bar

Fix multifile status bar and summary - clear out extraneous characters

[superblock] Reduce stack usage by correctly sizing header buffers

[lib] Add ZSTD_COMPRESS_HEAPMODE tuning parameter

[freestanding] Improve macro resolution to handle #if X

Allow user to override ASAN/MSAN detection

Rename ADDRESS_SANITIZER -> ZSTD_ADDRESS_SANITIZER and same for
MEMORY_SANITIZER. Also set it to 0/1 instead of checking for defined.
This allows the user to override ASAN/MSAN detection for platforms that
don't support it.

Remove call to memset

The previous commit fixes the test so it errors on calls to mem*()
functions from <string.h>.

[linux-kernel] Avoid including <string.h> in the tests

Reorganize zstd_deps.h and mem.h + replace mem.h for the kernel

Move __has_builtin() fallback define to compiler.h

Move ASAN/MSAN support declarations to compiler.h

Remove MEM_STATIC_ASSERT and use DEBUG_STATIC_ASSERT instead

Update unit tests

Add more useful failure message when stdin is an input

Expand UTIL_requireUserConfirmation to include stdin input check

Add FIO_determineHasStdinInput() function and member to fCtx

Add fCtx to FIO_openDstFile()

Merge pull request #2315 from senhuang42/allow_zstd_suffix

Support .zstd suffix only for decompression

[linux-kernel] Add missing semicolon in zstd_deps.h

[lib] Wrap customMem xor checks in parens for readability

This clarifies operator precedence, and quiets cppcheck in
the Kernel Test Robot. I think this is a slight bonus to
readability, so I am accepting the suggestion.

Merge pull request #2324 from terrelln/kernel-test-fix

Silence warnings reported by Kernel Test Robot

[CI][linux-kernel] Enable -Wunused-const-variable and -Wunused-but-set-variable

[lib] Silence -Wunused-const-variable warnings

[linux-kernel] Fix unused variable warnings with malloc, calloc, and free

Add unit tests to guard against bad stdin

Use IS_CONSOLE macro to detect that we're indeed using a console

Merge pull request #2320 from terrelln/test-fix

[tests] Don't write to stdout

Updated to repcode documentation to reflect dict content size

Update documentation about repcodes in dictionaries

[tests] Don't write to stdout

update fullbench for compressStream2()

makes it possible to measure scenarios such as #2314

Use `MEM_STATIC FORCE_INLINE_ATTR` instead of `FORCE_INLINE_TEMPLATE`

It adds `__attribute__((unused))` for __GNUC__, to eliminate `-Werror=unused-function` error.

Let MSVC force inline ZSTD_hashPtr() function

ZSTD_hashPtr() function was not expanded by MSVC, led to low performance compared to GCC.

Merge pull request #2311 from felixhandte/ddss-fix-cparam-derivation

Fix Compression Parameter Derivation Bugs Introduced by DDSS Changes

Add -f to .zstd decompression CLI test

Support .zstd suffix only for decompression

Merge pull request #2313 from felixhandte/fuzzer-separate-long-tests

Separate Long Tests in Fuzzer

Run Long Tests in GitHub CI

Move Last Two Long Tests in fuzzer.c into Separate --long-tests Section

Update Regression Test Results

Use ZSTD_CCtxParams_init() to Init CCtxParams, not memset()

Even if the discrepancies are at the moment benign, it's probably better to
standardize on using the one true initializer, rather than trying (and failing)
to correctly duplicate its behavior.

Avoid Redundancy in ZSTD_initCDict_internal() Args; Don't Take CParams + CCtxParams

Fix multifile decompression summary

Add filename truncations to decompression

Fall Back if Derived CParams are Incompatible with DDSS; Refactor CDict Creation

Rewrite ZSTD_createCDict_advanced() as a wrapper around
ZSTD_createCDict_advanced2(). Evaluate whether to use DDSS mode *after* fully
resolving cparams. If not, fall back.

Add display clears

Make ZSTD_createCDict_advanced2() cctxParams Arg Const

Do More Complete CParams Deduction in Non-DDSS Path of ZSTD_createCDict_advanced2

Call ZSTD_getCParamsFromCCtxParams() instead of ZSTD_getCParams_internal().

Pull CParam Override Logic into Helper

Add padding to remove previous line's leftovers, and keep the printed line to around the same size

Merge pull request #2308 from terrelln/zstd-kernel

[contrib][linux-kernel] Add decompress_sources.h

Merge pull request #2292 from senhuang42/multifile_status_update_fio_refactor

Make multifile (de)compression print out a summary

Merge pull request #2299 from senhuang42/env_var_num_threads

Allow environment variable to specify number of threads for compression

Merge pull request #2306 from facebook/check_endDirective

check endDirective in ZSTD_compressStream2()

[contrib][linux-kernel] Add decompress_sources.h

Add decompress_sources.h, which includes all the decompression .c files.
This is used for kernel decompression.

Also, add a test which checks that including decompress_sources.h works.

minor fix casting for Visual

check endDirective in ZSTD_compressStream2()

fix #2297
also :
- `assert()` `endDirective` in `ZSTD_compressStream_internal()`, for debug mode
- add relevant tests

Coding style cleanup

Modify params rather than cctx->requestedParams

Merge pull request #2295 from felixhandte/dedicated-dict-search-structure-chain

DDSS for Lazy: Implement a Dedicated Dictionary Chain Table

Print More During Fuzzer Test to Avoid CI Killing it Due to Timeout

This is kind of hacky. And maybe this test doesn't need to be permanently as
exhaustive as it is now. But while we're actively developing the DDSS, we
should ensure it's compatible across many different modes.

Test Fewer Dictionary Sizes

Fix Debug Logging in 32-bit Build

Document searchFuncs Table

Further Consolidate Dict Mode Checks

Improve Documentation Slightly

Make DDSS Selection Override ForceCopy Directive

Test DDSS A Little More Thoroughly

Attempt to Fix MSVC Warnings

Simplify Match Limit Checks

Seems like a ~1.25% speedup.

Use All Available Space in the Hash Table to Extent Chain Table Reach

Rather than restrict our temp chain table to 2 ** chainLog entries, this
commit uses all available space to reach further back to gather longer
chains to pack into the DDSS chain table.

Rewrite Table Fill to Retain Cache Entries Beyond Chain Window

Avoid Malloc in Table Fill; Pack Tmp Structure into Hash Table

Truncate Chain at Last Possible Attempt

Make the chain table denser?