Add ZSTD_versionString() function to manual.

Merge pull request #2283 from senhuang42/progress_bars_for_multiple_files

Refreshing progress bar for processing multiple files

Merge pull request #2282 from terrelln/ncount-fix

[bug] Fix FSE_readNCount()

Remove extraneous FIO_setNbFiles()

Fix bug in user prompt where line was not flushed on negative response

Adjust playTests.sh refuse overwrite test to include -q

Fix single file decompression summary, remove escape code dependency, add currFileIdx field to FIO_prefs, general cleanups/bugfixes

Merge pull request #2285 from terrelln/oss-fuzz-fixes

[fuzz] Fix oss-fuzz test problems

Merge pull request #2284 from terrelln/github-actions-arm

[github actions] Disable armbuild and armfuzz tests

[fuzz] Fix stream_decompress timeouts

[fuzz] Disable superblock expansion test

[github actions] Disable armbuild and armfuzz tests

[bug] Fix FSE_readNCount()

* Fix bug introduced in PR #2271
* Fix long-standing bug that is impossible to trigger inside of zstd
* Add a fuzzer that makes sure the normalized count always round trips
  correctly

Small formatting changes

Remove decompression status update

Small cleanups

Make compatible with displaylevel = 2 and decompression

Add initial live update with displayLevel = 2, add new field to FIO_prefs_t

Merge pull request #2278 from senhuang42/ignore_checksum_advanced_param

New advanced decompression param to ignore checksums

Merge pull request #2271 from terrelln/small-blocks

Small block optimizations

Fix compiler warnings

Merge pull request #2272 from terrelln/dstSize_tooSmall

[fix] Always return dstSize_tooSmall when it is the case

Document the BMI2 default() functions

Adjust #ifndef logic

Add new DCtx param: validateChecksum and update unit tests

Improve FSE_normalizeCount() docs

[fix] Always return dstSize_tooSmall when it is the case

Addressing comments: more comments, cleanup, remove extra function, checksum logic

Fix up code after reading through

Document change in CLI for --no-check during decompression in --help menu

Added CLI tests for --no-check, fixed ignore checksum logic

Added unit test to fuzzer.c, changed definition param name

Move enum into zstd.h, and fix pesky switch() logic

Adding CLI capability to invoke decompression with no checksum

Add function prototype

Modify decompression loop to gnore checksums if flag is enabled

Rename to ZSTD_d_forceIgnoreChecksum, add to DCtx, add function to set the advanced param

Add new definition of ZSTD_d_forceSkipChecksum in experimental section

[regression] Update results.csv

Merge pull request #2277 from atnbueno/patch-1

Fixed Markdown warnings. No visible changes.

Fixed Markdown warnings. No visible changes.

Merge pull request #2268 from bimbashrestha/actions-icc

[actions] removing broken icc test from travis and adding working version to actions

Use ncount=1 when < 4096 symbols

wire up bmi2 support

speed up literal header decoding

speed up small blocks

small blocks benchmark

Merge pull request #2270 from felixhandte/fix-doc-cctx-set-param

Fix Documentation for ZSTD_CCtxParams_setParameter()

Fix Documentation for ZSTD_CCtxParams_setParameter()

It does not only return 0 on success.

removing icc from travis

adding icc to actions

Merge pull request #2267 from cwoffenden/clang-comma

Fix clang -Wcomma warning (single file decoder)

Fix clang -Wcomma warning

Merge pull request #2265 from terrelln/prefetch-fix

Prefer __builtin_prefetch over inline asm

Prefer __builtin_prefetch over inline asm

Reorder the ifdefs for the PREFETCH macros so that the compiler builtin is
favored over the inline assembly for aarch64.

Merge pull request #2262 from felixhandte/fewer-stat-syscalls

Share stat() Calls Where Convenient

Fix MS Build

Clean Up Redundant Checks, Rename FIO_remove() -> FIO_removeFile()

Remove UTIL_statFile() and UTIL_statDir(); Decompose Former Call-Sites

Remove Unused Function UTIL_fileExist()

Re-Organize and Document Prototypes in util.h

Share stat() Calls in Uses of UTIL_chmod()

Use stat() to Check that File Should be chmod()-ed

Rather than special-casing a check for `/dev/null`, this uses `stat()` to
avoid `chmod()`-ing any non-regular file. I believe this is the desirable
behavior. `UTIL_chmod()` is never called on directories at the moment, only
output files.

Deduplicate Some Low-Hanging Fruit of Redundant Stat Calls

Introduce Variants of Various UTIL Functions that Take Pre-Populated stat_t Structs

Instead of calling `stat()`, these functions accept the result of a previous
`stat()` call on the file in question, which will allow us to make multiple
decisions around a file without redundant `stat()` calls.

Rename UTIL_getFileStat() -> UTIL_statFile() and UTIL_getDirectoryStat() -> UTIL_statDir()

I want to introduce versions of many of these functions that take pre-
populated `stat_t` objects and use those rather than doing their own redundant
`stat()` internally. These functions will have `...Stat()` suffixes. So this
commit renames these existing functions into the active voice, to avoid
confusion.

Mark stat_t Arg to UTIL_setFileStat() const

Additionally Convert UTIL_getFileStat() Calls to UTIL_stat() Where Appropriate

Use New Stat Helper

Introduce Dedicated Helper to Call stat()

Merge pull request #2258 from Niadb/dev

Added STATIC_BMI2 for compile time detection of BMI2 on MSVC, when enabled various intrinsics are used

Merge pull request #2253 from facebook/histvec

optimized histogram

Merge pull request #2256 from helloguo/dev

Optimize ZSTD_wildcopy

Merge pull request #2259 from cwoffenden/vs-warning

Fixed VS variable shadowing warning (single file lib)

Fixed VS variable shadowing warning (and added test)

Use ZSTD_copy16 instead of memcpy

Update bitstream.h

Profiler showed some of these not being inlined on MSVC

Add files via upload

Add files via upload

Optimize ZSTD_wildcopy

Merge pull request #2252 from helloguo/dev

Fix preprocessor in ZSTD_wildcopy

fixed overlapping count & workspace special case

optimized histogram

new version easier to vectorize
leads to smaller code and faster execution
notably at the last recombination stage
(basically, fixed cost per block).

Assembly inspected with godbolt

On my laptop, with `clang` and `-mavx2` :
2K block : 1280 MB/s -> 1550 MB/s
8K block : 1750 MB/s -> 1860 MB/s

fix preprocessor in ZSTD_wildcopy

updated documentation

Merge pull request #2250 from facebook/twoFieldsArgs

CLI: simplified handling of separated-fields arguments

Merge pull request #2249 from facebook/fsefix

import some minor fixes from FSE project

improved 2-args macro to support both syntaxes

both `--long-commmand=arg` and `--long-command arg`
are supported by macro `NEXT_FIELD()`
so that the long-command only needs to be listed once.

This extends the syntax to support new syntaxes like
`-o=FILE` or `-D=dict`,
though there is no need to advertise this capability for the time being.

Also : added `NEXT_UINT32()`,
which is wrapper around `NEXT_FIELD()`
to read integer parameters.
Use the wrapper to new field, such as `--memlimit`
which can now support both syntaxes too.

added tests for newly enabled syntax

for --patch-from origin
and --filelist list

Also : removed some constrained syntax tests,
as the new argument parsing syntax is more permissive.

For example :
    zstd file -of dest
used to be disallowed.

It's now allowed, and understood as:
    zstd file -o dest -f

extended 2-fields macro usage to number arguments

leading to further simplications

CLI: simplified handling of separated-fields arguments

this patch reduces complexity associated with
commands requiring a separated arguments
such as :
-o filename
-D dictionary
--output-dir-flat dir
--output-dir-mirror dir

It used to be a multi-stage process with explicit context,
it's now simplified as a single macro.

Thanks to this simplification,
separated arguments logic has also been extended to
--patch-from XXX
--filelist XXX
which extends existing capability using =XXX
--patch-from=XXX
--filelist=XXX

Separated argument is useful for filenames and directories,
as it benefits from shell expansion
such as ~/dir/file
where the ~ is automatically translated by the shell.
In contrast --long-command=FILE does not interpret FILE,
so ~/ is transmitted as is to the main() function,
generally resulting in incorrect file name.

Merge pull request #2197 from neheb/hj

meson: remove build requirement for distutils

Merge pull request #2243 from facebook/uclibc

fix uclibc's st_mtim

ensure workspace is large enough

even when MAX_TABLELOG is reduced

import some minor fixes from FSE project

Merge pull request #2246 from ffontaine/dev

programs/util.c: fix build without st_mtime

Merge pull request #2247 from facebook/revert-2244-dev

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Merge pull request #2244 from hctim/dev

Fix -Wunused-variable under FUZZING_BUILD_MODE...

programs/util.c: fix build without st_mtime

Since version 1.4.5 and commit
5af8cb7aea8d890b4801e50e5274371510f2cf33, if st_mtime is not defined,
programs/util.c uses utime without including utime.h which will raise
the following build failure on some of the buildroot autobuilders:

util.c: In function 'UTIL_setFileStat':
util.c:161:24: error: storage size of 'timebuf' isn't known
         struct utimbuf timebuf;
                        ^~~~~~~

Fixes:
 - http://autobuild.buildroot.org/results/be902c5d110f37bce622a2215191f155b7d3e7e0

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>