Adjust #ifndef logic

Add new DCtx param: validateChecksum and update unit tests

Addressing comments: more comments, cleanup, remove extra function, checksum logic

Document change in CLI for --no-check during decompression in --help menu

Added CLI tests for --no-check, fixed ignore checksum logic

Added unit test to fuzzer.c, changed definition param name

Move enum into zstd.h, and fix pesky switch() logic

Adding CLI capability to invoke decompression with no checksum

Add function prototype

Modify decompression loop to gnore checksums if flag is enabled

Rename to ZSTD_d_forceIgnoreChecksum, add to DCtx, add function to set the advanced param

Add new definition of ZSTD_d_forceSkipChecksum in experimental section

Merge pull request #2277 from atnbueno/patch-1

Fixed Markdown warnings. No visible changes.

Fixed Markdown warnings. No visible changes.

Merge pull request #2268 from bimbashrestha/actions-icc

[actions] removing broken icc test from travis and adding working version to actions

Merge pull request #2270 from felixhandte/fix-doc-cctx-set-param

Fix Documentation for ZSTD_CCtxParams_setParameter()

Fix Documentation for ZSTD_CCtxParams_setParameter()

It does not only return 0 on success.

removing icc from travis

adding icc to actions

Merge pull request #2267 from cwoffenden/clang-comma

Fix clang -Wcomma warning (single file decoder)

Fix clang -Wcomma warning

Merge pull request #2265 from terrelln/prefetch-fix

Prefer __builtin_prefetch over inline asm

Prefer __builtin_prefetch over inline asm

Reorder the ifdefs for the PREFETCH macros so that the compiler builtin is
favored over the inline assembly for aarch64.

Merge pull request #2262 from felixhandte/fewer-stat-syscalls

Share stat() Calls Where Convenient

Fix MS Build

Clean Up Redundant Checks, Rename FIO_remove() -> FIO_removeFile()

Remove UTIL_statFile() and UTIL_statDir(); Decompose Former Call-Sites

Remove Unused Function UTIL_fileExist()

Re-Organize and Document Prototypes in util.h

Share stat() Calls in Uses of UTIL_chmod()

Use stat() to Check that File Should be chmod()-ed

Rather than special-casing a check for `/dev/null`, this uses `stat()` to
avoid `chmod()`-ing any non-regular file. I believe this is the desirable
behavior. `UTIL_chmod()` is never called on directories at the moment, only
output files.

Deduplicate Some Low-Hanging Fruit of Redundant Stat Calls

Introduce Variants of Various UTIL Functions that Take Pre-Populated stat_t Structs

Instead of calling `stat()`, these functions accept the result of a previous
`stat()` call on the file in question, which will allow us to make multiple
decisions around a file without redundant `stat()` calls.

Rename UTIL_getFileStat() -> UTIL_statFile() and UTIL_getDirectoryStat() -> UTIL_statDir()

I want to introduce versions of many of these functions that take pre-
populated `stat_t` objects and use those rather than doing their own redundant
`stat()` internally. These functions will have `...Stat()` suffixes. So this
commit renames these existing functions into the active voice, to avoid
confusion.

Mark stat_t Arg to UTIL_setFileStat() const

Additionally Convert UTIL_getFileStat() Calls to UTIL_stat() Where Appropriate

Use New Stat Helper

Introduce Dedicated Helper to Call stat()

Merge pull request #2258 from Niadb/dev

Added STATIC_BMI2 for compile time detection of BMI2 on MSVC, when enabled various intrinsics are used

Merge pull request #2253 from facebook/histvec

optimized histogram

Merge pull request #2256 from helloguo/dev

Optimize ZSTD_wildcopy

Merge pull request #2259 from cwoffenden/vs-warning

Fixed VS variable shadowing warning (single file lib)

Fixed VS variable shadowing warning (and added test)

Use ZSTD_copy16 instead of memcpy

Update bitstream.h

Profiler showed some of these not being inlined on MSVC

Add files via upload

Add files via upload

Optimize ZSTD_wildcopy

Merge pull request #2252 from helloguo/dev

Fix preprocessor in ZSTD_wildcopy

fixed overlapping count & workspace special case

optimized histogram

new version easier to vectorize
leads to smaller code and faster execution
notably at the last recombination stage
(basically, fixed cost per block).

Assembly inspected with godbolt

On my laptop, with `clang` and `-mavx2` :
2K block : 1280 MB/s -> 1550 MB/s
8K block : 1750 MB/s -> 1860 MB/s

fix preprocessor in ZSTD_wildcopy

updated documentation

Merge pull request #2250 from facebook/twoFieldsArgs

CLI: simplified handling of separated-fields arguments

Merge pull request #2249 from facebook/fsefix

import some minor fixes from FSE project

improved 2-args macro to support both syntaxes

both `--long-commmand=arg` and `--long-command arg`
are supported by macro `NEXT_FIELD()`
so that the long-command only needs to be listed once.

This extends the syntax to support new syntaxes like
`-o=FILE` or `-D=dict`,
though there is no need to advertise this capability for the time being.

Also : added `NEXT_UINT32()`,
which is wrapper around `NEXT_FIELD()`
to read integer parameters.
Use the wrapper to new field, such as `--memlimit`
which can now support both syntaxes too.

added tests for newly enabled syntax

for --patch-from origin
and --filelist list

Also : removed some constrained syntax tests,
as the new argument parsing syntax is more permissive.

For example :
    zstd file -of dest
used to be disallowed.

It's now allowed, and understood as:
    zstd file -o dest -f

extended 2-fields macro usage to number arguments

leading to further simplications

CLI: simplified handling of separated-fields arguments

this patch reduces complexity associated with
commands requiring a separated arguments
such as :
-o filename
-D dictionary
--output-dir-flat dir
--output-dir-mirror dir

It used to be a multi-stage process with explicit context,
it's now simplified as a single macro.

Thanks to this simplification,
separated arguments logic has also been extended to
--patch-from XXX
--filelist XXX
which extends existing capability using =XXX
--patch-from=XXX
--filelist=XXX

Separated argument is useful for filenames and directories,
as it benefits from shell expansion
such as ~/dir/file
where the ~ is automatically translated by the shell.
In contrast --long-command=FILE does not interpret FILE,
so ~/ is transmitted as is to the main() function,
generally resulting in incorrect file name.

Merge pull request #2197 from neheb/hj

meson: remove build requirement for distutils

Merge pull request #2243 from facebook/uclibc

fix uclibc's st_mtim

ensure workspace is large enough

even when MAX_TABLELOG is reduced

import some minor fixes from FSE project

Merge pull request #2246 from ffontaine/dev

programs/util.c: fix build without st_mtime

Merge pull request #2247 from facebook/revert-2244-dev

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Merge pull request #2244 from hctim/dev

Fix -Wunused-variable under FUZZING_BUILD_MODE...

programs/util.c: fix build without st_mtime

Since version 1.4.5 and commit
5af8cb7aea8d890b4801e50e5274371510f2cf33, if st_mtime is not defined,
programs/util.c uses utime without including utime.h which will raise
the following build failure on some of the buildroot autobuilders:

util.c: In function 'UTIL_setFileStat':
util.c:161:24: error: storage size of 'timebuf' isn't known
         struct utimbuf timebuf;
                        ^~~~~~~

Fixes:
 - http://autobuild.buildroot.org/results/be902c5d110f37bce622a2215191f155b7d3e7e0

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Fix -Wunused-variable under FUZZING_BUILD_MODE...

Fuzzing build modes (FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION) doesn't
necessarily imply that assert() is enabled, according to the manual.

When the current do-nothing is expanded under -Wunused-variable (-Wall),
it results in unused variables in some of the FUZZING_BUILD_MODE...
blocks.

This patch extends the do-nothing to avoid the unused variable.

fix uclibc's st_mtim

reported and suggested by @ewildgoose (#1872)

Merge pull request #2242 from evverx/cifuzz-ubsan-msan

cifuzz: turn on UBsan and MSan

cifuzz: turn on UBsan and MSan

minor doc clarification regarding MT parameters

Merge pull request #2239 from evverx/evverx-cifuzz

cifuzz: don't upload artifacts when CIFuzz fails to build fuzz targets

Merge pull request #2219 from xxie24/output-dir-mirror

Add output-dir-mirror option

Merge pull request #2183 from tonytheodore/patch-1

Install pkg-config file on MINGW also

Merge pull request #2237 from marxin/gcda-to-gitignore

Add GCC PGO data files to .gitignore.

Merge pull request #2236 from marxin/pgo-fix-comment

Update comment about PGO build.

Merge pull request #2231 from marxin/use-threads-in-example

Use threads in streaming_compression.c example.

Add GCC PGO data files to .gitignore.

Update comment about PGO build.

Use threads in streaming_compression.c example.

Fixes #1584.

cifuzz: don't upload artifacts when CIFuzz fails to build fuzz targets

It should address https://github.com/google/oss-fuzz/issues/3982

Merge pull request #2230 from cwoffenden/minor-tidy

Remove superfluous build-time macros (single-file libs)

Merge pull request #2235 from bimbashrestha/decom-macros

[actions] removing flakey min-decomp

removing min decomp

Remove superfluous build-time options

Merge pull request #2227 from yoshihitoh/single-file-dict-emscripten

[contrib] Fix single-file compilation error on Emscripten build.

Change Emscripten docker image to the official one which is used for testing the single-file feature.

Merge pull request #2228 from marxin/rename-ZSTDMT_NBTHREADS_MAX

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename it in zstd man page.

Enable docker based Emscripten build on single file library test if emcc is not available.

Merge pull request #2220 from dkcasset/fix-lib-Makefile-older-sed-version

Replace -E option with equivalent -r for older versions of sed

Merge pull request #2221 from BioDataAnalysis/bda_install_dll

Install MSVC runtime shared libraries (DLL) with cmake

Add variable for sed extended RE option (defaults to -E)

build/cmake/lib/CMakeLists.txt: Install shared library (dll) for Windows

Rename static vars to avoid redefinition error.

Replace -E option with equivalent -r for older versions of sed

Add output-dir-mirror option

Merge pull request #2218 from terrelln/assert-seq

Fix unused variable warnings in fuzzing build mode without asserts