Use ZSTD_copy16 instead of memcpy

Optimize ZSTD_wildcopy

fix preprocessor in ZSTD_wildcopy

updated documentation

Merge pull request #2250 from facebook/twoFieldsArgs

CLI: simplified handling of separated-fields arguments

Merge pull request #2249 from facebook/fsefix

import some minor fixes from FSE project

improved 2-args macro to support both syntaxes

both `--long-commmand=arg` and `--long-command arg`
are supported by macro `NEXT_FIELD()`
so that the long-command only needs to be listed once.

This extends the syntax to support new syntaxes like
`-o=FILE` or `-D=dict`,
though there is no need to advertise this capability for the time being.

Also : added `NEXT_UINT32()`,
which is wrapper around `NEXT_FIELD()`
to read integer parameters.
Use the wrapper to new field, such as `--memlimit`
which can now support both syntaxes too.

added tests for newly enabled syntax

for --patch-from origin
and --filelist list

Also : removed some constrained syntax tests,
as the new argument parsing syntax is more permissive.

For example :
    zstd file -of dest
used to be disallowed.

It's now allowed, and understood as:
    zstd file -o dest -f

extended 2-fields macro usage to number arguments

leading to further simplications

CLI: simplified handling of separated-fields arguments

this patch reduces complexity associated with
commands requiring a separated arguments
such as :
-o filename
-D dictionary
--output-dir-flat dir
--output-dir-mirror dir

It used to be a multi-stage process with explicit context,
it's now simplified as a single macro.

Thanks to this simplification,
separated arguments logic has also been extended to
--patch-from XXX
--filelist XXX
which extends existing capability using =XXX
--patch-from=XXX
--filelist=XXX

Separated argument is useful for filenames and directories,
as it benefits from shell expansion
such as ~/dir/file
where the ~ is automatically translated by the shell.
In contrast --long-command=FILE does not interpret FILE,
so ~/ is transmitted as is to the main() function,
generally resulting in incorrect file name.

Merge pull request #2197 from neheb/hj

meson: remove build requirement for distutils

Merge pull request #2243 from facebook/uclibc

fix uclibc's st_mtim

ensure workspace is large enough

even when MAX_TABLELOG is reduced

import some minor fixes from FSE project

Merge pull request #2246 from ffontaine/dev

programs/util.c: fix build without st_mtime

Merge pull request #2247 from facebook/revert-2244-dev

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Revert "Fix -Wunused-variable under FUZZING_BUILD_MODE..."

Merge pull request #2244 from hctim/dev

Fix -Wunused-variable under FUZZING_BUILD_MODE...

programs/util.c: fix build without st_mtime

Since version 1.4.5 and commit
5af8cb7aea8d890b4801e50e5274371510f2cf33, if st_mtime is not defined,
programs/util.c uses utime without including utime.h which will raise
the following build failure on some of the buildroot autobuilders:

util.c: In function 'UTIL_setFileStat':
util.c:161:24: error: storage size of 'timebuf' isn't known
         struct utimbuf timebuf;
                        ^~~~~~~

Fixes:
 - http://autobuild.buildroot.org/results/be902c5d110f37bce622a2215191f155b7d3e7e0

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Fix -Wunused-variable under FUZZING_BUILD_MODE...

Fuzzing build modes (FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION) doesn't
necessarily imply that assert() is enabled, according to the manual.

When the current do-nothing is expanded under -Wunused-variable (-Wall),
it results in unused variables in some of the FUZZING_BUILD_MODE...
blocks.

This patch extends the do-nothing to avoid the unused variable.

fix uclibc's st_mtim

reported and suggested by @ewildgoose (#1872)

Merge pull request #2242 from evverx/cifuzz-ubsan-msan

cifuzz: turn on UBsan and MSan

cifuzz: turn on UBsan and MSan

minor doc clarification regarding MT parameters

Merge pull request #2239 from evverx/evverx-cifuzz

cifuzz: don't upload artifacts when CIFuzz fails to build fuzz targets

Merge pull request #2219 from xxie24/output-dir-mirror

Add output-dir-mirror option

Merge pull request #2183 from tonytheodore/patch-1

Install pkg-config file on MINGW also

Merge pull request #2237 from marxin/gcda-to-gitignore

Add GCC PGO data files to .gitignore.

Merge pull request #2236 from marxin/pgo-fix-comment

Update comment about PGO build.

Merge pull request #2231 from marxin/use-threads-in-example

Use threads in streaming_compression.c example.

Add GCC PGO data files to .gitignore.

Update comment about PGO build.

Use threads in streaming_compression.c example.

Fixes #1584.

cifuzz: don't upload artifacts when CIFuzz fails to build fuzz targets

It should address https://github.com/google/oss-fuzz/issues/3982

Merge pull request #2230 from cwoffenden/minor-tidy

Remove superfluous build-time macros (single-file libs)

Merge pull request #2235 from bimbashrestha/decom-macros

[actions] removing flakey min-decomp

removing min decomp

Remove superfluous build-time options

Merge pull request #2227 from yoshihitoh/single-file-dict-emscripten

[contrib] Fix single-file compilation error on Emscripten build.

Change Emscripten docker image to the official one which is used for testing the single-file feature.

Merge pull request #2228 from marxin/rename-ZSTDMT_NBTHREADS_MAX

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename it in zstd man page.

Enable docker based Emscripten build on single file library test if emcc is not available.

Merge pull request #2220 from dkcasset/fix-lib-Makefile-older-sed-version

Replace -E option with equivalent -r for older versions of sed

Merge pull request #2221 from BioDataAnalysis/bda_install_dll

Install MSVC runtime shared libraries (DLL) with cmake

Add variable for sed extended RE option (defaults to -E)

build/cmake/lib/CMakeLists.txt: Install shared library (dll) for Windows

Rename static vars to avoid redefinition error.

Replace -E option with equivalent -r for older versions of sed

Add output-dir-mirror option

Merge pull request #2218 from terrelln/assert-seq

Fix unused variable warnings in fuzzing build mode without asserts

Merge pull request #2217 from terrelln/cover-redundant

[cover] Remove unnecessary mask and dedup hash functions

Merge pull request #2209 from Niadb/dev

Explicitly use __cdecl for qsort, to avoid warning when default calling convention is not __cdecl

Fix unused variable warnings in fuzzing build mode without asserts

Fix unused vairable warnings when `FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION` is defined but asserts are disabled.

Fixes #2210.

[cover] Remove unnecessary mask and dedup hash functions

* Remove the unnecessary mask, since `ZSTD_hash*()` already ensures
  the output is mod 2^h.
* Dedup the hash functions and use `ZSTD_hash*()` directly.

Merge pull request #2212 from cwoffenden/single-file-dict

Single-file libs now include dictBuilder

Merge pull request #2214 from terrelln/superblock-cross-entropy

[superblock] Add defensive assert and bounds check

[superblock] Add defensive assert and bounds check

The bound check condition should always be met because we selected `set_basic` as
our encoding type. But that code is very far away, so assert it is true so if it is
ever false we can catch it, and add a bounds check.

Fixes #2213.

Renamed cover and fast cover hash functions/vars

Initial implementation (files added, macros fixed)

Hashing functions still to fix.

Update compiler.h

clean wording

Update compiler.h

Added a comment explaining the purpose of the WIN_CDECL macro

Add files via upload

Add files via upload

Add files via upload

Merge pull request #2208 from bimbashrestha/arm-actions

[actions] adding arm to actions

adding arm to actions

Merge pull request #2206 from bimbashrestha/stream-size

[cli] Allowing stdin on --patch-from using --stream-size

adding --patch-from --stream-size test

error when not using --stream-size on pipe

passing streamSrcSize when set

Merge pull request #2205 from bimbashrestha/cmake

Removing de-duplication of cmake flags

removing deduplicatin of flags

added paragraph on static analysis pitfalls

Merge pull request #2202 from terrelln/dict-fi

[lib] Allow compression dictionaries with missing symbols

[lib] Allow compression dictionaries with missing symbols

Allow compression to use dictionaries with missing symbols in their
entropy tables. We set the FSE repeat mode to check when there are
missing symbols, and set the FSE repeat mode to valid when all symbols
are present.

Note that when not all symbols are present, the heuristics which favor
dictionary tables for lower compression levels won't activate.

Tested by manually creating a dictionary with missing symbols of every
type, and validing that the compressor rejects it before this change,
and accepts it after this change. Also, I ran the `dictionary_loader`
fuzzer for >1 hour of CPU time without running into cases where
compression succeeds, but decompression fails.

Fixes #2174.

Merge pull request #2196 from tru/dumpversion_argument

Make --version respect -q for ouptut a shorter version string

Update version documention with the support for -q

meson: remove build requirement for distutils

Tested on a default installation of Debian 10.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Short version string output

This adds support for just showing the version string
without the full welcome message if the log level is
less than the default. That means that you pass -q once
and you will just see "1.4.5".

This makes it easier to parse in scripts.

Merge pull request #2193 from bimbashrestha/typos

Fixing some typos

Spelling mistakes

Merge pull request #2190 from facebook/playTest_improvement

Check environmental variables in playTests.sh and add default values

fix the if statements in posix sh env

check env variables and add default values

Merge pull request #2187 from bimbashrestha/bourne

[ci] Adding bourne shell compatibility test

Merge pull request #2186 from bimbashrestha/dll-install

[cmake] Fix dll install location

excluding ls | grep warning

[shellcheck] setting  if unset

[shellcheck] adding quotes to expansion

adding shellcheck bourne test

newline lints (ignore)

DLL install fix for https://github.com/facebook/zstd/issues/2160

Credit goes to @xantares

Summary:

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

Install pkg-config file on MINGW also

Mingw follows unix conventions and often expects pkg-config files to be present.

Merge pull request #2181 from facebook/makejall

fixed double-compilation of lib with make -j all

added comment on $(Q)

fixed double-compilation of lib with make -j all

also implemented verbose mode (make V=1)

Merge pull request #2133 from felixhandte/single-size-calculation

Consolidate CCtx Size Estimation Code

Merge pull request #2180 from facebook/generic-release

[actions] Migrating 2nd batch of tests from Travis to Github Actions

minor markdown formatting fix