removing min decomp

Merge pull request #2227 from yoshihitoh/single-file-dict-emscripten

[contrib] Fix single-file compilation error on Emscripten build.

Change Emscripten docker image to the official one which is used for testing the single-file feature.

Merge pull request #2228 from marxin/rename-ZSTDMT_NBTHREADS_MAX

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename ZSTDMT_NBTHREADS_MAX to ZSTDMT_NBWORKERS_MAX.

Rename it in zstd man page.

Enable docker based Emscripten build on single file library test if emcc is not available.

Merge pull request #2220 from dkcasset/fix-lib-Makefile-older-sed-version

Replace -E option with equivalent -r for older versions of sed

Merge pull request #2221 from BioDataAnalysis/bda_install_dll

Install MSVC runtime shared libraries (DLL) with cmake

Add variable for sed extended RE option (defaults to -E)

build/cmake/lib/CMakeLists.txt: Install shared library (dll) for Windows

Rename static vars to avoid redefinition error.

Replace -E option with equivalent -r for older versions of sed

Merge pull request #2218 from terrelln/assert-seq

Fix unused variable warnings in fuzzing build mode without asserts

Merge pull request #2217 from terrelln/cover-redundant

[cover] Remove unnecessary mask and dedup hash functions

Merge pull request #2209 from Niadb/dev

Explicitly use __cdecl for qsort, to avoid warning when default calling convention is not __cdecl

Fix unused variable warnings in fuzzing build mode without asserts

Fix unused vairable warnings when `FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION` is defined but asserts are disabled.

Fixes #2210.

[cover] Remove unnecessary mask and dedup hash functions

* Remove the unnecessary mask, since `ZSTD_hash*()` already ensures
  the output is mod 2^h.
* Dedup the hash functions and use `ZSTD_hash*()` directly.

Merge pull request #2212 from cwoffenden/single-file-dict

Single-file libs now include dictBuilder

Merge pull request #2214 from terrelln/superblock-cross-entropy

[superblock] Add defensive assert and bounds check

[superblock] Add defensive assert and bounds check

The bound check condition should always be met because we selected `set_basic` as
our encoding type. But that code is very far away, so assert it is true so if it is
ever false we can catch it, and add a bounds check.

Fixes #2213.

Renamed cover and fast cover hash functions/vars

Initial implementation (files added, macros fixed)

Hashing functions still to fix.

Update compiler.h

clean wording

Update compiler.h

Added a comment explaining the purpose of the WIN_CDECL macro

Add files via upload

Add files via upload

Add files via upload

Merge pull request #2208 from bimbashrestha/arm-actions

[actions] adding arm to actions

adding arm to actions

Merge pull request #2206 from bimbashrestha/stream-size

[cli] Allowing stdin on --patch-from using --stream-size

adding --patch-from --stream-size test

error when not using --stream-size on pipe

passing streamSrcSize when set

Merge pull request #2205 from bimbashrestha/cmake

Removing de-duplication of cmake flags

removing deduplicatin of flags

added paragraph on static analysis pitfalls

Merge pull request #2202 from terrelln/dict-fi

[lib] Allow compression dictionaries with missing symbols

[lib] Allow compression dictionaries with missing symbols

Allow compression to use dictionaries with missing symbols in their
entropy tables. We set the FSE repeat mode to check when there are
missing symbols, and set the FSE repeat mode to valid when all symbols
are present.

Note that when not all symbols are present, the heuristics which favor
dictionary tables for lower compression levels won't activate.

Tested by manually creating a dictionary with missing symbols of every
type, and validing that the compressor rejects it before this change,
and accepts it after this change. Also, I ran the `dictionary_loader`
fuzzer for >1 hour of CPU time without running into cases where
compression succeeds, but decompression fails.

Fixes #2174.

Merge pull request #2196 from tru/dumpversion_argument

Make --version respect -q for ouptut a shorter version string

Update version documention with the support for -q

Short version string output

This adds support for just showing the version string
without the full welcome message if the log level is
less than the default. That means that you pass -q once
and you will just see "1.4.5".

This makes it easier to parse in scripts.

Merge pull request #2193 from bimbashrestha/typos

Fixing some typos

Spelling mistakes

Merge pull request #2190 from facebook/playTest_improvement

Check environmental variables in playTests.sh and add default values

fix the if statements in posix sh env

check env variables and add default values

Merge pull request #2187 from bimbashrestha/bourne

[ci] Adding bourne shell compatibility test

Merge pull request #2186 from bimbashrestha/dll-install

[cmake] Fix dll install location

excluding ls | grep warning

[shellcheck] setting  if unset

[shellcheck] adding quotes to expansion

adding shellcheck bourne test

newline lints (ignore)

DLL install fix for https://github.com/facebook/zstd/issues/2160

Credit goes to @xantares

Summary:

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

Merge pull request #2181 from facebook/makejall

fixed double-compilation of lib with make -j all

added comment on $(Q)

fixed double-compilation of lib with make -j all

also implemented verbose mode (make V=1)

Merge pull request #2133 from felixhandte/single-size-calculation

Consolidate CCtx Size Estimation Code

Merge pull request #2180 from facebook/generic-release

[actions] Migrating 2nd batch of tests from Travis to Github Actions

minor markdown formatting fix

Create generic-release.yml

Merge pull request #2137 from facebook/generic-dev

[actions] Migrating 1st batch of tests from Travis to Github Actions

Merge pull request #2178 from bimbashrestha/quick-fix

Change --patch-from limit from 4gb to 2gb

Using ZSTD_MAX_WINDOWLOG instead of INT_MAX

Merge pull request #2176 from facebook/make_implicit

fixed default rule for lib/Makefile

Merge pull request #2177 from facebook/dictID0

updated spec on dictID==0

Change --patch-from limit from 4gb to 2gb

updated spec on dictID==0

Specified decoder behavior on receiving a frame with dictID=0.

Pushed paragraph on reserved DictID ranges into the Dictionary Format section.

fixed default rule for lib/Makefile

default rule is `lib-release`

`lib-release` wasn't working : it was just skipped.

Removing `lib-release` from the list of .PHONY targets fixes it.

Same for `lib-mt`.

Merge pull request #2167 from terrelln/pzstd-ms-fix

[pzstd] Fix compilation error in MinGW

[pzstd] Fix compilation error in MinGW

Merge pull request #2166 from facebook/donotinstall_zbuffh

do not install zbuff.h

do not install zbuff.h

this API is deprecated, for a loong time now,
all related symbols will be removed in a future version (likely v1.5.0)
and the header file `zbuff.h` doesn't compile from `include/` anyway,
because it needs to be positioned one directory below `zstd.h`.

Also removed `cover.h` from `cmake` installer,
as it should have never been part of this list to begin with.

Merge pull request #2163 from orivej/fix-legacy-build

Fix legacy build after #2103

Fix legacy build after #2103

Merge pull request #2154 from facebook/dev

v1.4.5

Merge pull request #2159 from facebook/visual_playTests

Fix playTests.sh

fixed environment variables

Merge branch 'dev' into visual_playTests

Merge pull request #2158 from facebook/meson_fix

fix meson playTests.sh

fix meson playTests.sh

try to fix PPC64 Qemu tests

Merge pull request #2155 from facebook/fix_zbufftest

fixed zbuff test

fixed appveyor long tests

playTests changed variable name

fixed zbuff test

error introduced in https://github.com/facebook/zstd/blame/3b39ce6b527c5cfe395a187c75b77baf5cc7de02/.travis.yml#L192

Merge pull request #2153 from terrelln/ldm-dict-reset

[ldm][mt] Fix loadedDictEnd

[test] Update the ldm loadedDictEnd test to cover zstdmt

[ldm][mt] Fix loadedDictEnd

Merge pull request #2152 from terrelln/simple-rt-bound

[fuzz] Expand the allowedExpansion

[fuzz] Expand the allowedExpansion

fix 22294 (#2151)

Merge pull request #2150 from terrelln/ldm-dict-reset

[ldm] Reset loadedDictEnd when the context is reset

[test] Test that the ldm dictionary gets invalidated on reset

[test] Improve LDM forceMaxWindow test

Merge pull request #2148 from felixhandte/fix-2144

Don't Use `[[` in Shell Scripts

[ldm] Reset loadedDictEnd when the context is reset

Don't Use `[[` in Shell Scripts

Merge pull request #2146 from cwoffenden/combine-script-fixes

Reduced single file lib size on macOS

Minor tidy

Reduced generated sized on macOS (and other envs where realpath is missing)

Added Python fallback for when realpath fails.