removed CLI dependency to legacy unsafe function

makint the CLI ons step closer to being linkable to the dynamic library

Merge pull request #2454 from facebook/cycleLog_noDeps

removed internal library dependency from CLI

removed internal dependency from CLI

ZSTD_cycleLog() is a very short function,
creating a rather large dependency onto libzstd's internal just for it is overkill.
Prefer duplicating this 2-lines function.

This PR makes the zstd CLI one step closer to being linkable to the dynamic library (see #2450)
More steps are still needed to reach this goal.

Merge pull request #2451 from terrelln/adjust-dict-2

Don't shrink window log when streaming with a dictionary

Don't shrink window log in ZSTD_getCParams()

Treat ZSTD_getCParams() and ZSTD_adjustCParams() in the same way
we treat streaming compression. Choose parameters based on the
dictionary size + source size, and assume the source size is small
if unkown. But, don't shrink the window log down in
ZSTD_adjustCParams_internal().

Don't shrink window log when streaming with a dictionary

Fixes #2442.

1. When creating a dictionary keep the same behavior as before.
   Assume the source size is 513 bytes when adjusting parameters.
2. When calling ZSTD_getCParams() or ZSTD_adjustCParams() keep
   the same behavior as before.
3. When attaching a dictionary keep the same behavior of ignoring
   the dictionary size. When streaming this will select the
   largest parameters and not adjust them down. But, the CDict
   will use the correctly sized parameters, which seems like the
   right tradeoff.
4. When not attaching a dictionary (either forced not to, or
   using a prefix dictionary) we select parameters based on the
   dictionary size + source size, and assume the source size is
   small, which is the same behavior as before. But, now we don't
   adjust the window log (and hash and chain log) down when the
   source size is unknown.

When the source size is unknown all cdicts should attach, except
when the user disables attaching, or `forceWindow` is used. This
means that when streaming with a CDict we end up in the good case
where we get small CDict parameters, and large source parameters.

TODO: Add a streaming + dictionary regression test case.

[test][regression] Add no source size with dictionary test

* Add a test that runs without a pledgedSrcSize and with a dictionary.
* Add github.tar data with uses the github dictionary while compressing
  github.tar, instead of each file individually.

Merge pull request #2452 from terrelln/2021

[license] Update year to 2021

[license] Update year to 2021

Merge pull request #2445 from facebook/nomsanfuzz

remove flackey msan ossfuzz test

Merge branch 'dev' into nomsanfuzz

fixed one more minor cast issue

can't use address calculation with `void*`

Merge branch 'dev' into nomsanfuzz

fixed minor warnings introduced in #2439

Merge pull request #2439 from senhuang42/skippable_frame_api

Generate skippable frame API

Merge pull request #2444 from indygreg/dict-ifndef-guards

Add ifndef guards for _LARGEFILE_SOURCE and _LARGEFILE64_SOURCE

remove flackey msan ossfuzz test

while waiting for it to be fixed

Add ifndef guards for _LARGEFILE_SOURCE and _LARGEFILE64_SOURCE

This ensures the symbols aren't redefined, which would result in a compiler
error.

I was getting redefined symbols for _LARGEFILE64_SOURCE when building for
32-bit x86 Linux on an older CentOS release in a CI environment. With this
change, I'm able to compile the single file library in this environment.

Closes #2443.

Merge pull request #2438 from facebook/makej

try to keep libzstd.a "as is" once created

Merge pull request #2440 from facebook/fixga32

try to fix 32-bit test on github actions

try to fix 32-bit test on github actions

for some reasons, this test fails at _installing_ 32-bit dependencies
using the exact same command that actually works in other tests !!?

It's unclear why it fails repeateadly for this test only.
Try another way to install dependencies to fix that.

try to fix cross-compiler tests

Merge pull request #2437 from facebook/zlibwrap_make

streamline zlibwrapper makefile

Use pre-defined constants

Add unit test

Implement skippable frame function

fix ppc64 build on circleci

verbose cross-compile tests on circleci

for better diagnosis

updated clang+msan test

fixed zstd+sanitizer build

fixed zstd recipe

try to keep libzstd.a "as is" once created

to be compatible with scenarios such as
`make -j allmost`

streamlined github action test

streamline zlibwrapper makefile

making better usage of default build rules

updated version number to v1.4.8

Merge pull request #2434 from facebook/wksp_align4

added emphasis on the alignment condition of workspace

added emphasis on the alignment condition of workspace

and made it a programming mistake (`assert()`)
rather than a runtime error.

Merge pull request #2433 from facebook/travisless

Reduce workload on travisCI

removed duplicated release-only tests

from travisCI
as they are already part of Github Actions

removed tests duplicated between TravisCI and Github Actions

reduce load on TravisCI

Merge pull request #2432 from facebook/check32

added runtime test in CI for 32-bit binaries

Merge branch 'check32' of github.com:facebook/zstd into check32

removing tests using too much resources for 32-bit address space

Merge pull request #2430 from terrelln/huf-compress-weights-fix

Fix alignment of scratchBuffer in HUF_compressWeights()

added pre-requisites for 32-bit tests in CI

additional master->release switches (CI tests)

added a simple runtime test in CI for 32-bit binaries

Fix alignment of scratchBuffer in HUF_compressWeights()

The scratch buffer must be 4-byte aligned. This causes test failures in
32-bit systems, where the stack isn't aligned.

Fixes Issue #2428.

removed incorrect test

moving all references to `release` branch

was previously `master`

Merge pull request #2426 from facebook/changelog147

Updated CHANGELOG for v1.4.7

Merge pull request #2427 from facebook/example_compile

streamlined example recipe

updated version number to v1.4.7

and updated doc

streamlined example recipe

better use of default rules

added api issues reported by @animalize

Updated CHANGELOG for v1.4.7

Merge pull request #2424 from ihsinme/patch-1

fix Integer Overflow

Merge pull request #2425 from animalize/changelog_date

add release dates to CHANGELOG

Merge pull request #2420 from terrelln/huf-comment

[huf_compress] Refactor and comment HUF_buildCTable()

add release dates to CHANGELOG

fix Integer Overflow

Merge pull request #2423 from facebook/no-ln

replace links by actual copies

Merge pull request #2411 from terrelln/cmake-fixes

[cmake] Fix source directory with spaces

refinement : only copy if binary is different

[CI][cmake] Disable --test-large-data and shorten fuzzing time to 2 mins

replace final links by direct copy

link can behave slightly differently from real binaries,
breaking a few scripts relying on "real binary" assumption.

[tests] Fix playTests.sh with spaces in path

[cmake] Quote environment variables for tests

Fix the quoting for the invocation of `playtests.sh`.

[cmake] Fix pkgconfig quoting

The pkgconfig file generation didn't correctly escape the paths. It both
quoted and escaped spaces with `\`, which doesn't work. The fix is to
remove the quoting.

[CI] Add cmake test for source dirs with spaces

Merge pull request #2422 from felixhandte/doc-update-repcodes

Update Zstd Compression Format to Clarify Repcode Behavior

Update Zstd Compression Format to Clarify Repcode Behavior

Merge pull request #2421 from felixhandte/pc-no-sed

Don't Use Regexes to Build Pkg-Config File

Merge pull request #2419 from felixhandte/asan-dont-poison-static-allocs

Don't ASAN-Poison Statically-Allocated Workspaces

Create Enum to Represent Static/Dynamic Allocation Distinction in cwksp

Don't ASAN-Poison Statically-Allocated Workspaces

Addresses #2286.

Apply Same Strategy to CMake

Avoid Use of Regexes in Building Package-Config File

[huf_compress] Refactor and comment HUF_buildCTable()

Comment and refactor `HUF_buildCTable()` and the helper functions
it calls as I read and understand the code. Hopefully this refactor
makes the code a bit more clear.

Merge pull request #2418 from senhuang42/fix_paramgrill_warnings

Fix various paramgrill conversion warnings

Fix various conversion warnings

Merge pull request #2408 from senhuang42/seekable_hang_fix

Remove possibility of hanging when using seekable decompression

Merge pull request #2417 from bimbashrestha/icc-fix

[build] Fix icc build. Using updated ubuntu packages

Using add-apt-repository instead and installing intel-basekit/hpckit

Merge pull request #2413 from senhuang42/paramgrill_windows

Paramgrill for windows

Merge pull request #2415 from facebook/fix_aliasing

fix gcc-10 strict aliasing warnings

fix gcc-10 aliasing warning in zlib_wrapper

fix aliasing warning in decodecorpus

Merge pull request #2412 from animalize/dict_compressionlevel

use ZSTD_CLEVEL_DEFAULT in zdict.c

fix gcc-10 strict aliasing warnings

by exposing HUF_CElt declaration.

minor speed improvement to HUF_readCTable()

faster by ~+1-2%

Merge pull request #2414 from terrelln/mt-progress

[lib] Ensure that multithreaded compression always makes some progress

[lib] Ensure that multithreaded compression always makes some progress

Merge pull request #2410 from terrelln/zlib-wrapper

[zlibWrapper] Only use public zstd functions

Allow paramgrill in cmake on windows

Fix MSVC 2019 warnings

Add seekable tests to CI

Clean up makefile for seekable tests

use ZSTD_CLEVEL_DEFAULT in zdict.c

Merge pull request #2406 from terrelln/linux-wrapper-api

[linux] Add the linux wrapper API