Merge pull request #2473 from terrelln/recovery

[contrib][recovery] Add recovery_directory program

[contrib][recovery] Add recovery_directory program

This program takes a file with concatenated zstd frames and splits the
file up by frame. E.g. if `dir.zst` has 4 frames:

```
> ./recover_directory dir.zst recovery/file
Recovering 4 files...
Recovered recovery/file0
Recovered recovery/file1
Recovered recovery/file2
Recovered recovery/file3
Complete
```

Merge pull request #2465 from senhuang42/cformat_2021

[license] Change year to 2021 compression_format.md

Merge pull request #2462 from lazka/cmake-fix-pc-escaping

cmake: use configure_file() for creating the .pc file

Change year to 2021 for compression format file

cmake: use configure_file() for creating the .pc file

Escaping in add_custom_target() seems to depend on the shell used in the cmake
generator and using Ninja on Windows, which uses cmd.exe, results in stray backslashes
in the .pc file.

Instead of going through escaping hell just use configure_file() with the existing
libzstd.pc.in file already used by the simple Makefile based build system.

This fixes the .pc file syntax when building zstd with CMake+Ninja+gcc on Windows.

Fix visibility of symbols in .so (#2441)

Fix visibility of symbols in .so and add an alias for renamed API

Merge pull request #2446 from senhuang42/multiple_ddicts_v3

[RFC] Support references to multiple DDicts

Merge pull request #2457 from facebook/cli-dll

zstd CLI can now be linked to libzstd dynamic library

Merge pull request #2459 from ThomasWaldmann/fix-typos

fix typos (work done by Andrea Gelmini)

Fix Visual and staticanalyze warnings

fixup: lits means literals

Added library version check

Merge branch 'dev' into cli-dll

Merge pull request #2455 from facebook/lessTests

removed redundant tests

fix typos (work done by Andrea Gelmini)

Allow freestanding lib script regex to detect XXH64(

Add streaming decompression to unit test

Address comments, clean up interface/internals

Add unit test, improve documentation

Use XXHash for hash function, create a sensible public interface

Add debuglog statements

Reference requested dict ID at decompression time

Allocate memory for DDict hash set when parameter is set

Add parameter to control multiple DDicts

Implement hashset for dictIDs

The CLI can be linked to libzstd dynamic library

invoking target zstd-dll

removed CLI dependency to legacy unsafe function

makint the CLI ons step closer to being linkable to the dynamic library

removed redundant tests

clang v3.8 tests are either flacky or redundant,
prefer using clang-latest.

Merge pull request #2454 from facebook/cycleLog_noDeps

removed internal library dependency from CLI

removed internal dependency from CLI

ZSTD_cycleLog() is a very short function,
creating a rather large dependency onto libzstd's internal just for it is overkill.
Prefer duplicating this 2-lines function.

This PR makes the zstd CLI one step closer to being linkable to the dynamic library (see #2450)
More steps are still needed to reach this goal.

Merge pull request #2451 from terrelln/adjust-dict-2

Don't shrink window log when streaming with a dictionary

Don't shrink window log in ZSTD_getCParams()

Treat ZSTD_getCParams() and ZSTD_adjustCParams() in the same way
we treat streaming compression. Choose parameters based on the
dictionary size + source size, and assume the source size is small
if unkown. But, don't shrink the window log down in
ZSTD_adjustCParams_internal().

Don't shrink window log when streaming with a dictionary

Fixes #2442.

1. When creating a dictionary keep the same behavior as before.
   Assume the source size is 513 bytes when adjusting parameters.
2. When calling ZSTD_getCParams() or ZSTD_adjustCParams() keep
   the same behavior as before.
3. When attaching a dictionary keep the same behavior of ignoring
   the dictionary size. When streaming this will select the
   largest parameters and not adjust them down. But, the CDict
   will use the correctly sized parameters, which seems like the
   right tradeoff.
4. When not attaching a dictionary (either forced not to, or
   using a prefix dictionary) we select parameters based on the
   dictionary size + source size, and assume the source size is
   small, which is the same behavior as before. But, now we don't
   adjust the window log (and hash and chain log) down when the
   source size is unknown.

When the source size is unknown all cdicts should attach, except
when the user disables attaching, or `forceWindow` is used. This
means that when streaming with a CDict we end up in the good case
where we get small CDict parameters, and large source parameters.

TODO: Add a streaming + dictionary regression test case.

[test][regression] Add no source size with dictionary test

* Add a test that runs without a pledgedSrcSize and with a dictionary.
* Add github.tar data with uses the github dictionary while compressing
  github.tar, instead of each file individually.

Merge pull request #2452 from terrelln/2021

[license] Update year to 2021

[license] Update year to 2021

Merge pull request #2445 from facebook/nomsanfuzz

remove flackey msan ossfuzz test

Merge branch 'dev' into nomsanfuzz

fixed one more minor cast issue

can't use address calculation with `void*`

Merge branch 'dev' into nomsanfuzz

fixed minor warnings introduced in #2439

Merge pull request #2439 from senhuang42/skippable_frame_api

Generate skippable frame API

Merge pull request #2444 from indygreg/dict-ifndef-guards

Add ifndef guards for _LARGEFILE_SOURCE and _LARGEFILE64_SOURCE

remove flackey msan ossfuzz test

while waiting for it to be fixed

Add ifndef guards for _LARGEFILE_SOURCE and _LARGEFILE64_SOURCE

This ensures the symbols aren't redefined, which would result in a compiler
error.

I was getting redefined symbols for _LARGEFILE64_SOURCE when building for
32-bit x86 Linux on an older CentOS release in a CI environment. With this
change, I'm able to compile the single file library in this environment.

Closes #2443.

Merge pull request #2438 from facebook/makej

try to keep libzstd.a "as is" once created

Merge pull request #2440 from facebook/fixga32

try to fix 32-bit test on github actions

try to fix 32-bit test on github actions

for some reasons, this test fails at _installing_ 32-bit dependencies
using the exact same command that actually works in other tests !!?

It's unclear why it fails repeateadly for this test only.
Try another way to install dependencies to fix that.

try to fix cross-compiler tests

Merge pull request #2437 from facebook/zlibwrap_make

streamline zlibwrapper makefile

Use pre-defined constants

Add unit test

Implement skippable frame function

fix ppc64 build on circleci

verbose cross-compile tests on circleci

for better diagnosis

updated clang+msan test

fixed zstd+sanitizer build

fixed zstd recipe

try to keep libzstd.a "as is" once created

to be compatible with scenarios such as
`make -j allmost`

streamlined github action test

streamline zlibwrapper makefile

making better usage of default build rules

updated version number to v1.4.8

Merge pull request #2434 from facebook/wksp_align4

added emphasis on the alignment condition of workspace

added emphasis on the alignment condition of workspace

and made it a programming mistake (`assert()`)
rather than a runtime error.

Merge pull request #2433 from facebook/travisless

Reduce workload on travisCI

removed duplicated release-only tests

from travisCI
as they are already part of Github Actions

removed tests duplicated between TravisCI and Github Actions

reduce load on TravisCI

Merge pull request #2432 from facebook/check32

added runtime test in CI for 32-bit binaries

Merge branch 'check32' of github.com:facebook/zstd into check32

removing tests using too much resources for 32-bit address space

Merge pull request #2430 from terrelln/huf-compress-weights-fix

Fix alignment of scratchBuffer in HUF_compressWeights()

added pre-requisites for 32-bit tests in CI

additional master->release switches (CI tests)

added a simple runtime test in CI for 32-bit binaries

Fix alignment of scratchBuffer in HUF_compressWeights()

The scratch buffer must be 4-byte aligned. This causes test failures in
32-bit systems, where the stack isn't aligned.

Fixes Issue #2428.

removed incorrect test

moving all references to `release` branch

was previously `master`

Merge pull request #2426 from facebook/changelog147

Updated CHANGELOG for v1.4.7

Merge pull request #2427 from facebook/example_compile

streamlined example recipe

updated version number to v1.4.7

and updated doc

streamlined example recipe

better use of default rules

added api issues reported by @animalize

Updated CHANGELOG for v1.4.7

Merge pull request #2424 from ihsinme/patch-1

fix Integer Overflow

Merge pull request #2425 from animalize/changelog_date

add release dates to CHANGELOG

Merge pull request #2420 from terrelln/huf-comment

[huf_compress] Refactor and comment HUF_buildCTable()

add release dates to CHANGELOG

fix Integer Overflow

Merge pull request #2423 from facebook/no-ln

replace links by actual copies

Merge pull request #2411 from terrelln/cmake-fixes

[cmake] Fix source directory with spaces

refinement : only copy if binary is different

[CI][cmake] Disable --test-large-data and shorten fuzzing time to 2 mins

replace final links by direct copy

link can behave slightly differently from real binaries,
breaking a few scripts relying on "real binary" assumption.

[tests] Fix playTests.sh with spaces in path

[cmake] Quote environment variables for tests

Fix the quoting for the invocation of `playtests.sh`.

[cmake] Fix pkgconfig quoting

The pkgconfig file generation didn't correctly escape the paths. It both
quoted and escaped spaces with `\`, which doesn't work. The fix is to
remove the quoting.

[CI] Add cmake test for source dirs with spaces

Merge pull request #2422 from felixhandte/doc-update-repcodes

Update Zstd Compression Format to Clarify Repcode Behavior

Update Zstd Compression Format to Clarify Repcode Behavior