Fix buck for lib

Merge pull request #1432 from terrelln/regression

[regression] Add initial regression test framework

[regression] Add initial regression test framework

The regression tests run nightly or on the `regression`
branch for convenience. The results get uploaded as the
artifacts of the job. If they change, check the diff
printed in the job. If all is well, download the new
results and commit them to the repo.

This code will only run on a UNIX like platform. It
could be made to run on Windows, but I don't think that
it is necessary. It also uses C99.

* data: This module defines the data to run tests on.
  It downloads data from a URL into a cache directory,
  checks it against a checksum, and unpacks it. It also
  provides helpers for accessing the data.
* config: This module defines the configs to run tests
  with. A config is a set of API parameters and a set of
  CLI flags.
* result: This module is a helper for method that defines
  the result type.
* method: This module defines the compression methods
  to test. It is what runs the regression test using the
  data and the config. It reports the total compressed
  size, or an error/skip.
* test: This is the test binary that runs the tests for
  every (data, config, method) tuple, and prints the
  results to the output file and stderr.
* results.csv: The results that the current commit is
  expected to produce.

Merge pull request #1430 from lzutao/fix-zstdgrep

Fix  #1428 - zstdgrep now returns 1 on unmatch

Add simple test for zstdgrep

Prevent globbing on non-quoting variable

Fix  #1428 - zstdgrep now returns 1 on unmatch

Merge pull request #1429 from denis2342/dev

fixed a typo

fixed a typo

Merge pull request #1426 from lzutao/upgrade-mesonbuild

Update meson build system

Update meson build system

NOTE: This commit only tested on Linux (Ubuntu 18.04). Windows
build may not work as expected.

* Use meson >= 0.47.0 cause we use install_man function
* Add three helper Python script:
  * CopyFile.py: To copy file
  * CreateSymlink.py: To make symlink (both Windows and Unix)
  * GetZstdLibraryVersion.py: Parse lib/zstd.h to get zstd version
  These help emulating equivalent functions in CMake and Makefile.
* Use subdir from meson to split meson.build
  * Add contrib build
  * Fix other build
* Add new build options
  * build_programs: Enable programs build
  * build_contrib: Enable contrib build
  * build_tests: Enable tests build
  * use_static_runtime: Link to static run-time libraries on MSVC
  * zlib_support: Enable zlib support
  * lzma_support: Enable lzma support

Rename and update build instruction in README file to README.md

Add meson build guide

Merge pull request #1419 from ryandesign/universal

Fix feature detection with multiple -arch flags

Merge pull request #1418 from ryandesign/cpuid-i386

Fix i386 build failure "Junk character 13"

Fix feature detection with multiple -arch flags

When multiple -arch flags are used, the compiler invokes itself once for
each architecture. Apparently, input on stdin is consumed by the
compilation of the first arch and is no longer available to the
compilation of the second arch, which results in a build failure and the
potentially incorrect determination that a feature is not available. So
write the feature detection source to a file instead of using stdin.

Fix i386 build failure "Junk character 13"

Merge pull request #1416 from terrelln/rsync

- Factor out LDM's hash function for reuse
- Add rsyncable mode to zstdmt and expose it via the advanced API
- Fix `-B`/`--block-size` to actually set the job size
- Add rsyncable tests to `zstreamtest` and `playTests.sh`

Tested by:

```
> cat A.100MB B.100MB C.100MB D.100MB E.100MB | zstd --rsyncable -fo src/file.zst
/*stdin*\            : 48.22%   (524288000 => 252837782 bytes, src/file.zst)
> rsync -rc --stats src devbigvm:/data/users/terrelln/rsync-test
Total bytes sent: 252868779
total size is 252837782  speedup is 1.00
> echo test > test
> cat test A.100MB test B.100MB test C.100MB test D.100MB test E.100MB | zstd --rsyncable -fo src/file.zst
/*stdin*\            : 48.23%   (524288025 => 252838025 bytes, src/unicorn.tar.zst)
> rsync -rc --stats src devbigvm:/data/users/terrelln/rsync-test
Total bytes sent: 4605696
total size is 252838025  speedup is 53.60
```

Close #1155.

[tests] Add rsyncable tests

[cli] Set the job size

[cli] Add rsyncable

[lib] Add rsyncable mode

- Add rsyncable mode to multithreaded mode
- Factor out LDM's hash function for reuse

Merge pull request #1415 from facebook/benchfn

Separating benchfn and benchzstd

circumvent gcc-8 strict aliasing warning

because gcc considers that
`void* const *`  and `void**` are 2 different types ...

Merge branch 'dev' of github.com:facebook/zstd into dev

bumped version number to v1.3.8

fixed decode-only test condition

fix debug trace

fixed VS2010+ build script

fixed cmake build script

changed benchfn api

to use structure for function parameters
as it expresses much clearer than a long list of parameters,
since each parameter can now be named.

benchfn can provided faulty return value

with BMK_extract_returnValue()

separated bench module into benchfn and benchzstd

it shall be possible to use benchfn
without any dependency on zstd.

Merge pull request #1413 from felixhandte/attach-dict-fix-unsigned-compare

Fix #1412: Perform Signed Comparison When Setting Attach Dict Param

changed PREFETCH() macro into PREFETCH_L2()

which is more accurate

Const

Fix Fuzz Range

Fix Types

Switch Enum to Only Non-Negative Values, Update Comments

Fix #1412: Perform Signed Comparison When Setting Attach Dict Param

Merge pull request #1411 from facebook/prefetch_dict

Improves decompression speed when using cold dictionary

Merge pull request #1410 from facebook/prefetch_dec

 improve long-range decoder speed

Improves decompression speed when using cold dictionary

by triggering the prefetching decoder path
(which used to be dedicated to long-range offsets only).

Figures on my laptop :
no content prefetch : ~300 MB/s (for reference)
full content prefetch : ~325 MB/s (before this patch)
new prefetch path : ~375 MB/s (after this patch)

The benchmark speed is already significant,
but another side-effect is that this version
prefetch less data into memory,
since it only prefetches what's needed, instead of the full dictionary.

This is supposed to help highly active environments
such as active databases,
that can't be properly measured in benchmark environment (too clean).

Also :
fixed the largeNbDict test program
which was working improperly when setting nbBlocks > nbFiles.

Merge pull request #1409 from terrelln/tsan-dict

Add TSAN dictionary tests

reduced assertion strength

one limit case can apparently be generated during fuzzer tests

added a simple test case for decode-only benchmark mode

as it was broken and no one noticed

improve long-range decoder speed

on enwik9 at level 22 (which is almost a worst case scenario),
speed improves by +7% on my laptop (415 -> 445 MB/s)

fixed decompression-only benchmark

Run TSAN fuzztest

Add multithreaded dictbuilder tests to fuzzer.c

Signal before unlocking in pool.c

Merge pull request #1408 from szreder/dev

Prevent deadlock on malloc() failure.

Prevent deadlock on malloc() failure.

Merge pull request #1405 from pitrou/allow_cmake_debug_builds

Allow creating debug builds with CMake

Allow creating debug builds with CMake

Only set the build type to Release if the user didn't select any.
See discussion in https://github.com/facebook/zstd/pull/1278#issuecomment-436327923
and below.

Merge pull request #1404 from facebook/T36302429

fixed T36302471

Merge pull request #1403 from facebook/assert_opt

just add an assert() in ZSTD_insertBtAndGetAllMatches()

fixed T36302429

just add an assert() in ZSTD_insertBtAndGetAllMatches()

to express a condition on ll0 .
May help static analyzer as in #1397

Merge pull request #1395 from facebook/decompressblock

created zstd_decompress_block module

Merge pull request #1398 from bmwiedemann/pgo

Fix building zstd-pgo

fixed a second memset() on NULL

not sure why it only triggers now,
this code has been around for a while.

Introduced a new error code : dstBuffer_null,
I couldn't express anything even remotely similar with existing error codes set.

fixed memcpy() on NULL warning

memcpy(NULL, src, 0) is undefined behavior.

Merge pull request #1396 from facebook/huf_refactor

refactor HUF_compress_internal for clarity

pgo: also optimize compression

and clean *.o so that linking does not fail from code
that is partially augmented with coverage generation instructions

zstd-pgo: do not make clean and zstd in parallel

otherwise, there might not be a ./zstd to run

added flag -Wc++-compat

for library and cli

renamed NEWS as CHANGELOG

to conform fb publication rules.

minor clarifications of history update rules

Merge pull request #1392 from coetry/dev

provide consistent spacing to enum field

Merge pull request #1394 from terrelln/circleci-packaging

Publish uncompressed, zstd, and gzipped packages

Merge branch 'dev' into huf_Refactor

added a few comments for clarifications

Merge branch 'dev' into decompressblock

Merge pull request #1390 from facebook/nullAsOutput

support decompressing an empty frame into NULL

vertically align code comment

refactor HUF_compress_internal for clarity

changed workspace parameter convention
to always provide workspaceSize,
so that size can be explicitly checked.

Also, use more enum to make the meaning of some parameters more explicit.

Publish uncompressed, zstd, and gzipped packages

fixed VS2010 project

fixed : extraneous function prototype in fullbench.c

now provided through zstd_internal.h

provide consistent spacing to enum field

created zstd_decompress_block module

isolate all logic associated with block decompression
into its own module.

zstd_decompress is still in charge
of context creation/destruction,
frames, headers, streaming, special blocks, etc.

Compressed blocks themselves are now handled within zstd_decompress_block .

Merge pull request #1388 from facebook/ddict

separate DDict logic into its own module

added comment on public ddict functions

support decompressing an empty frame into NULL

fix #1385
decompressing into NULL was an automatic error.
It is now allowed, as long as the content of the frame is empty.

Seems to simplify things for `arrow`.
Maybe some other projects rely on this behavior ?

fix and refactored libzstd_partial_build.sh

make the test intention clearer
(easier to maintain)

also resist the existence of zstd_ddict.o within libzstd.a

fixed warnings in testpools

added simple guard macros

in case of accidental multi-includes

fixed VS2010 build script

restored cmake build tests in Travis

for some reason, these tests were no longer played on Travis.

As a consequence, I discovered some left-over from the util.c change while testing.

separate DDict logic into its own module

created zstd_ddict.c within lib/decompress

Merge pull request #1384 from ulikunitz/dev

Clarify special case of offset history update

Reverted removal of a trailing space.

My editor removes trailing spaces while saving. Not confusing things I
reverted that change.

Fixed a typo

I fixed a typo in the last commit. Many thanks to @terrelin for pointing
that out.

Clarify special case of offset history update

If the current sequence has literal length of zero then an offset value
of three is handled in a special manner. While I implemented a golang
decoder I had to consult the educational decoder for clarification on
the update of the offset history in that case. This commit provides the
clarification that the offset value Repeated_Offset1-1 is handled as a
new offset is added to the offset history accordingly.

Merge pull request #1383 from facebook/uninstall

fix : removed zstdmt symlink on uninstall

fix : removed zstdmt symlink on uninstall

Merge pull request #1380 from facebook/decodecorpus

fix decodecorpus incorrect frame generation

Merge pull request #1382 from jonesz/ticket-compiler-rt-fuzzer

Fix libFuzzer location in makefile.

Fix libFuzzer location in makefile.

libFuzzer was moved into compiler-rt, update the repo location
accordingly.