Reset the cctx for documentation/safety

[regression] add more methods

add clarification for ZSTD_CCtx_setPledgedSrcSize()

as requested in #1391

Merge pull request #1417 from facebook/advancedAPI

Advanced API

fix assert position within ZSTD_compress2()

clarified experimentalParam

fixed ZSTD_compress2()

as suggested by @terrelln

Merge pull request #1440 from hungptit/dev

Refactor examples to avoid code duplication.

Refactor examples to avoid code duplication.

Merge pull request #1439 from obelisk/buck_readme

Add buck build instructions to README.md

Add buck build instruction to the readme

moved ZSTD_WINDOWLOG_LIMIT_DEFAULT into static-linking-only area

clarified usage of word "job"

only applies in MT / async context now.

changed parameter names from ZSTD_p_* to ZSTD_c_*

for naming consistency

updated API documentation

ZSTD_decompressDCtx() is compatible with sticky parameters

merge dedicated dParam setters

write the switch()case: differently

so that it please both
compilers which warn for dead code after the switch
and
compilers which do not detect that all branches terminate.

fixed silent conversion warning

fixed declaration-after-statement warnings

implemented ZSTD_dParam_getBounds()

and ZSTD_DCtx_setParameter()

advanced decompression function replaces by normal streaming one

advanced parameters compatible with ZSTD_decompressStream().

Merge pull request #1427 from lzutao/minor-fix-meson

Update meson build and add Travis test for it

Merge pull request #1437 from facebook/grep

check availability of --color=never command on grep and egrep

check availability of --color=never command on grep and egrep

before applying them.
Fixes #1436

joined normal streaming API with advanced one

Merge pull request #1434 from terrelln/regression

[regression] Add dictionary support

meson: Update usage of InstallSymlink helper

meson: Update tests timeout to run properly

meson: Use clang for faster build

Use -Dlegacy_level build option to control ZSTD_LEGACY_SUPPORT macro in test

meson helper: Use Python conventional name for naming function [skip ci]

meson: Fix soversion

meson: Use -werror build option instead of adding -Werror [skip ci]

Use argparse instead of manually parsing [skip ci]

Add missed .1 extension for manpage [skip ci]

meson: Cleanup installing symlinks

Update README

meson: Remove redundant join_paths function

ci: Use new meson auto_features option

* Install lz4 dep from Ubuntu repo
* Use curl instead of wget
* Use xenial for meson and make meson build first
* Unset Travis preset CC and CXX value for meson to use ccache
* Be more verbose with "set -x"

meson: Change build options' name

Add almost all test cases in tests/Makefile

Add clang cflags

Initial support for Windows build

Change tabsize

Build both shared and static lib on CI

Rename INSTALL_SYSTEM to BUILD_SYSTEM

Add comment about looking for dependencies

Rename some meson build options to match autoconf convention

Enable debugging flag

Update relevant files after moving meson to build/

Update meson build instructions

Move contrib/meson to build/meson

Add enable_lz4 build option and fix lzma dependency

Add pedantic flag

No install zstd_manual.html

Install missed zstdgrep and zstdless

Install zstdmt.1 manpage [skip ci]

Rename meson variables

Add manpage install warning [skip ci]

We link new manpages with gz compressed format of the target manpage.
I have not tested it on Windows. So just place a warning here.

Fix manpage symlinks [skip ci]

Apply new InstallSymlink script

Helper script to install symlink in meson

No need these helpers

Init CI test for meson build

Do not use ccache: Build error in gcc-8

Fix lib soversion and no install cover.h header

Fix meson tests build

Bump to 1.3.8 and fix run_command function

The run_command is run from an unspecified directory. Therefore we cannot assume
which directory it is running our command.

Update legacy support to 5

Minor fix for meson build

Use files function instead of constructing path with meson.current_source_dir()

[regression] Add dictionary support

Dictionaries are prebuilt and saved as part of the data object.
The config decides whether or not to use the dictionary if it is
available. Configs that require dictionaries are only run with
data that have dictionaries. The method will skip configs that are
irrelevant, so for example ZSTD_compress() will skip configs with
dictionaries.

I've also trimmed the silesia source to 1MB per file (12 MB total),
and added 500 samples from the github data set with a dictionary.

I've intentionally added an extra line to the `results.csv` to make
the nightly build fail, so that we can see how CircleCI reports it.

Full list of changes:

* Add pre-built dictionaries to the data.
* Add `use_dictionary` and `no_pledged_src_size` flags to the config.
* Add a config using a dictionary for every level.
* Add a config that specifies no pledged source size.
* Support dictionaries and streaming in the `zstdcli` method.
* Add a context-reuse method using `ZSTD_compressCCtx()`.
* Clean up the formatting of the `results.csv` file to align columns.
* Add `--data`, `--config`, and `--method` flags to constrain each
  to a particular value. This is useful for debugging a failure
  or debugging a particular config/method/data.

preparative for ZSTD_DCtx_setParameter()

created ZSTD_compress2() and ZSTD_compressStream2()

ZSTD_compress_generic() is renamed ZSTD_compressStream2().

Note that, for the time being,
the "stable" API and advanced one use different parameter planes :
setting parameters using the advanced API does not influence ZSTD_compressStream()
and using ZSTD_initCStream() does not influence parameters for ZSTD_compressStream2().

Merge pull request #1433 from obelisk/fixed_buck

Small changes for buck build

Fix buck for lib

Merge pull request #1432 from terrelln/regression

[regression] Add initial regression test framework

[regression] Add initial regression test framework

The regression tests run nightly or on the `regression`
branch for convenience. The results get uploaded as the
artifacts of the job. If they change, check the diff
printed in the job. If all is well, download the new
results and commit them to the repo.

This code will only run on a UNIX like platform. It
could be made to run on Windows, but I don't think that
it is necessary. It also uses C99.

* data: This module defines the data to run tests on.
  It downloads data from a URL into a cache directory,
  checks it against a checksum, and unpacks it. It also
  provides helpers for accessing the data.
* config: This module defines the configs to run tests
  with. A config is a set of API parameters and a set of
  CLI flags.
* result: This module is a helper for method that defines
  the result type.
* method: This module defines the compression methods
  to test. It is what runs the regression test using the
  data and the config. It reports the total compressed
  size, or an error/skip.
* test: This is the test binary that runs the tests for
  every (data, config, method) tuple, and prints the
  results to the output file and stderr.
* results.csv: The results that the current commit is
  expected to produce.

Merge pull request #1430 from lzutao/fix-zstdgrep

Fix  #1428 - zstdgrep now returns 1 on unmatch

Add simple test for zstdgrep

Prevent globbing on non-quoting variable

Fix  #1428 - zstdgrep now returns 1 on unmatch

Merge pull request #1429 from denis2342/dev

fixed a typo

fixed a typo

Merge pull request #1426 from lzutao/upgrade-mesonbuild

Update meson build system

Update meson build system

NOTE: This commit only tested on Linux (Ubuntu 18.04). Windows
build may not work as expected.

* Use meson >= 0.47.0 cause we use install_man function
* Add three helper Python script:
  * CopyFile.py: To copy file
  * CreateSymlink.py: To make symlink (both Windows and Unix)
  * GetZstdLibraryVersion.py: Parse lib/zstd.h to get zstd version
  These help emulating equivalent functions in CMake and Makefile.
* Use subdir from meson to split meson.build
  * Add contrib build
  * Fix other build
* Add new build options
  * build_programs: Enable programs build
  * build_contrib: Enable contrib build
  * build_tests: Enable tests build
  * use_static_runtime: Link to static run-time libraries on MSVC
  * zlib_support: Enable zlib support
  * lzma_support: Enable lzma support

Rename and update build instruction in README file to README.md

Add meson build guide

Merge pull request #1419 from ryandesign/universal

Fix feature detection with multiple -arch flags

pushed experimental parameters

into ZSTD_STATIC_LINKING_ONLY section

getParameter fills an int*

rather than an unsigned*
for consistency
since type of setParameter() changed to int.

promote ZSTD_findFrameCompressedSize() into staging area

changed hashEveryLog into hashRateLog

fixed fall-through

completed implementation of ZSTD_cParam_getBounds()

for all parameters

fixed remaining searchLength invocations

changed searchLength into minMatch

refactored all relevant API and calls
for consistency.

changed enum type name to ZSTD_ResetDirective

for naming consistency :
types should start with a capital letter (after prefix)

ZSTD_CCtx_setParameter : `value` argument is now `int`

for compatibility with compression level

removed some constants and _simpleArgs() from staging

constants that *may* change in the future
will be accessed through functions instead
(to be created).

_simpleArgs() variant do not have (yet) a clear enough added value
to deserve "stable" status.

Merge pull request #1418 from ryandesign/cpuid-i386

Fix i386 build failure "Junk character 13"

Fix feature detection with multiple -arch flags

When multiple -arch flags are used, the compiler invokes itself once for
each architecture. Apparently, input on stdin is consumed by the
compilation of the first arch and is no longer available to the
compilation of the second arch, which results in a build failure and the
potentially incorrect determination that a feature is not available. So
write the feature detection source to a file instead of using stdin.

Fix i386 build failure "Junk character 13"