[zstreamtest] Remove outdated test

[libzstd] Allow compression parameters to be set with a cdict

The order you set parameters in the advanced API is not supposed to matter.
However, once you call `ZSTD_CCtx_refCDict()` the compression parameters
cannot be changed. Remove that restriction, and document what parameters
are used when using a CDict.

If the CCtx is in dictionary mode, then the CDict's parameters are used.
If the CCtx is not in dictionary mode, then its requested parameters are
used.

Merge pull request #1549 from terrelln/ref-cdict-free

[libzstd] Free local cdict when referencing cdict

[libzstd] Free local cdict when referencing cdict

We no longer care about the `cdictLocal` after calling
`ZSTD_CCtx_refCDict()`, so we should free it to save some
memory.

Merge pull request #1543 from shakeelrao/dev

Provide a function to estimate decompressed size.

update documentation for decompressBound

update formatting

add missing size content test

add stylistic changes

update missing error case to CONTENTSIZE_ERROR

change nbBlocks to size_t for consistency

change compressedBound to ULL

implement API-level changes

Merge pull request #1541 from terrelln/fuzz

[fuzz] Add --enable-fuzzer for clang fuzzing

initialize local vars in decompressBound

switch frameBound type to ULL

change return type to ULL

Remove autogenerated test file

Fix decl-after-stmnt build error

Provide an API function to estimate decompressed size.

Introduces a new utility function `ZSTD_findFrameCompressedSize_internal` which
is equivalent to `ZSTD_findFrameCompressSize`, but accepts an additional output
parameter `bound` that computes an upper-bound for the compressed data in the frame.

The new API function is named `ZSTD_decompressBound` to be consistent with
`zstd_compressBound` (the inverse operation). Clients will now be able to compute an upper-bound for
their compressed payloads instead of guessing a large size.

Implements https://github.com/facebook/zstd/issues/1536.

[fuzz] Add --enable-fuzzer for clang fuzzing

Merge pull request #1532 from terrelln/cctx-params

[libzstd] Rename ZSTD_CCtxParam_* to ZSTD_CCtxParams_*

Update changelog

Merge pull request #1531 from terrelln/appveyorTest

Fixes for Windows release

[libzstd] Rename ZSTD_CCtxParam_* to ZSTD_CCtxParams_*

[Windows] Don't use a .def file

[Windows] Move public headers to include/

Merge pull request #1530 from terrelln/param-order

Clean up parameter code

[fuzzer] Add test cases

[libzstd] Clean up parameter code

* Move all ZSTDMT parameter setting code to ZSTD_CCtxParams_*Parameter().
  ZSTDMT now calls these functions, so we can keep all the logic in the
  same place.
* Clean up `ZSTD_CCtx_setParameter()` to only add extra checks where needed.
* Clean up `ZSTDMT_initJobCCtxParams()` by copying all parameters by default,
  and then zeroing the ones that need to be zeroed. We've missed adding several
  parameters here, and it makes more sense to only have to update it if you
  change something in ZSTDMT.
* Add `ZSTDMT_cParam_clampBounds()` to clamp a parameter into its valid
  range. Use this to keep backwards compatibility when setting ZSTDMT parameters,
  which clamp into the valid range.

Merge pull request #1525 from terrelln/enable-huf-flag

Fix optimal parser prices with uncompressed literals

[zstdcli] Respect --[no-]compress-literals in benchmark mode

[zstdcli] Add a flag to control literals compression

Fix a bug in the compress cctx method

[libzstd] Handle uncompressed literals

[regression] Test level 19 with uncompressed literals

Merge pull request #1522 from terrelln/enable-huf-flag

Add ZSTD_c_literalCompressionMode flag

[regression] Test ZSTD_c_literalCompressionMode

Test a positive compression level with uncompressed literals,
and a negative compression level with compressed literals.

I double checked the `results.csv` and made sure that the compressed
sizes make sense.

[libzstd] Add ZSTD_c_literalCompressionMode flag

It controls the literals compression. It is either
`auto`, `huffman`, or `uncompressed`. It defaults to
`auto`, which is the current behavior.

Merge pull request #1519 from terrelln/play-bsd

[cirrus] Run playTests.sh

[util] Fix UTIL_isLink() for FreeBSD

[cirrus] Run playTests.sh

* Pass `-Werror` through `MOREFLAGS`
* Install `coreutils`
* Run `playTests.sh`

Merge pull request #1521 from bket/lstat

Detection of symbolic links on OpenBSD

Add test

While here enable symlink test for OpenBSD.

Make detection of symbolic links more consistent

While fixing the detection of symbolic links on OpenBSD I noticed
inconsistent behaviour:

$ echo hello > hello
$ ln -s hello world
$ zstd hello world
Warning : world is a symbolic link, ignoring
hello                :316.67%   (     6 =>     19 bytes, hello.zst
$ ls *.zst
hello.zst
$ zstd world
world                :316.67%   (     6 =>     19 bytes, world.zst)
$ ls *.zst
hello.zst world.zst

Detect symbolic links on OpenBSD

In #1520 it is described that FreeBSD doesn't detect symbolic links. The
same is true for OpenBSD. This diff fixes this issue for OpenBSD. I'm
guessing that something similar works for FreeBSD as well. However, I'm
unable to test this.

Merge pull request #1518 from bket/non-portable

'head -c BYTES' is non portable

'head -c BYTES' is non-portable.

Pull request #1499 added a new test, which uses 'head -c'. The '-c'
option is non-portable (not in POSIX). Instead use 'dd'. Similar issue
has been resolved in the past (#1321).

Merge pull request #1516 from terrelln/dict-doc

[zdict] Improve documentation

[zdict] Improve documentation

Merge pull request #1515 from thatsafunnyname/patch-1

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

-Wformat-security not needed with -Wformat=2

Merge pull request #1511 from lwhsu/cirrus-ci

Change Cirrus CI's badge to dev branch

Change Cirrus CI's badge to dev branch

Merge pull request #1501 from lwhsu/cirrus-ci

Add Cirrus-CI config and build status badge for testing on FreeBSD

Merge pull request #1509 from felixhandte/verbose-errors

Add Debug Information to Error Checks

Rename FORWARD_ERROR -> FORWARD_IF_ERROR

Add Comment

Remove CHECK_E Macro

Replace Uses of CHECK_E with RETURN_ERROR_IF(*_isError(...

Remove CHECK_F Macro

Replace CHECK_F Uses in zstdmt_compress.c and zstd_ddict.c

Merge pull request #1508 from facebook/fileio_lz4

fixed fileio.c compilation with LZ4 enabled

Also Convert zstd_compress.c

Add grep-able String to Error Macros

Switch CHECK_F Calls to FORWARD_ERROR

Switch Unconditional RETURN_ERROR_IF Calls to RETURN_ERROR

Add RETURN_ERROR and FORWARD_ERROR Macros

Convert Checks in zstd_decompress.c to RETURN_ERROR_IF

Convert Checks in zstd_decompress_block.c to RETURN_ERROR_IF

Add RETURN_ERROR_IF Macro That Logs Debug Information When Check Fails

fixed fileio.c compilation with LZ4 enabled

was broken by #1505.

I'm surprised it passed CI tests.
LZ4 tests are part of the "Extended" tests on Travis CI,
which are run on "master" and in "cron" jobs.

Since latest cron job did not failed,
especially this one : https://travis-ci.org/facebook/zstd/jobs/484365040
it suggests cron jobs are no longer using `dev` branch.

To be investigated

Merge pull request #1505 from kostmo/remove-global-params

Remove global parameters, pass into public functions instead

Remove global parameters, pass into public functions instead

Merge pull request #1504 from facebook/conversionWarnings

Conversion warnings

Revert "added clang test in travis"

This reverts commit 4909a341db27f123d920041dcbd5e4a51aa0b38f.

added clang test in travis

updated clang tests

target clangbuild

fixed minor conversion warnings in examples/

Add Cirrus-CI build status badge

Add Cirrus-CI config for FreeBSD builds

Merge pull request #1499 from kostmo/detect-truncation

fix --list on truncated files

Merge pull request #1500 from lwhsu/unistd

Include unistd.h on unix platforms for explicit function declaration

fix --list on truncated files

fseek() doesn't indicate when it moves past the end of a file.
Consequently, if a file is truncated within its last block, the error would't be detected.

This PR adds a test scenario that induces this situation using a small compressed file of only one block in size.
This test is added to tests/playTests.sh

Check is implemented by ensuring that the filehandle position is equal to the filesize upon exit.

Include unistd.h on unix platforms for explicit function declaration

Merge pull request #1496 from hjmjohnson/cmake-improve-conditional-policies

ENH: Simplify conditional logic

ENH: Simplify conditional logic

Based on excellent comment in #1489, the logic
to set cmake policies was simplified.  This will
provide an easier mechanism for maintaining the
conditional logic across many versions of cmake.

Merge pull request #1494 from lzutao/fix-leak

Fix potential leak of 'outBuff' (reported by scan-build)

Merge pull request #1493 from lzutao/fix-#1428

Fix #1428 - zstdgrep returned 1 on both matched and unmatched file

tests/legagy.c: More fixes

Fix potential leak of 'outBuff' (reported by scan-build)

Fix #1428 - zstdgrep returned 1 on match and unmatch

- Use ZCAT for testing zstdgrep in case of non-install yet
- tests: Add file test for zstdgrep

Merge pull request #1491 from cemeyer/freebsd_num_cores

Fix #1425 - Use physical core count API on FreeBSD