[regression] Update results.csv for level 1 change

Merge pull request #1562 from terrelln/2fast

[libzstd] Speed up single segment zstd_fast by 5%

Merge pull request #1567 from terrelln/examples2

[examples] Update streaming_decompression.c

Merge pull request #1568 from terrelln/examples3

Update streaming_memory_usage.c and fix ZSTD_estimateCStreamSize_usingCCtxParams()

[examples] Update streaming_memory_usage.c

Update to use the new streaming API. Making progress on Issue #1548.

Tested that the checks don't fail.
Tested with window log 9-32. The lowest and highest fail as expected.

[libzstd] Setting ZSTD_d_maxWindowLog to 0 means default

[libzstd] Speed up single segment zstd_fast by 5%

This PR is based on top of PR #1563.

The optimization is to process two input pointers per loop.
It is based on ideas from [igzip] level 1, and talking to @gbtucker.

| Platform                | Silesia     | Enwik8 |
|-------------------------|-------------|--------|
| OSX clang-10            | +5.3%       | +5.4%  |
| i9 5 GHz gcc-8          | +6.6%       | +6.6%  |
| i9 5 GHz clang-7        | +8.0%       | +8.0%  |
| Skylake 2.4 GHz gcc-4.8 | +6.3%       | +7.9%  |
| Skylake 2.4 GHz clang-7 | +6.2%       | +7.5%  |

Testing on all Silesia files on my Intel i9-9900k with gcc-8

| Silesia File | Ratio Change | Speed Change |
|--------------|--------------|--------------|
| silesia.tar  | +0.17%       | +6.6%        |
| dickens      | +0.25%       | +7.0%        |
| mozilla      | +0.02%       | +6.8%        |
| mr           | -0.30%       | +10.9%       |
| nci          | +1.28%       | +4.5%        |
| ooffice      | -0.35%       | +10.7%       |
| osdb         | +0.75%       | +9.8%        |
| reymont      | +0.65%       | +4.6%        |
| samba        | +0.70%       | +5.9%        |
| sao          | -0.01%       | +14.0%       |
| webster      | +0.30%       | +5.5%        |
| xml          | +0.92%       | +5.3%        |
| x-ray        | -0.00%       | +1.4%        |

Same tests on Calgary. For brevity, I've only included files
where compression ratio regressed or was much better.

| Calgary File | Ratio Change | Speed Change |
|--------------|--------------|--------------|
| calgary.tar  | +0.30%       | +7.1%        |
| geo          | -0.14%       | +25.0%       |
| obj1         | -0.46%       | +15.2%       |
| obj2         | -0.18%       | +6.0%        |
| pic          | +1.80%       | +9.3%        |
| trans        | -0.35%       | +5.5%        |

We gain 0.1% of compression ratio on Silesia.
We gain 0.3% of compression ratio on enwik8.
I also tested on the GitHub and hg-commands datasets without a dictionary,
and we gain a small amount of compression ratio on each, as well as speed.

I tested the negative compression levels on Silesia on my
Intel i9-9900k with gcc-8:

| Level | Ratio Change | Speed Change |
|-------|--------------|--------------|
| -1    | +0.13%       | +6.4%        |
| -2    | +4.6%        | -1.5%        |
| -3    | +7.5%        | -4.8%        |
| -4    | +8.5%        | -6.9%        |
| -5    | +9.1%        | -9.1%        |

Roughly, the negative levels now scale half as quickly. E.g. the new
level 16 is roughly equivalent to the old level 8, but a bit quicker
and smaller.  If you don't think this is the right trade off, we can
change it to multiply the step size by 2, instead of adding 1. I think
this makes sense, because it gives a bit slower ratio decay.

[igzip]: https://github.com/01org/isa-l/tree/master/igzip

[examples] Update streaming_decompression.c

Update to use the new streaming API. Making progress on Issue #1548.

Tested that it can decompress files produced by `streaming_compression`.
Tested that it can decompress two frames concatenated together.
Tested that it fails on corrupted data.

Merge pull request #1566 from terrelln/examples

[examples] Update multiple_streaming_compression.c

Fix ZSTD_estimateCStreamSize_usingCCtxParams()

It wasn't using the ZSTD_CCtx_params correctly. It must actualize
the compression parameters by calling ZSTD_getCParamsFromCCtxParams()
to get the real window log.

Tested by updating the streaming memory usage example in the next
commit. The CHECK() failed before this patch, and passes after.

I also added a unit test to zstreamtest.c that failed before this
patch, and passes after.

Fix indentation

[examples] Update multiple_streaming_compression.c

Update to use the new streaming API. Making progress on Issue #1548.

Tested that multiple files could be compressed, and that the output
is the same as calling `streaming_compression` multiple times with
the same compression level, and that it can be decompressed.

Merge pull request #1563 from terrelln/dms-sep

[libzstd] Split out zstd_fast dict match state function

Split out zstd_fast dict match state function

Merge pull request #1561 from shakeelrao/fix-typo

Update comments in zstd.h and fileio.c

fix srcSize typo and add new UTIL func to comment

Merge pull request #1556 from terrelln/dictbuilder

[cover] Improvements for small or homogeneous data

Merge pull request #1557 from terrelln/examples

[examples] Update streaming_compression to the new API

Merge pull request #1559 from shakeelrao/reject-dict

[CLI] ensure dictionary and input file are different

Add whitespace to test case

Rename test

Add CLI test to validate error

Add NULL check for dict

Modify error msg

Implement file check

Extract file comparison into utility func

[examples] Update streaming_compression to the new API

Merge pull request #1558 from nehaljwani/fix-version-soversion-libzstd

[libzstd] Specify soversion and version corectly for CMake build

[libzstd] Specify soversion and version correctly for CMake build

Fixes #1512

[cover] Improvements for small or homogeneous data

* The algorithm would bail as soon as it found one epoch that
  contained no new segments. Change it so it now has to fail
  >= 10 times in a row (10 for fastcover, 10-100 for cover).
* The algorithm uses the `maxDict` size to decide the epoch size.
  When this size is absurdly large, it causes tiny epochs. Lower
  bound the epoch size at 10x the segment size, and warn the user
  that their training set is too small.

Fixes #1554

Merge pull request #1555 from terrelln/load-dict

[lib] Allow ZSTD_CCtx_loadDictionary() to be called before parameters are set

[lib] Allow ZSTD_CCtx_loadDictionary() to be called before parameters are set

* After loading a dictionary only create the cdict once we've started the
  compression job. This allows the user to pass the dictionary before they
  set other settings, and is in line with the rest of the API.
* Add tests that mix the 3 dictionary loading APIs.
* Add extra tests for `ZSTD_CCtx_loadDictionary()`.
* The first 2 tests added fail before this patch.
* Run the regression test suite.

Merge pull request #1551 from terrelln/stream-wrap

Refactor old stream API to completely wrap the advanced API

Update documentation to tell how to replace the old streaming API with the new one.

Wrap the new advanced api completely

[regression] Add more streaming tests

* Test all of the `ZSTD_initCStream*()` variants.
* Fix a typo in the zstdcli method.

Merge pull request #1553 from shakeelrao/legacy-bound

Add legacy support to decompressBound

Fix typo in legacy documentation

Remove extraneous spacing in comments

Add legacy mode in documentation

Stylistic changes

Update documentation for ZSTD_frameSizeInfo

Test new ZSTD_findFrameCompressedSize and update documentation

Reorder declaration in ZSTD_findFrameSizeInfoLegacy

Add legacy support to decompressBound

Merge pull request #1547 from shakeelrao/fix-error

Fix incorrect error code in ZSTD_errorFrameSizeInfo

Add static linking to legacy tests

Add test to validate patch

Merge pull request #1550 from terrelln/cparams-cdict

[libzstd] Allow compression parameters to be set with a cdict

[zstreamtest] Remove outdated test

[libzstd] Allow compression parameters to be set with a cdict

The order you set parameters in the advanced API is not supposed to matter.
However, once you call `ZSTD_CCtx_refCDict()` the compression parameters
cannot be changed. Remove that restriction, and document what parameters
are used when using a CDict.

If the CCtx is in dictionary mode, then the CDict's parameters are used.
If the CCtx is not in dictionary mode, then its requested parameters are
used.

Merge pull request #1549 from terrelln/ref-cdict-free

[libzstd] Free local cdict when referencing cdict

[libzstd] Free local cdict when referencing cdict

We no longer care about the `cdictLocal` after calling
`ZSTD_CCtx_refCDict()`, so we should free it to save some
memory.

Add unit test to validate the error case

Fix incorrectly assigned value in ZSTD_errorFrameSizeInfo

As documented in `zstd.h`, ZSTD_decompressBound returns `ZSTD_CONTENTSIZE_ERROR`
if an error occurs (not `ZSTD_CONTENTSIZE_UNKNOWN`). This is consistent with
the error checking made in ZSTD_decompressBound, particularly line 545.

Merge pull request #1543 from shakeelrao/dev

Provide a function to estimate decompressed size.

update documentation for decompressBound

update formatting

add missing size content test

add stylistic changes

update missing error case to CONTENTSIZE_ERROR

change nbBlocks to size_t for consistency

change compressedBound to ULL

implement API-level changes

Merge pull request #1541 from terrelln/fuzz

[fuzz] Add --enable-fuzzer for clang fuzzing

initialize local vars in decompressBound

switch frameBound type to ULL

change return type to ULL

Remove autogenerated test file

Fix decl-after-stmnt build error

Provide an API function to estimate decompressed size.

Introduces a new utility function `ZSTD_findFrameCompressedSize_internal` which
is equivalent to `ZSTD_findFrameCompressSize`, but accepts an additional output
parameter `bound` that computes an upper-bound for the compressed data in the frame.

The new API function is named `ZSTD_decompressBound` to be consistent with
`zstd_compressBound` (the inverse operation). Clients will now be able to compute an upper-bound for
their compressed payloads instead of guessing a large size.

Implements https://github.com/facebook/zstd/issues/1536.

[fuzz] Add --enable-fuzzer for clang fuzzing

Merge pull request #1532 from terrelln/cctx-params

[libzstd] Rename ZSTD_CCtxParam_* to ZSTD_CCtxParams_*

Update changelog

Merge pull request #1531 from terrelln/appveyorTest

Fixes for Windows release

[libzstd] Rename ZSTD_CCtxParam_* to ZSTD_CCtxParams_*

[Windows] Don't use a .def file

[Windows] Move public headers to include/

Merge pull request #1530 from terrelln/param-order

Clean up parameter code

[fuzzer] Add test cases

[libzstd] Clean up parameter code

* Move all ZSTDMT parameter setting code to ZSTD_CCtxParams_*Parameter().
  ZSTDMT now calls these functions, so we can keep all the logic in the
  same place.
* Clean up `ZSTD_CCtx_setParameter()` to only add extra checks where needed.
* Clean up `ZSTDMT_initJobCCtxParams()` by copying all parameters by default,
  and then zeroing the ones that need to be zeroed. We've missed adding several
  parameters here, and it makes more sense to only have to update it if you
  change something in ZSTDMT.
* Add `ZSTDMT_cParam_clampBounds()` to clamp a parameter into its valid
  range. Use this to keep backwards compatibility when setting ZSTDMT parameters,
  which clamp into the valid range.

Merge pull request #1525 from terrelln/enable-huf-flag

Fix optimal parser prices with uncompressed literals

[zstdcli] Respect --[no-]compress-literals in benchmark mode

[zstdcli] Add a flag to control literals compression

Fix a bug in the compress cctx method

[libzstd] Handle uncompressed literals

[regression] Test level 19 with uncompressed literals

Merge pull request #1522 from terrelln/enable-huf-flag

Add ZSTD_c_literalCompressionMode flag

[regression] Test ZSTD_c_literalCompressionMode

Test a positive compression level with uncompressed literals,
and a negative compression level with compressed literals.

I double checked the `results.csv` and made sure that the compressed
sizes make sense.

[libzstd] Add ZSTD_c_literalCompressionMode flag

It controls the literals compression. It is either
`auto`, `huffman`, or `uncompressed`. It defaults to
`auto`, which is the current behavior.

Merge pull request #1519 from terrelln/play-bsd

[cirrus] Run playTests.sh

[util] Fix UTIL_isLink() for FreeBSD

[cirrus] Run playTests.sh

* Pass `-Werror` through `MOREFLAGS`
* Install `coreutils`
* Run `playTests.sh`

Merge pull request #1521 from bket/lstat

Detection of symbolic links on OpenBSD

Add test

While here enable symlink test for OpenBSD.

Make detection of symbolic links more consistent

While fixing the detection of symbolic links on OpenBSD I noticed
inconsistent behaviour:

$ echo hello > hello
$ ln -s hello world
$ zstd hello world
Warning : world is a symbolic link, ignoring
hello                :316.67%   (     6 =>     19 bytes, hello.zst
$ ls *.zst
hello.zst
$ zstd world
world                :316.67%   (     6 =>     19 bytes, world.zst)
$ ls *.zst
hello.zst world.zst

Detect symbolic links on OpenBSD

In #1520 it is described that FreeBSD doesn't detect symbolic links. The
same is true for OpenBSD. This diff fixes this issue for OpenBSD. I'm
guessing that something similar works for FreeBSD as well. However, I'm
unable to test this.

Merge pull request #1518 from bket/non-portable

'head -c BYTES' is non portable

'head -c BYTES' is non-portable.

Pull request #1499 added a new test, which uses 'head -c'. The '-c'
option is non-portable (not in POSIX). Instead use 'dd'. Similar issue
has been resolved in the past (#1321).

Merge pull request #1516 from terrelln/dict-doc

[zdict] Improve documentation