Merge branch 'dev' into decTest

Merge pull request #1755 from cwoffenden/amalgamate-c99-fixes

C99 and older GCC fixes

C99 and older GCC fixes

update test script

fix create_ script for sh

Merge pull request #1749 from facebook/rmadapt

removed adaptive-compression

Merge branch 'dev' into decTest

Merge pull request #1750 from cwoffenden/amalgamate-bash2sh

Rewrote the scripts to use sh instead of bash

Rewrote the scripts to sh instead of bash

try to debug issues on CirrusCI

added single_file_decoder to contrib/ tests

minor script renaming, for clarity

changed contrib project name for clarity

removed associated test

removed adaptive-compression

the functionality is already integrated into `zstd` through `--adapt` command

Merge pull request #1748 from terrelln/cover-deadlock

[dictBuilder] Fix deadlock in *COVER error case

Merge pull request #1739 from cwoffenden/amalgamate

Tweaks to create a single-file decompressor

Fixed test failure when Emscripten not present

Minor repetition

Typo

Added clarification

Added reasoning

Typo

Added test script; tidied and documented

The test script combines the sources then builds and runs an example. A futher example is built if the Emscripten compiler is available on the system. Documentation covers building.

[test][dictBuilder] Add multithreaded tests

[dictBuilder] Fix deadlock in *COVER error case

The COVER and FASTCOVER dictionary builders can deadlock when
dictionary construction errors, likely because there are too few
samples, or too few distinct dmers. The deadlock only occurs when
there are errors.

Fixes #1746.

Added Emscripten example, removed Buck, minor tidy

Work-in-progress. Added simple Emscripten WebGL example that adds 25kB when build with Zstd. Removed Buck (will replace). Minor correctness.

Able to test combine script; minor tidy

Preparing to run tests

Combine script more robust and can output to a specified file. Initial buck files added (work in progress).

Minor fix for files with spaces. Typo.

Merge branch 'dev' into amalgamate

Revert "Merge remote-tracking branch 'origin/master' into dev"

This reverts commit 0df29a4e5ff118ec7aa870ea9c032e9f99870e43, reversing
changes made to 69c875a0cc771098f9ae9bb7a0a3e3ff6eb3f5c1.

Merge remote-tracking branch 'upstream/dev' into dev

Merge remote-tracking branch 'origin/master' into dev

Merge pull request #1733 from nmagerko/size-hint

Add --size-hint=# option

Merge pull request #1745 from terrelln/regression-driver

[fuzz] Add a DEBUGLOG(3) statement to print file

Added generator script and simple test

The script will combine decompressor sources into a single file. The example shows this in use.

[fuzz] Add a DEBUGLOG(3) statement to print file

Enable it by building with this command:

```
./fuzz.py build all --debug 3
```

Fix merge conflicts

Merge pull request #1726 from nmagerko/stream-size

Add --stream-size=# option

Differentiate --stream-size from --size-hint

Minor documentation update

Remove bc from play tests

Merge pull request #1737 from terrelln/legacy-fix

[legacy] Fix buffer overflow in v0.2 and v0.4 raw literals decompression

Merge pull request #1736 from terrelln/fuzz-fix

[fuzz] Improve fuzzer build script and docs

Tweaks to create a single-file decoder

The CHECK_F macros differ slightly (but eventually do the same thing). Older GCC needs to fallback on the old-style pragma optimisation flags.

Merge pull request #1724 from facebook/blockSize

clarifications on field `Block_Size`

Merge pull request #1725 from emaste/dev

remove extraneous doubled ;s

Merge pull request #1721 from facebook/seq127

fixed very minor inefficiency (nbSeq==127)

Merge pull request #1713 from cemeyer/fix_gcc4_build

Fix the build on GCC 4.x after 812e8f2a1

[legacy] Fix buffer overflow in v0.2 and v0.4 raw literals decompression

Extends the fix in PR#1722 to v0.2 and v0.4. These aren't built into
zstd by default, and v0.5 onward are not affected.

I only add the `srcSize > BLOCKSIZE` check to v0.4 because the comments
say that it must hold, but the equivalent comment isn't present in v0.2.

Credit to OSS-Fuzz.

[fuzz] Improve fuzzer build script and docs

* Remove the `make libFuzzer` target since it is broken and obsoleted
  by `CC=clang CXX=clang++ ./fuzz.py build all --enable-fuzzer`. The
  new `-fsanitize=fuzzer` is much better because it works with MSAN
  by default.
* Improve the `./fuzz.py gen` command by making the input type explicit
  when creating a new target.
* Update the `README` for `--enable-fuzzer`.

Fixes #1727.

Document --size-hint

Fix ZSTD_SRCSIZEHINT_MIN typo

Define ZSTD_SRCSIZEHINT_MIN as 0

Remove unnecessary test case

Fix typo in test

Revert change to zstd manual

Use int for srcSizeHint when sensible

Fix playTests and add additional cases

Add size-hint to fuzz tests

v1.4.3: Merge pull request #1730 from facebook/dev

Add mention of regression with poor size hints

Make upper bound INT_MAX

Fix fall-through case

Add --size-hint=# option

Keep content size flag set in stream size mode

Remove extraneous variables

Remove extraneous parameter

Update man page

Set pledged size just before compression

`number` instead of `nb`

suggested by @terrelln

Tweak stdout, stderr redirection in new  playTests

Add --stream-size=# command

clarifications on the meaning of field `Block_Size`

following comments from Intel's Smita Kumar.

remove extraneous doubled ;s

Merge pull request #1722 from felixhandte/legacy-decompression-fix

Fix Buffer Overflow in Legacy (v0.3) Raw Literals Decompression

Add to CHANGELOG for Upcoming Release

Fix Buffer Overflow in Legacy (v0.3) Raw Literals Decompression

fixed very minor inefficiency (nbSeq==127)

The nbSeq "short" format (1-byte)
is compatible with any value < 128.

However, the code would cautiously only accept values < 127.
This is not an error, because the general 2-bytes format
is compatible with small values < 128.
Hence the inefficiency never triggered any warning.

Spotted by Intel's Smita Kumar.

Fix the build on GCC 4.x after 812e8f2a1

The ancient GCC 4.x doesn't understand the "optimize" attribute until 4.4.
Fix the build on platforms with GCC 4.x < 4.4 by limiting the DONT_VECTORIZE
definition to GCC 5 and greater.

Noticed and patch proposed by Warner Losh <imp@FreeBSD.org>.

Merge pull request #1711 from felixhandte/changelog-v1.4.3

Update Changelog for v1.4.3

Update Changelog for v1.4.3

bumped version number

to v1.4.3

Merge pull request #1705 from josepho0918/dev

Add support for IAR C/C++ Compiler for Arm

Merge pull request #1706 from LeeYoung624/dev

add NULL pointer check in util.c

Merge pull request #1709 from facebook/fix1624

Fix compression ratio inefficiency

factored the logic selecting lowest match index

as suggested by @terrelln

fix test 122

it's an unsupported scenario.

minor test refactoring

just for clarity, for the currently failing unit test

fixed minor conversion warning in datagen

fixed datagen

to produce same content on both 32 and 64-bit platforms
by removing floating from literal table determination.

also : added checksum trace in compression control test,
so that it's easier to determine if test fails
as a consequence of compressing a different sample.

regenerate sample to compress

to reduce chances of differences between 32 and 64-bit fuzzer tests

fixed strategies btopt+

fixed strategy btlazy2

fixed strategies greedy, lazy & lazy2

restore dictionary compression ratio

minor : fixed ptr arithmetic

invalid on void ptr

added efficiency test

to detect gross CR variations after a patch.

Tests normal and dictionary compression.

fixed compression ratio regression when dictionary-compressing medium-size inputs at levels 1-3

Merge pull request #1707 from felixhandte/travis-versions-test

Run `versionsTest` in CI