Fix minigzip in std=c99 mode

[util] Fix lstat feature test macro

Add -Werror to *build rules

Merge pull request #1343 from terrelln/faster-ci

[zstreamtest] Reduce memory of newapi tests

Merge pull request #1345 from facebook/fixLegacy

fixed legacy compilation tests

fixed longmatch test too

fixed legacy compilation tests

for some reason, these tests started failing recently on CircleCI

Merge pull request #1344 from terrelln/grub-fixes

Fixes for GRUB

Restore ZSTD_noCompressBlock() for clarity

Reset number of threads less often

Change byte to value to avoid a GRUB typedef

Include stddef.h for size_t

[zstd] Add -Wmissing-prototypes

More aggressive limitations

[zstreamtest] Reduce memory of newapi tests

We could allocate up to 2^28 bytes of memory when using 2 threads with
window log = 24. Now, we limit it to 2^26 bytes of memory when not running
big tests.

I chose max window log = 22 since that is the maximum source size when
big tests are disabled. Hopefully this will be enough to reduce or
eliminate the test failures.

Merge pull request #1342 from facebook/fixcatyd

fix : huge (>4GB) chain of blocks

moved again overflow correction

cannot work from within ZSTD_compressBlock()

Merge pull request #1340 from terrelln/generate-artifacts

Publish artifacts with CircleCI

changed overflow correction place

keep one in compress_frameChunk(),
so that it's tested at every loop
in case some user simply some large mulit-GB input in a single invocation.

Add one in ZSTD_compressBlock(),
since compressBlock() explicitly skips frameChunk().

Merge pull request #1339 from facebook/grep_colors

fixed usage of grep in Makefile

Merge pull request #1327 from facebook/adapt

Adaptive compression

fix : huge (>4GB) stream of blocks

experimental function ZSTD_compressBlock() is designed for very small data in mind,
for situation where saving the ~12 bytes of frame header can actually make a difference.

Some systems though may have to deal with small and large data entangled.
If it's larger than a block (> 128KB), compressBlock() cannot compress them in one round.

That's why it's possible to compress in multiple rounds.
This is a chain of compressed blocks.

Some users push this capability to the limit, encoding gigantic chain of blocks.
On crossing the 4GB limit, some internal overflow occurs.

This fix moves the overflow correction mechanism higher in the call chain,
so that it's applied also to gigantic chains of blocks.

Added a test case in fuzzer.c, which crashes before the fix, and pass now.

Merge pull request #1338 from facebook/rfc

updated format documentation

Merge pull request #1337 from facebook/test_failure

fixed `!` tests

Merge pull request #1329 from facebook/v04isout

 Changed default legacy support to v0.5+

Publish artifacts with CircleCI

* Updates CircleCI to use workflows.
  We can now specify any number of test jobs to run in parallel.
* Switch the image to `buildpack-deps:trusty` which is only 500 MB
  instead of 7 GB, so that saves 7 minutes to download it if it isn't
  already cached on the host.
* Publish the source tarball and sha256sum as artifacts.
* If the `GITHUB_TOKEN` environment variable is set, we will also
  add the tarball + sha256sum to the tagged release, after manual
  approval.

fixed usage of grep in Makefile

when terminal uses colors
as suggested by @danielshir (#1294)

updated format documentation

to match last edits of RFC8478.

bounds for --adapt mode

can supply min and max compression level through advanced command :
--adapt=min=#,max=#

fixed `!` tests

Sometimes, it's necessary to test that a certain command fail, as expected.
Such failure is actually a success, and must not stop the flow of tests.

Several tests were prefixed with `!` to invert return code.
This does not work : it effectively makes the tests pass no matter what.

Use instead function die(), which is meant to trap successes, and transform them into errors.

Merge branch 'dev' into adapt

Merge pull request #1332 from facebook/minclevel

defined a minimum negative level

Merge pull request #1336 from facebook/scanbuild

fixed minor scan-build warnings

Merge pull request #1335 from facebook/limits

added some tests based on limits.h

fixed minor scan-build warnings

added some tests based on limits.h

in order to ensure proper type mapping
when not using stdint.h

fixed zstd-decompress

which cannot support ZSTD_minCLevel()

Merge pull request #1331 from facebook/mingw

fix mingw compatibility

enforce minimum compression level limit

using ZSTD_minCLevel()

fixed constant comparison on 32-bits systems

avoid recompiling dll every time under mingw

fix pzstd compatibility with mingw

some details changed with introduction of gcc7

fix constant redeclaration in paramgrill

simplified "slows down when compression blocked"

Merge branch 'mingw' into adapt

ensure all writes to job->cSize are mutex protected

even when reporting errors,
using a macro for code brevity, as suggested by @terrelln,

fixed tautological tests

involving ZSTD_TARGETLENGTH_MIN (== 0)

Merge branch 'mingw' into minclevel

fix mingw compatibility

only enable backtraces for platforms we know support it
aka mac OS-X and Linux.
can be extended later.

Merge pull request #1318 from felixhandte/shadow-dict-matches

Don't Search Dictionary Context When Working Context Search Resulted in Mismatch

defined a minimum negative level

which can be probed using new function ZSTD_minCLevel().

Also : redefined ZSTD_TARGETLENGTH_MIN/MAX for consistency

used the opportunity to bump version number to v1.3.6

fixed versions-test to only test v0.5+

since zstd_devel is no longer compatible with v0.4+

Changed default legacy support to v0.5+

thus dropping read support for v0.4.

It's always possible to re-enable it, by changing build macro ZSTD_LEGACY_SUPPORT to 4.

fixed complex tsan issue

when job->consumed == job->src.size , compression job is presumed completed,
so it must be the very last action done in worker thread.

fixed minor gcc warning on a unused variable

updated man page

and added `--adapt` test in `playTests.sh`

fixed minor reporting discrepancy in MT mode

removed static variables

so that --adapt can work on multiple input files too

error out when --adapt is associated with --single-thread

since they are not compatible

Merge branch 'dev' into adapt

Merge pull request #1326 from facebook/refPrefix

updated documentation of *refPrefix()

updated documentation of *refPrefix()

indicating the equivalence with `diff` operation.

Merge pull request #1321 from bket/non-portable

'head -c BYTES' is non-portable.

Merge pull request #1324 from ko-zu/fixclangcode

Fix largeNbDicts bench for clangbuild

'head -c BYTES' is non-portable.

tests/playTests.sh uses 'head -c' in a couple of tests to truncate the
last byte of a file. The '-c' option is non-portable (not in POSIX).
Instead use a wrapper around dd (truncateLastByte).

Merge pull request #1322 from azat-archive/seekable-fixes-pull

Fixes read write past end of input buffer.

Fix largeNbDicts bench for clangbuild

Remove unsigned to size_t promotion to fix implicit down conversion errors in clangbuild target.

seekable_decompression: support offset greater then UNIT_MAX

zstdseek_decompress: fix decompression with data left in input buffer

Merge pull request #1319 from ko-zu/fixclangbuild

Fix clang build

Fix clang build

Fix dixygen comment
Fix clang binary path

minor code comment update

Merge pull request #1295 from felixhandte/hdr-intro-comment-negative-lvls

Proposed Update to Zstd.h Introduction Comment

ZSTD_dfast: Don't Search Dict Context When Mismatch Was Found

ZSTD_fast: Don't Search Dict Context When Mismatch Was Found

Merge pull request #1316 from facebook/coldDict

Cold dictionary mitigation

updated code comments, based on @terrelln review

fixed msan error

cold dictionary is detected through a comparison with dictEnd,
which was not initialized at the beginning of first DCtx usage.

final parameter tuning

clean traces

fixed PREFETCH() macro

for corner cases and platforms without this instruction

Merge pull request #1315 from cmcginty/dev

Add build define to manually enable -rdynamic LD flag

conditional dict content prefetching

based on nbSeq.

Add build define to manually enable -rdynamic LD flag

Merge pull request #1314 from terrelln/cpuid

[libzstd] Fix cpu for MSFT ARM

adjust heuristic decisions

Also allow x86

largeNbDicts : can select a nb of blocks

will automatically truncate or repeat input as needed,
to create the requested nb of blocks.
default: nb of files, eventually increased appropriately if blockSize is set

[libzstd] Fix cpu for MSFT ARM

The `__cpuid()` and `__cpuidex()` intrinsics are only available
on x86 and x86_64.

added conditional prefetch

depending on amount of work to do.

Merge pull request #1311 from cmcginty/dev

Print a stack trace on unexpected term signal (e.g. SIGABRT)

implemented first prefetch

based on dictID.
dictContent is prefetched up to 32 KB
(no contentSize adaptation)

Disable -rdynamic LD option on Windows

Update comments, and LD flag usage in Make

Remove dead code and method name typo

Move ABRThandler func out of internal lib

Refactor abort signal handling

- Print signal name to term
- Add -rdynamic option to generate Linux symbol names in backtrace
- Raise default signal after handler to ensure program termination

Merge pull request #1310 from facebook/Dworkspace

 reduce DDict size by 2KB

added comment about minimum size of FSE tables

required for DDict creation,
which use this space as workspace during Hufman table building stage.

Merge pull request #1307 from facebook/spec

spec clarification