[util] Fix readLineFromFile on Cygwin

[cmake] Add playTests.sh as a test

Merge pull request #1948 from lazka/cygwin-fix-c99-build

Fix the c99/cmake build under Cygwin/MSYS2

appveyor: build with CMake under Cygwin

Fix super block compression and stream raw blocks in decompression (#1947)

Super blocks must never violate the zstd block bound of input_size + ZSTD_blockHeaderSize. The individual sub-blocks may, but not the super block. If the superblock violates the block bound we are liable to violate ZSTD_compressBound(), which we must not do. Whenever the super block violates the block bound we instead emit an uncompressed block.

This means we increase the latency because of the single uncompressed block. I fix this by enabling streaming an uncompressed block, so the latency of an uncompressed block is 1 byte. This doesn't reduce the latency of the buffer-less API, but I don't think we really care.

* I added a test case that verifies that the decompression has 1 byte latency.
* I rely on existing zstreamtest / fuzzer / libfuzzer regression tests for correctness. During development I had several correctness bugs, and they easily caught them.
* The added assert that the superblock doesn't violate the block bound will help us discover any missed conditions (though I think I got them all).

Credit to OSS-Fuzz.

Fix the c99/cmake build under Cygwin/MSYS2

When building zst under cygwin or msys2 with std=c99 the build would fail because
of an undefined fileno()/_fileno(), which is used by the IS_CONSOLE() macro.

When building with -std=c99 (gcc otherwise defaults to gnu, which implies POSIX),
which is the default of the cmake build, then including unistd.h wont define
_POSIX_VERSION and all other headers also wont expose POSIX API.

To fix this make sure to define _POSIX_C_SOURCE with the version we want before including
unistd.h and so that _POSIX_VERSION is set to the version provided by the system.

Since Cygwin/MSYS2 just follow POSIX we can also remove their special cases for
defining IS_CONSOLE().

And, for completeness, also explicitly include stdio.h which is what actually declares fileno().

Tested with the normal make file and cmake under MSYS2 and Cygwin.

Adding new cli endpoint --patch-from= (#1940)

* Adding new cli endpoint --diff-from=

* Appveyor conversion nit

* Using bool set trick instead of direct set

* Removing --diff-from and only leaving --diff-from=#

* Throwing error when both dictFileName vars are set

* Clean up syntax

* Renaming diff-from to patch-from

* Revering comma separated syntax clean up

* Updating playtests with patch-from

* Uncommenting accidentally commented

* Updating remaining docs and var names to be patch-from instead of diff-from

* Constifying

* Using existing log2 function and removing newly created one

* Argument order (moving prefs to end)

* Using comma separated syntax

* Moving to outside #ifndef

[fuzz] Allow zero sized buffers for streaming fuzzers (#1945)

* Allow zero sized buffers in `stream_decompress`. Ensure that we never have two
  zero sized buffers in a row so we guarantee forwards progress.
* Make case 4 in `stream_round_trip` do a zero sized buffers call followed by
  a full call to guarantee forwards progress.
* Fix `limitCopy()` in legacy decoders.
* Fix memcpy in `zstdmt_compress.c`.

Catches the bug fixed in PR #1939

fix UBSAN's invalid-null-argument error in zstd_decompress.c (#1939)

[fuzz] Fix regression_driver.c with directory input (#1944)

The `numFiles` variable wasn't updated, so the fuzzer didn't do anything.
I did two things to fix this:

1. Remove the `numFiles` variable entirely.
2. Error if we can't open a file and print the number of files tested.

Make UTIL_countPhysicalCores() work under Cygwin (#1941)

Cygwin currently uses the fallback implementation which just returns 1 every time,
which leads to bad performance when zstd is called with -T0 for example.

Instead use the POSIX implementation used for the BSDs which works just fine under Cygwin.

Tested under Cygwin and MSYS2.

updated CHANGELOG

one missing item in v1.4.4

[bench] Automated benchmarking script (#1906)

* Initial revised automated benchmarking script

* Updating nb_iterations and making loop infinite

* Allowing benchmarking params to be changed from cli

* Renaming old speed test

* Removing numpy dependency for cli

* Change filename and benchmakr on pr level

* Moving build outside loop and adding iterations param

* Moving benchmarking to seperate travis ci test

* Fixing typo and using unused variable

* Added mode labels and updated README accordingly

* Adding new mode 'current' that compraes facebook:dev against current hash

* Typo

* Reverting previous accidental diff

* Typo

* Adding frequency config variable to prevent github from blacklisting

* Added new argument for frequency of fetching new prs

* Updating documentation

[fuzz] Dividing by targetCBlockSize instead of blockSize for nbBlocks fit (#1936)

* Adding fail logging for superblock flow

* Dividing by targetCBlockSize instead of blockSize

* Adding new const and using more acurate formula for nbBlocks

* Only do dstCapacity check if using superblock

* Remvoing disabling logic

* Updating test to make it catch more extreme case of previou bug

* Also updating comment

* Only taking compressEnd shortcut on non-superblock

[doc] Adding -M# decompression operation modifier documentation (#1938)

* Adding -M# operation modifier documentation

* Adding long name, typo and update desc

Merge pull request #1920 from felixhandte/fix-mtim-again

Use statbuf->st_mtim Again

Fix playTests.sh Under QEMU (#1923)

Also Define _ATFILE_SOURCE

Add Comment

Use statbuf->st_mtim Again

Add Travis Test that Builds ARM on Trusty

Fix playTests.sh Under QEMU

Merge pull request #1928 from bimbashrestha/bimba-oss

[fuzz] Adding bool to check if there is enough room to emit noCompress Superblocks

Merge pull request #1932 from felixhandte/diagnose-corruption-dicts

Add Support for Dictionaries in Corruption Diagnosis Tool

Add Support for Dictionaries

Merge pull request #1929 from facebook/travisTest

added ppc64le tests on travis

Print Summary of Errors Encountered

Constifying, malloc check and naming nit

Don't Rely on Implicit Return in Main

added ppc64le tests on travis

on real hardware

One more type conversion

Adding explict cast to satisfy appveyor ci

More void* issues. Just replacing with BYTE*

'void* size issue' fix

Adding bool to check if enough room left for noCompress superblocks

Add test to catch too many noCompress superblocks on streaming

Merge pull request #1891 from bimbashrestha/oss

[fuzz] Superblock fuzz issues

Merge pull request #1924 from ned14/dev

Make idiomatic cmake install so third party cmake installers work right.

Make idiomatic cmake install so third party cmake installers work right.

Making const, removing unnecessary indent, changing parameter order

Moving init/end functions, moving compressSuperBlock inside body()

Refactor

[fuzz] msan uninitialized unsigned value (#1908)

Fixes new fuzz issue

Credit to OSS-Fuzz

* Initializing unsigned value

* Initialilzing to 1 instead of 0 because its more conservative

* Unconditionoally setting to check first and then checking zero

* Moving bool to before block for c90

* Move check set before block

bumped version number

so that potential issue report do not confuse `dev` with latest release

Merge pull request #1893 from felixhandte/check-flipped-bits

Add Tool to Diagnose Whether Corrupt Blobs are Plausibly Bit-Flips

Merge pull request #1907 from selavy/check-fread-r1895

Check for fread failure

Using bss var instead of creating new bool

Merge pull request #1918 from facebook/recurse_fix

small refactoring : remove global variable g_displayOut

refactoring : remove global variable g_displayOut

displaying into stderr or stdout is now an explicit operation,
no longer depending on some global state set elsewhere in the code.

Merge pull request #1917 from facebook/recurse_fix

fix recent issue combining -r with empty list of input files

fix recent issue combining -r with empty list of input files

This would resize the table of input filenames to zero,
delivering an empty table,
to which it was no longer possible to add stdin.

Merge pull request #1910 from facebook/travisTest

mingw cross compilation test

Merge pull request #1883 from Ericson2314/fix-mingw-cross

Fix MinGW cross

travis: updated mingw cross compilation test

- only compiles zstd CLI
- enforces zero warning tolerance policy

note : mingw compilation of the library complains (warning) about -fPIC flag.
It mostly ignores it, so it's not a big issue.
Still, it would need to be fixed if library cross-compilation becomes part of CI.
At this stage, it's unclear if this is a scenario.

added mingw cross compilation tests

based on a script in RocksDB project.

also : pushed qemu aarch64 tests to master/cron,
since there are already hardware aarch64 tests on dev.

Merge branch 'oss' of https://github.com/bimbashrestha/zstd into oss

Merge pull request #1853 from facebook/ahmed_file

--filelist=FILE feature

Check for fread failure

On failure fread may return either a short read or 0. Need to use
ferror to detect error versus eof.

removed scanbuild workaround

reverted ppc qemu and scanbuild on trusty

ppc cross-compilation seems broken outside of trusty
scan-build version changes with distrib version, resulting in a different list of false positives

assembleFNT() can no longer fail

pushed aside stdio.h too

since only UTIL_DISPLAY() depended on it.

moved UTIL_DISPLAY() inside util.c

util: isolated some dependencies

from *.h to *.c
so that they don't get transitively included
into users of util.h.

travisCI : removed `trusty` generic statement

trusty is out of long term support.
let's run (most) tests on "current" platform.

fixed minor VS warning, on parameter difference

complaining about a `const` property on one side but not the other.

switched UTIL_refFilename() to an assert()

Merge branch 'dev' into ahmed_file

fixed fifo test

[fuzz] Only set HUF_repeat_valid if loaded table has all non-zero weights (#1898)

Fixes a fuzz issue where dictionary_round_trip failed because the compressor was generating corrupt files thanks to zero weights in the table.

* Only setting loaded dict huf table to valid on non-zero

* Adding hasNoZeroWeights test to fse tables

* Forbiding nbBits != 0 when weight == 0

* Reverting the last commit

* Setting table log to 0 when weight == 0

* Small (invalid) zero weight dict test

* Small (valid) zero weight dict test

* Initializing repeatMode vars to check before zero check

* Removing FSE changes to seperate pr

* Reverting accidentally changed file

* Negating bool, using unsigned, optimization nit

Negating bool, updating bool on inner branches

Merge branch 'dev' into ahmed_file

travisCI: moved compatibility tests to `dev`

they are fast enough, and we want to catch such incompatibility early

moved meson and versions compatibility tests to master/cron

also : joined c99 compatibility tests with gnu90 and c++ ones

travis : added test durations

as a guide when doing test selection

Merge pull request #1905 from facebook/devnull

fix #1904

Optimize decompression speed for gcc and clang (#1892)

* Optimize `ZSTD_decodeSequence()`
* Optimize Huffman decoding
* Optimize `ZSTD_decompressSequences()`
* Delete `ZSTD_decodeSequenceLong()`

silence scan-build false positive

blind attempt

changed name from createX to assembleX

shows that the resulting object just takes ownership of provided buffer.

fix mode_t on Windows

created UTIL_chmod()

protecting "/dev/null" from having its permissions changed.

also : minor : improved consistency of util.h API

added decompression into /dev/null tests

fix #1904

/dev/null permissions were modified when using sudo rights.
This fixes this bug during decompression.

More importantly, this patch  adds a test, triggered in TravisCI,
ensuring unaltered /dev/null permissions.

minor update to travis script

many tests used to be run on Trusty platform,
they are now run on _current_ platform,
and now many test titles are incorrect.
Fixed.

Merge branch 'dev' into oss

Merge pull request #1897 from sergey-dryabzhinsky/patch-1

WIP: Fix typo in util.c

Test enough room for checksum in superblock

Merge pull request #1903 from terrelln/null

Fix null pointer addition

Merge pull request #1902 from terrelln/ignore

[cmake][tests] Add zstreamtest executable

Mixed declration fix

Checking noCompressBlock explicitly for rep code confirmation

Fix null pointer addition

[cmake][tests] Add zstreamtest executable

Merge pull request #1901 from terrelln/ignore

Update .gitignore

Update .gitignore

Merge pull request #1894 from felixhandte/doc-clarify-dctx-reset

Easy: Update Comment on `ZSTD_initDStream()`

Merge pull request #1887 from bimbashrestha/doc-fix

Fixing hashLog error 2^26=64Mib

Merge pull request #1896 from terrelln/test-fixes

Fix Appveyor failure

Update util.c

Fix typo in util.c

There must be mtim*e*