CMake: Fix version parsing and allow Unix flags on Clang

Merge pull request #611 from Majlen/cmake-improvement

Further cmake improvement

Remove multithreading support by default on non UNIX platforms

Install zstdcat and unzstd symlinks by cmake

Add build of new cmake branches to Makefile

Added options for building programs, static library and tests

Install forgotten zstdmt tool and zstd.1 man page

Add_extra_compilation_flags macro needs to run before adding sources

Also adding comments in the top-level CMakeLists.txt

Test new cmake stuff

Check for pthreads library

Much easier way of installing libraries with correct names

Install everything, not only libraries

Use shared library in programs

Fix cmake install prefix with cmake-3.x

Refactored AddExtraCompilationFlags

 - Easier addition of new flags
 - Removed flags not used by default
 - Removed implicit PIC flag for all targets

.gitignore only build directory

Add build documentation by gen_html

Cleanup lib rules

Move GetLibraryVersion function to its own module file

Improve resolving ROOT_DIR

Merge pull request #613 from iburinoc/decodecorpus

Fix various compile errors/warnings with decodecorpus

Fix decodecorpus clang compile errors

Fix windows compiler warnings for decodecorpus

Merge pull request #610 from iburinoc/slowfuzzer

Strongly limit compression level when source is large for tests running on QEMU

Add --no-big-tests flag for qemu fuzz-tests

Add ability to strongly limit fuzzer test size with flag

Merge pull request #607 from inikep/dev

updated build of Windows packages

updated build of Windows packages

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev

fixed typo in server type

Merge branch 'dev' of github.com:facebook/zstd into dev

updated compression graph

Merge pull request #605 from iburinoc/term

Fix zstd not erroring on compressing to terminal without forceStdout

Only run IS_CONSOLE tests with a TTY

fix minor details in man page

Add tests for compressed data on console

Merge pull request #604 from iburinoc/manpage

Convert manpage to Markdown, convertible with ronn

Fix zstd not erroring on compressing to terminal without forceStdout

Convert manpage to Markdown, converted with ronn

Merge pull request #603 from iburinoc/slowfuzzer

Prevent fuzz testers from combining large dicts with high clevel

Prevent fuzz testers from combining large dicts with high clevel

Merge pull request #602 from iburinoc/doc

Add functions missing from manual, and fix parameter alignment

Add functions missing from manual, and fix parameter alignment

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS for v1.1.4

Merge pull request #601 from terrelln/nxz

Add xz and lzma support.

Merge pull request #600 from iburinoc/legacy

Add ability to control level of legacy support, and drop support for versions v01-v03

Add xz and lzma support.

Finish feature started by @inikep.

* Add xz and lzma compression and decompression support to target `xzstd`.
* Fix bug in gzip decompression that silently accepted truncated files.
* Add gzip frame composition tests.
* Add xz/lzma compatibility tests.
* Add xz/lzma frame composition tests.

Fix legacy support=0 case and accidental double include of version headers

Update builds to not support legacy v01-v03

ZSTD_LEGACY_SUPPORT defines lowest supported version

Merge pull request #598 from iburinoc/undef

Fix undefined behaviour in decompressor

Change gotoDict type to uPtrDiff

Fix undefined behaviour in decompressor

Merge pull request #597 from iburinoc/ci

Add medium tests on TravisCI

Merge pull request #596 from ldv-alt/dev

programs/Makefile: remove zstd-internal target

Make signed integer overflow recoverable in UBsan

Add testing description

Make test times overwritable

Update .travis.yml and Makefile for medium tests

programs/Makefile: remove zstd-internal target

zstd-internal was intended to be a helper target, but it doesn't help
at all, what it does in practice is a useless rebuild of zstd every time
"make zstd" is invoked.

Fixes: 030ac243a0f3 ("Changed Makefile to generate zstd with .gz support by default")

Merge pull request #595 from terrelln/macros

Remove 'mem.h' dependency from ZSTD_WINDOWLOG_MAX

Remove 'mem.h' dependency from ZSTD_WINDOWLOG_MAX

Merge pull request #594 from terrelln/bugs

Small fixes

Avoid '#define inline /* ... */'

Take definition of `FORCE_INLINE` from `zstd_internal.h`.

Fix ZSTD_sizeof_CStream()

Merge pull request #593 from iburinoc/undef

Reduce point at which we reduce offsets to protect against UB

Reduce point at which we reduce offsets to protect against UB

minor text refactor in readme

Merge pull request #592 from iburinoc/ci

Fix travis test broken by Makefile change

Fix travis test broken by Makefile change

Merge pull request #590 from iburinoc/ci

Set up "short" tests on CircleCI

Use test section

fixed lzbench link

fix : remove mempcpy line in bench

updated benchmark table

zstd v1.1.3, new station i7-6700K

Add build targets to the Makefile, and update CircleCI tests

Merge branch 'dev' of github.com:facebook/zstd into dev

added -Wformat-security flag, as recommended by @pixelb

minor code refactor in HUF module

Merge pull request #588 from pixelb/fedora-warnings

support -Werror=format-security

support -Werror=format-security

Fedora now enables this option by default, resulting
in the following build failure:

Logging.h: In instantiation of
'void pzstd::Logger::operator()(int, const char*, Args ...)
Pzstd.cpp:413:48:   required from here
Logging.h:46:17: error: format not a string literal and no format arguments
[-Werror=format-security]
     std::fprintf(out_, fmt, args...);
     ~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~

Merge pull request #586 from terrelln/repeat-heuristic

Always check Huffman tables for ZSTD_lazy+

Always check Huffman tables for ZSTD_lazy+

The compressor always reuses the existing Huffman table if the literals
size is at most 1 KiB. If the compression strategy is `ZSTD_lazy` or
stronger always check to see if reusing the previous table or creating
a new table is better.

This doesn't yet weigh in decompression speed. I don't want to add any
heuristics there until I have real data to work with to ensure that the
heuristic works for at least one use case, preferably more.

Merge pull request #585 from terrelln/cover-leak

Fix COVER_optimizeTrainFromBuffer() resource leaks

Merge pull request #584 from terrelln/huff-repeat

Allow compressor to repeat Huffman tables

update NEWS on @iburinoc's 32-bits version improvement

disable prefetch-decode for 32-bits target

This decoder variant is detrimental to x86 architecture
likely due to register pressure.

Note that the variant is disabled for all 32-bits targets.
It's unclear if it would help for different architectures,
such as ARM, MIPS or PowerPC.

Merge pull request #582 from iburinoc/m32

Encode/decode offsets >= 32MB in 32-bits mode

Use workspace for count and CTable

Fix COVER_optimizeTrainFromBuffer() resource leaks

Thanks to @nemequ for reporting the resource leaks.

Remove 'generic' inline strategy

Seems to avoid performance loss for compression.
Same strategy tested on decompression side, did not appear to improve
speed.

Merge remote-tracking branch 'origin/dev' into m32

Allow compressor to repeat Huffman tables

* Compressor saves most recently used Huffman table and reuses it
  if it produces better results.
* I attempted to preserve CPU usage profile.
  I intentionally left all of the existing heuristics in place.
  There is only a speed difference on the second block and later.
  When compressing large enough blocks (say >= 4 KiB) there is
  no significant difference in compression speed.
  Dictionary compression of one block is the same speed for blocks
  with literals <= 1 KiB, and after that the difference is not
  very significant.
* In the synthetic data, with blocks 10 KB or smaller, most blocks
  can't use repeated tables because the previous block did not
  contain a symbol that the current block contains.
  Once blocks are about 12 KB or more, most previous blocks have
  valid Huffman tables for the current block, and the compression
  ratio and decompression speed jumped.
* In silesia blocks as small as 4KB can frequently reuse the
  previous Huffman table (85%), but it isn't as profitable, and
  the previous Huffman table only gets used about 3% of the time.
* Microbenchmarks show that `HUF_validateCTable()` takes ~55 ns
  and `HUF_estimateCompressedSize()` takes ~35 ns.
  They are decently well optimized, the first versions took 90 ns
  and 120 ns respectively. `HUF_validateCTable()` could be twice as
  fast, if we cast the `HUF_CElt*` to a `U32*` and compare to 0.
  However, `U32` has an alignment of 4 instead of 2, so I think that
  might be undefined behavior.
* I've ran `zstreamtest` compiled normally, with UASAN and with MSAN
  for 4 hours each.

The worst case for the speed difference is a bunch of small blocks
in the same frame. I modified `bench.c` to compress the input in a
single frame but with blocks of the given block size, set by `-B`.
Benchmarks on level 1:

|  Program  | Block size |   Corpus  | Ratio | Compression MB/s | Decompression MB/s |
|-----------|------------|-----------|-------|------------------|--------------------|
| zstd.base |        256 | synthetic | 2.364 |            110.0 |              297.0 |
|      zstd |        256 | synthetic | 2.367 |            108.9 |              297.0 |
| zstd.base |        256 | silesia   | 2.204 |             93.8 |              415.7 |
|      zstd |        256 | silesia   | 2.204 |             93.4 |              415.7 |
| zstd.base |        512 | synthetic | 2.594 |            144.2 |              420.0 |
|      zstd |        512 | synthetic | 2.599 |            141.5 |              425.7 |
| zstd.base |        512 | silesia   | 2.358 |            118.4 |              432.6 |
|      zstd |        512 | silesia   | 2.358 |            119.8 |              432.6 |
| zstd.base |       1024 | synthetic | 2.790 |            192.3 |              594.1 |
|      zstd |       1024 | synthetic | 2.794 |            192.3 |              600.0 |
| zstd.base |       1024 | silesia   | 2.524 |            148.2 |              464.2 |
|      zstd |       1024 | silesia   | 2.525 |            148.2 |              467.6 |
| zstd.base |       4096 | synthetic | 3.023 |            300.0 |             1000.0 |
|      zstd |       4096 | synthetic | 3.024 |            300.0 |             1010.1 |
| zstd.base |       4096 | silesia   | 2.779 |            223.1 |              623.5 |
|      zstd |       4096 | silesia   | 2.779 |            223.1 |              636.0 |
| zstd.base |      16384 | synthetic | 3.131 |            350.0 |             1150.1 |
|      zstd |      16384 | synthetic | 3.152 |            350.0 |             1630.3 |
| zstd.base |      16384 | silesia   | 2.871 |            296.5 |              883.3 |
|      zstd |      16384 | silesia   | 2.872 |            294.4 |              898.3 |

Merge pull request #583 from terrelln/set-dictid

Set dictID to 0 for content only dictionaries

Set dictID to 0 for content only dictionaries

fixed : build zstd cli after libzstd

make : added target shortest

shortest only run fast part of playTests.sh .
cc @iburinoc

added gzip tests

also : made sure zstd --format=gzip -V
would fail if gzip compatibility is not supported

Offsets >= 32MB in 32-bits mode