updated build of Windows packages

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev

fixed typo in server type

Merge branch 'dev' of github.com:facebook/zstd into dev

updated compression graph

Merge pull request #605 from iburinoc/term

Fix zstd not erroring on compressing to terminal without forceStdout

Only run IS_CONSOLE tests with a TTY

fix minor details in man page

Add tests for compressed data on console

Merge pull request #604 from iburinoc/manpage

Convert manpage to Markdown, convertible with ronn

Fix zstd not erroring on compressing to terminal without forceStdout

Convert manpage to Markdown, converted with ronn

Merge pull request #603 from iburinoc/slowfuzzer

Prevent fuzz testers from combining large dicts with high clevel

Prevent fuzz testers from combining large dicts with high clevel

Merge pull request #602 from iburinoc/doc

Add functions missing from manual, and fix parameter alignment

Add functions missing from manual, and fix parameter alignment

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS for v1.1.4

Merge pull request #601 from terrelln/nxz

Add xz and lzma support.

Merge pull request #600 from iburinoc/legacy

Add ability to control level of legacy support, and drop support for versions v01-v03

Add xz and lzma support.

Finish feature started by @inikep.

* Add xz and lzma compression and decompression support to target `xzstd`.
* Fix bug in gzip decompression that silently accepted truncated files.
* Add gzip frame composition tests.
* Add xz/lzma compatibility tests.
* Add xz/lzma frame composition tests.

Fix legacy support=0 case and accidental double include of version headers

Update builds to not support legacy v01-v03

ZSTD_LEGACY_SUPPORT defines lowest supported version

Merge pull request #598 from iburinoc/undef

Fix undefined behaviour in decompressor

Change gotoDict type to uPtrDiff

Fix undefined behaviour in decompressor

Merge pull request #597 from iburinoc/ci

Add medium tests on TravisCI

Merge pull request #596 from ldv-alt/dev

programs/Makefile: remove zstd-internal target

Make signed integer overflow recoverable in UBsan

Add testing description

Make test times overwritable

Update .travis.yml and Makefile for medium tests

programs/Makefile: remove zstd-internal target

zstd-internal was intended to be a helper target, but it doesn't help
at all, what it does in practice is a useless rebuild of zstd every time
"make zstd" is invoked.

Fixes: 030ac243a0f3 ("Changed Makefile to generate zstd with .gz support by default")

Merge pull request #595 from terrelln/macros

Remove 'mem.h' dependency from ZSTD_WINDOWLOG_MAX

Remove 'mem.h' dependency from ZSTD_WINDOWLOG_MAX

Merge pull request #594 from terrelln/bugs

Small fixes

Avoid '#define inline /* ... */'

Take definition of `FORCE_INLINE` from `zstd_internal.h`.

Fix ZSTD_sizeof_CStream()

Merge pull request #593 from iburinoc/undef

Reduce point at which we reduce offsets to protect against UB

Reduce point at which we reduce offsets to protect against UB

minor text refactor in readme

Merge pull request #592 from iburinoc/ci

Fix travis test broken by Makefile change

Fix travis test broken by Makefile change

Merge pull request #590 from iburinoc/ci

Set up "short" tests on CircleCI

Use test section

fixed lzbench link

fix : remove mempcpy line in bench

updated benchmark table

zstd v1.1.3, new station i7-6700K

Add build targets to the Makefile, and update CircleCI tests

Merge branch 'dev' of github.com:facebook/zstd into dev

added -Wformat-security flag, as recommended by @pixelb

minor code refactor in HUF module

Merge pull request #588 from pixelb/fedora-warnings

support -Werror=format-security

support -Werror=format-security

Fedora now enables this option by default, resulting
in the following build failure:

Logging.h: In instantiation of
'void pzstd::Logger::operator()(int, const char*, Args ...)
Pzstd.cpp:413:48:   required from here
Logging.h:46:17: error: format not a string literal and no format arguments
[-Werror=format-security]
     std::fprintf(out_, fmt, args...);
     ~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~

Merge pull request #586 from terrelln/repeat-heuristic

Always check Huffman tables for ZSTD_lazy+

Always check Huffman tables for ZSTD_lazy+

The compressor always reuses the existing Huffman table if the literals
size is at most 1 KiB. If the compression strategy is `ZSTD_lazy` or
stronger always check to see if reusing the previous table or creating
a new table is better.

This doesn't yet weigh in decompression speed. I don't want to add any
heuristics there until I have real data to work with to ensure that the
heuristic works for at least one use case, preferably more.

Merge pull request #585 from terrelln/cover-leak

Fix COVER_optimizeTrainFromBuffer() resource leaks

Merge pull request #584 from terrelln/huff-repeat

Allow compressor to repeat Huffman tables

update NEWS on @iburinoc's 32-bits version improvement

disable prefetch-decode for 32-bits target

This decoder variant is detrimental to x86 architecture
likely due to register pressure.

Note that the variant is disabled for all 32-bits targets.
It's unclear if it would help for different architectures,
such as ARM, MIPS or PowerPC.

Merge pull request #582 from iburinoc/m32

Encode/decode offsets >= 32MB in 32-bits mode

Use workspace for count and CTable

Fix COVER_optimizeTrainFromBuffer() resource leaks

Thanks to @nemequ for reporting the resource leaks.

Remove 'generic' inline strategy

Seems to avoid performance loss for compression.
Same strategy tested on decompression side, did not appear to improve
speed.

Merge remote-tracking branch 'origin/dev' into m32

Allow compressor to repeat Huffman tables

* Compressor saves most recently used Huffman table and reuses it
  if it produces better results.
* I attempted to preserve CPU usage profile.
  I intentionally left all of the existing heuristics in place.
  There is only a speed difference on the second block and later.
  When compressing large enough blocks (say >= 4 KiB) there is
  no significant difference in compression speed.
  Dictionary compression of one block is the same speed for blocks
  with literals <= 1 KiB, and after that the difference is not
  very significant.
* In the synthetic data, with blocks 10 KB or smaller, most blocks
  can't use repeated tables because the previous block did not
  contain a symbol that the current block contains.
  Once blocks are about 12 KB or more, most previous blocks have
  valid Huffman tables for the current block, and the compression
  ratio and decompression speed jumped.
* In silesia blocks as small as 4KB can frequently reuse the
  previous Huffman table (85%), but it isn't as profitable, and
  the previous Huffman table only gets used about 3% of the time.
* Microbenchmarks show that `HUF_validateCTable()` takes ~55 ns
  and `HUF_estimateCompressedSize()` takes ~35 ns.
  They are decently well optimized, the first versions took 90 ns
  and 120 ns respectively. `HUF_validateCTable()` could be twice as
  fast, if we cast the `HUF_CElt*` to a `U32*` and compare to 0.
  However, `U32` has an alignment of 4 instead of 2, so I think that
  might be undefined behavior.
* I've ran `zstreamtest` compiled normally, with UASAN and with MSAN
  for 4 hours each.

The worst case for the speed difference is a bunch of small blocks
in the same frame. I modified `bench.c` to compress the input in a
single frame but with blocks of the given block size, set by `-B`.
Benchmarks on level 1:

|  Program  | Block size |   Corpus  | Ratio | Compression MB/s | Decompression MB/s |
|-----------|------------|-----------|-------|------------------|--------------------|
| zstd.base |        256 | synthetic | 2.364 |            110.0 |              297.0 |
|      zstd |        256 | synthetic | 2.367 |            108.9 |              297.0 |
| zstd.base |        256 | silesia   | 2.204 |             93.8 |              415.7 |
|      zstd |        256 | silesia   | 2.204 |             93.4 |              415.7 |
| zstd.base |        512 | synthetic | 2.594 |            144.2 |              420.0 |
|      zstd |        512 | synthetic | 2.599 |            141.5 |              425.7 |
| zstd.base |        512 | silesia   | 2.358 |            118.4 |              432.6 |
|      zstd |        512 | silesia   | 2.358 |            119.8 |              432.6 |
| zstd.base |       1024 | synthetic | 2.790 |            192.3 |              594.1 |
|      zstd |       1024 | synthetic | 2.794 |            192.3 |              600.0 |
| zstd.base |       1024 | silesia   | 2.524 |            148.2 |              464.2 |
|      zstd |       1024 | silesia   | 2.525 |            148.2 |              467.6 |
| zstd.base |       4096 | synthetic | 3.023 |            300.0 |             1000.0 |
|      zstd |       4096 | synthetic | 3.024 |            300.0 |             1010.1 |
| zstd.base |       4096 | silesia   | 2.779 |            223.1 |              623.5 |
|      zstd |       4096 | silesia   | 2.779 |            223.1 |              636.0 |
| zstd.base |      16384 | synthetic | 3.131 |            350.0 |             1150.1 |
|      zstd |      16384 | synthetic | 3.152 |            350.0 |             1630.3 |
| zstd.base |      16384 | silesia   | 2.871 |            296.5 |              883.3 |
|      zstd |      16384 | silesia   | 2.872 |            294.4 |              898.3 |

Merge pull request #583 from terrelln/set-dictid

Set dictID to 0 for content only dictionaries

Set dictID to 0 for content only dictionaries

fixed : build zstd cli after libzstd

make : added target shortest

shortest only run fast part of playTests.sh .
cc @iburinoc

added gzip tests

also : made sure zstd --format=gzip -V
would fail if gzip compatibility is not supported

Offsets >= 32MB in 32-bits mode

xxhash can be included twice in any order

Previously,

followed by :

would fail to include the static definitions,
because the second include was simply skipped by guard macro.

Now it works as intended :
the missing static part is included during the second include.

solves warnings when compiling with global XXH_STATIC_LINKING_ONLY

XXH_STATIC_LINKING_ONLY protection macro is intended to be triggered just before the include.
The main idea is to keep this setting local :
user module shall explicitly understand and accept the static linking restriction
which becomes transparent when triggering the macro at project level.
Global definition also triggers redefinition warnings for user modules which do locally define the macro.

This new version compiles lib and cli without warning when the macro is set globally.
That's not a scenario to be recommended, since it trades a local effect for a global one,
but it was easy enough to provide from zstd side.

Merge pull request #579 from iburinoc/multiframe

Check to ensure ddict isn't null before dereference

Merge pull request #580 from facebook/speedStream

Improve streaming decompression speed

updated NEWS for 1.1.4

cmake, performance

Merge pull request #575 from Majlen/cmake-improvement

Cmake improvement

Check to ensure ddict isn't null before dereference

Merge pull request #578 from inikep/dev

decompression: --rm is silent when input is stdin

travis.yml: fixed pull_request

fixed multi frames

Added compile flags to pzstd

Definition NDEBUG from original Makefile
-Wno-shadow silences shadowing in initializers

-Wstrict-prototypes is not supported with C++

Improve handling of library symlinks.

Previous method was failing to remove the symlinks when make clean was
invoked and wasn't portable.

Add zstdmt target in cmake

Support building contrib utils from cmake

fixed decoding skippable frames

added test for decompression with NULL dict and NULL DDict

previous version of ZSTD_decompressMultiFrame() would fail that test

cli : fix : --rm is silent when input is stdin (decompression)

update gzip tests

Improved speed of ZSTD_decompressStream()

When ZSTD_decompressStream() detects
that there is enough space in dst
to complete decompression in a single pass,
delegates to ZSTD_decompress(),
for an extra ~5% speed boost

updated .travis.yml (2)

updated .travis.yml

Merge branch 'decompressStream' into dev

Merge pull request #573 from facebook/ddict

Improved DDict memory usage

fullbench : -i0 displays list of functions to bench

added test case : --rm on stdin

must remain silent (instead of failing)

Merge branch 'dev' of github.com:facebook/zstd into dev