Avoid '#define inline /* ... */'

Take definition of `FORCE_INLINE` from `zstd_internal.h`.

Fix ZSTD_sizeof_CStream()

Merge pull request #584 from terrelln/huff-repeat

Allow compressor to repeat Huffman tables

update NEWS on @iburinoc's 32-bits version improvement

disable prefetch-decode for 32-bits target

This decoder variant is detrimental to x86 architecture
likely due to register pressure.

Note that the variant is disabled for all 32-bits targets.
It's unclear if it would help for different architectures,
such as ARM, MIPS or PowerPC.

Merge pull request #582 from iburinoc/m32

Encode/decode offsets >= 32MB in 32-bits mode

Use workspace for count and CTable

Remove 'generic' inline strategy

Seems to avoid performance loss for compression.
Same strategy tested on decompression side, did not appear to improve
speed.

Merge remote-tracking branch 'origin/dev' into m32

Allow compressor to repeat Huffman tables

* Compressor saves most recently used Huffman table and reuses it
  if it produces better results.
* I attempted to preserve CPU usage profile.
  I intentionally left all of the existing heuristics in place.
  There is only a speed difference on the second block and later.
  When compressing large enough blocks (say >= 4 KiB) there is
  no significant difference in compression speed.
  Dictionary compression of one block is the same speed for blocks
  with literals <= 1 KiB, and after that the difference is not
  very significant.
* In the synthetic data, with blocks 10 KB or smaller, most blocks
  can't use repeated tables because the previous block did not
  contain a symbol that the current block contains.
  Once blocks are about 12 KB or more, most previous blocks have
  valid Huffman tables for the current block, and the compression
  ratio and decompression speed jumped.
* In silesia blocks as small as 4KB can frequently reuse the
  previous Huffman table (85%), but it isn't as profitable, and
  the previous Huffman table only gets used about 3% of the time.
* Microbenchmarks show that `HUF_validateCTable()` takes ~55 ns
  and `HUF_estimateCompressedSize()` takes ~35 ns.
  They are decently well optimized, the first versions took 90 ns
  and 120 ns respectively. `HUF_validateCTable()` could be twice as
  fast, if we cast the `HUF_CElt*` to a `U32*` and compare to 0.
  However, `U32` has an alignment of 4 instead of 2, so I think that
  might be undefined behavior.
* I've ran `zstreamtest` compiled normally, with UASAN and with MSAN
  for 4 hours each.

The worst case for the speed difference is a bunch of small blocks
in the same frame. I modified `bench.c` to compress the input in a
single frame but with blocks of the given block size, set by `-B`.
Benchmarks on level 1:

|  Program  | Block size |   Corpus  | Ratio | Compression MB/s | Decompression MB/s |
|-----------|------------|-----------|-------|------------------|--------------------|
| zstd.base |        256 | synthetic | 2.364 |            110.0 |              297.0 |
|      zstd |        256 | synthetic | 2.367 |            108.9 |              297.0 |
| zstd.base |        256 | silesia   | 2.204 |             93.8 |              415.7 |
|      zstd |        256 | silesia   | 2.204 |             93.4 |              415.7 |
| zstd.base |        512 | synthetic | 2.594 |            144.2 |              420.0 |
|      zstd |        512 | synthetic | 2.599 |            141.5 |              425.7 |
| zstd.base |        512 | silesia   | 2.358 |            118.4 |              432.6 |
|      zstd |        512 | silesia   | 2.358 |            119.8 |              432.6 |
| zstd.base |       1024 | synthetic | 2.790 |            192.3 |              594.1 |
|      zstd |       1024 | synthetic | 2.794 |            192.3 |              600.0 |
| zstd.base |       1024 | silesia   | 2.524 |            148.2 |              464.2 |
|      zstd |       1024 | silesia   | 2.525 |            148.2 |              467.6 |
| zstd.base |       4096 | synthetic | 3.023 |            300.0 |             1000.0 |
|      zstd |       4096 | synthetic | 3.024 |            300.0 |             1010.1 |
| zstd.base |       4096 | silesia   | 2.779 |            223.1 |              623.5 |
|      zstd |       4096 | silesia   | 2.779 |            223.1 |              636.0 |
| zstd.base |      16384 | synthetic | 3.131 |            350.0 |             1150.1 |
|      zstd |      16384 | synthetic | 3.152 |            350.0 |             1630.3 |
| zstd.base |      16384 | silesia   | 2.871 |            296.5 |              883.3 |
|      zstd |      16384 | silesia   | 2.872 |            294.4 |              898.3 |

Merge pull request #583 from terrelln/set-dictid

Set dictID to 0 for content only dictionaries

Set dictID to 0 for content only dictionaries

fixed : build zstd cli after libzstd

make : added target shortest

shortest only run fast part of playTests.sh .
cc @iburinoc

added gzip tests

also : made sure zstd --format=gzip -V
would fail if gzip compatibility is not supported

Offsets >= 32MB in 32-bits mode

xxhash can be included twice in any order

Previously,

followed by :

would fail to include the static definitions,
because the second include was simply skipped by guard macro.

Now it works as intended :
the missing static part is included during the second include.

solves warnings when compiling with global XXH_STATIC_LINKING_ONLY

XXH_STATIC_LINKING_ONLY protection macro is intended to be triggered just before the include.
The main idea is to keep this setting local :
user module shall explicitly understand and accept the static linking restriction
which becomes transparent when triggering the macro at project level.
Global definition also triggers redefinition warnings for user modules which do locally define the macro.

This new version compiles lib and cli without warning when the macro is set globally.
That's not a scenario to be recommended, since it trades a local effect for a global one,
but it was easy enough to provide from zstd side.

Merge pull request #579 from iburinoc/multiframe

Check to ensure ddict isn't null before dereference

Merge pull request #580 from facebook/speedStream

Improve streaming decompression speed

updated NEWS for 1.1.4

cmake, performance

Merge pull request #575 from Majlen/cmake-improvement

Cmake improvement

Check to ensure ddict isn't null before dereference

Merge pull request #578 from inikep/dev

decompression: --rm is silent when input is stdin

travis.yml: fixed pull_request

fixed multi frames

Added compile flags to pzstd

Definition NDEBUG from original Makefile
-Wno-shadow silences shadowing in initializers

-Wstrict-prototypes is not supported with C++

Improve handling of library symlinks.

Previous method was failing to remove the symlinks when make clean was
invoked and wasn't portable.

Add zstdmt target in cmake

Support building contrib utils from cmake

fixed decoding skippable frames

added test for decompression with NULL dict and NULL DDict

previous version of ZSTD_decompressMultiFrame() would fail that test

cli : fix : --rm is silent when input is stdin (decompression)

update gzip tests

Improved speed of ZSTD_decompressStream()

When ZSTD_decompressStream() detects
that there is enough space in dst
to complete decompression in a single pass,
delegates to ZSTD_decompress(),
for an extra ~5% speed boost

updated .travis.yml (2)

updated .travis.yml

Merge branch 'decompressStream' into dev

Merge pull request #573 from facebook/ddict

Improved DDict memory usage

fullbench : -i0 displays list of functions to bench

added test case : --rm on stdin

must remain silent (instead of failing)

Merge branch 'dev' of github.com:facebook/zstd into dev

cli : fix : --rm is silent when input is stdin

previously, app would produce an error message, and stop.

Merge pull request #571 from inikep/dev11

gzip tests

use "./gzip" for gzip tests

Merge pull request #569 from iburinoc/testcorpus

Fix some more ARM compile errors

Merge pull request #572 from prashantkhandelwal/dev

Fix for a small typo

minor tweaks in FIO_decompressGzFrame

Fix for a small Typo

reduced ZSTD_DDict memory usage

saved 128 KB

update gzip tests

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

Merge branch 'dev' into testcorpus

added ZSTD_refDDict()

Now DDict does no longer depends on DCtx duplication

loadEntropy works on new ZSTD_entropy_t type

created entropy structure type

Added DDict unit test in fuzzer

also : slightly modified loadEntropy :
know src must points at start of dictionary

Merge pull request #567 from inikep/dev11

faster Travis tests

Merge pull request #566 from facebook/forceRawDict

Force raw dict

Fix some more ARM compile errors

https://travis-ci.org/facebook/zstd/jobs/204807461

Can't get them to reproduce the compile errors locally,
tested fix by forcing that test to run on Travis.

added tests for gzip

fix uninitialized value warning

attempt to fix pthreat linking error

replacing -lpthread by -pthread

zstdmt : fix : loading prefix from previous segments

There used to be a (very small) chance that
loading prefix from previous segment
would be confused with a real zstd dictionary.
For that to happen, the prefix needs to start
with the same value as dictionary magic.
That's 1 chance in 4 billions if all values have equal probability.
But in fact, since some values are more common (0x00000000 for example)
others are less common, and dictionary magic was selected to be one of them,
so probabilities are likely even lower.

Anyway, this risk is no down to zero
by adding a new CCtx parameter : ZSTD_p_forceRawDict

Current parameter policy : the parameter "stick" to its CCtx,
so any dictionary loading after ZSTD_p_forceRawDict is set
will be loaded in "raw" ("content only") mode,
even if CCtx is re-used multiple times with multiple different dictionary.
It's up to the user to reset this value differently if it needs so.

rearrange Travis tests

minor tests/Makefile refactoring

and update of zstd_manual,html

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

Merge pull request #565 from iburinoc/testcorpus

Fix 32-bit -Wsign-compare issues in decodecorpus.c

Merge pull request #564 from iburinoc/doc

Move educational_decoder to doc/ and add doc README

Fix -Wsign-compare issues in decodecorpus.c

https://travis-ci.org/facebook/zstd/jobs/204423280

Merge branch 'dev' into doc

Merge pull request #562 from iburinoc/testcorpus

Create a tool that generates random, valid, Zstd frames for decoder testing

Move educational_decoder to doc/ and add doc README

- Also make some minor bugfixes to educational decoder

Merge pull request #558 from facebook/manual

Manual

Merge pull request #560 from iburinoc/findcompressedsize

Change name to to findFrameCompressedSize and add skippable support

Update CLI and link from educational decoder

Update tests/README.md

zlibWrapper: better description of ZWRAP_useZSTDcompression

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

Create a tool that generates random, valid, Zstd frames for decoder testing

Note: Does not handle dictionaries currently

Merge pull request #561 from iburinoc/fsefix

Fix bug in FSE distribution normalization

Fix bug in FSE distribution normalization

Describe ambiguity around skippable frames

Update comment

Change name to to findFrameCompressedSize and add skippable support

fixed malloc(0) potential issue

Added test cases to cover #556 patch

Merge pull request #556 from sjnam/size_unknown

original size unknown

fixed c90/gnu90/gnu99 tests

Merge pull request #559 from inikep/arm-ppc-compilation

Reduced number of Travis tests to 7

travis.yml: test arm-ppc-compilation target

added arm-ppc-compilation Makefile target

minor tweaks

added `manual` target in root Makefile

`manual` target is added to `all` target

added `manual` target to contrib/gen_html/Makefile

travis.yml: fix versionsTest target

travis.yml: set "dist: trusty" as default

move Ubuntu packages install to Makefile

travis.yml: reduce number of jobs to 7

Merge remote-tracking branch 'refs/remotes/facebook/dev' into asan