reduced ZSTD_DDict memory usage

saved 128 KB

added ZSTD_refDDict()

Now DDict does no longer depends on DCtx duplication

loadEntropy works on new ZSTD_entropy_t type

created entropy structure type

Added DDict unit test in fuzzer

also : slightly modified loadEntropy :
know src must points at start of dictionary

Merge pull request #566 from facebook/forceRawDict

Force raw dict

attempt to fix pthreat linking error

replacing -lpthread by -pthread

zstdmt : fix : loading prefix from previous segments

There used to be a (very small) chance that
loading prefix from previous segment
would be confused with a real zstd dictionary.
For that to happen, the prefix needs to start
with the same value as dictionary magic.
That's 1 chance in 4 billions if all values have equal probability.
But in fact, since some values are more common (0x00000000 for example)
others are less common, and dictionary magic was selected to be one of them,
so probabilities are likely even lower.

Anyway, this risk is no down to zero
by adding a new CCtx parameter : ZSTD_p_forceRawDict

Current parameter policy : the parameter "stick" to its CCtx,
so any dictionary loading after ZSTD_p_forceRawDict is set
will be loaded in "raw" ("content only") mode,
even if CCtx is re-used multiple times with multiple different dictionary.
It's up to the user to reset this value differently if it needs so.

minor tests/Makefile refactoring

and update of zstd_manual,html

Merge pull request #565 from iburinoc/testcorpus

Fix 32-bit -Wsign-compare issues in decodecorpus.c

Merge pull request #564 from iburinoc/doc

Move educational_decoder to doc/ and add doc README

Fix -Wsign-compare issues in decodecorpus.c

https://travis-ci.org/facebook/zstd/jobs/204423280

Merge branch 'dev' into doc

Merge pull request #562 from iburinoc/testcorpus

Create a tool that generates random, valid, Zstd frames for decoder testing

Move educational_decoder to doc/ and add doc README

- Also make some minor bugfixes to educational decoder

Merge pull request #558 from facebook/manual

Manual

Merge pull request #560 from iburinoc/findcompressedsize

Change name to to findFrameCompressedSize and add skippable support

Update CLI and link from educational decoder

Update tests/README.md

Create a tool that generates random, valid, Zstd frames for decoder testing

Note: Does not handle dictionaries currently

Merge pull request #561 from iburinoc/fsefix

Fix bug in FSE distribution normalization

Fix bug in FSE distribution normalization

Describe ambiguity around skippable frames

Update comment

Change name to to findFrameCompressedSize and add skippable support

fixed malloc(0) potential issue

Added test cases to cover #556 patch

Merge pull request #556 from sjnam/size_unknown

original size unknown

fixed c90/gnu90/gnu99 tests

Merge pull request #559 from inikep/arm-ppc-compilation

Reduced number of Travis tests to 7

travis.yml: test arm-ppc-compilation target

added arm-ppc-compilation Makefile target

minor tweaks

added `manual` target in root Makefile

`manual` target is added to `all` target

added `manual` target to contrib/gen_html/Makefile

travis.yml: fix versionsTest target

travis.yml: set "dist: trusty" as default

move Ubuntu packages install to Makefile

travis.yml: reduce number of jobs to 7

Merge remote-tracking branch 'refs/remotes/facebook/dev' into asan

test for fail to decompress

Merge pull request #557 from inikep/dev11

travis.yml: remove tests that overlap with Circle CI

Merge pull request #552 from iburinoc/spec

Restructure Format Specification

fix uasan-test32

travis.yml: added uasan-test and uasan-test32

travis.yml: use CFLAGS=-Og with -fsanitize

travis.yml: added LDFLAGS=-fuse-ld=gold

travis.yml: reduce number of jobs

legacy.c: fix memory leaks

Add default distributions and fix typos

zstd_compress.c: fix memory leaks

fix memory leaks

uasan

travis.yml: use clang-4.0 for asan32 test

bench.c: use a single ticksPerSecond

travis.yml: switch asan32 to Ubuntu 14.04

travis.yml: join pzstd tests

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

travis.yml: remove tests that overlap with Circle CI

util.h: restore times()

Merge branch 'dev' into size_unknown

Merge pull request #555 from anders-code/dev

spelling fixes in comments

Merge pull request #553 from inikep/devel

Devel

original size unknown

spelling fixes in comments

i.e. occurred labeled Huffman

util.h: use mach_absolute_time for macOS

introduce UTIL_freq_t

replace times() with clock_gettime(CLOCK_MONOTONIC, x)

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

updated NEWS with meson build by Dima Krasner

Merge pull request #551 from dimkr/meson

Added a Meson-based build system

Moved to contrib

Restructure Format Specification

Added a message when multhread=true

Updated the README

Added multi-threaded library support

circle.yml: set FUZZERTEST=-T4mn

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

Merge pull request #550 from iburinoc/matchoverlenwrite

execSequence copies up to 2*WILDCOPY_OVERLENGTH extra

Merge pull request #548 from inikep/gz_compress

Circle CI tests

Update overlength match test case

execSequence copies up to 2*WILDCOPY_OVERLENGTH extra

circle.yml: make travis-install

faster start of containers

Added a Meson project

join tests into pairs

move MOREFLAGS to circle.yml

Merge pull request #549 from iburinoc/matchoverlenwrite

Fix wildcopy overwriting data still in window

more balanced tests

two groups of tests

improved clangtest

imporved test-zstd

Tests for thread 1 (when CIRCLE_NODE_TOTAL=1) or thread 2

final colon

check CIRCLE_NODE_TOTAL

check $CIRCLE_NODE_INDEX

circle.yml: run only short tests

fix travis.yml

.travis.yml: detect "$TRAVIS_EVENT_TYPE" = "cron"

Fix wildcopy overwriting data still in window

Merge branch 'dev' of github.com:facebook/zstd into dev