[fuzzer] Fuzz long range matching & new API

[fuzzer] Fix bugs in fuzz.py

[fuzzer] Fix FUZZ_seed()

[fuzzer] Update README.md

[fuzz] Add fuzzing helper script

Add block fuzzers

[fuzzer] Handle single empty directory

Update fuzzer Makefile

Update fuzzer sources

Merge pull request #838 from stellamplau/ldm-mergeDev

Add long distance matcher

Merge pull request #841 from facebook/utilTimeAPI

modified util::time API (T19505791)

Merge pull request #840 from stellamplau/decodeCorpus-blocks

Make decodecorpus generate raw compressed blocks

blindfix for Visual

LARGE_INTEGER is not an integer :
https://msdn.microsoft.com/en-us/library/windows/desktop/aa383713(v=vs.85).aspx

Do not take any risk with the structure definition :
use int init = 0; like Mac code

fixed minor prototype warning

modified util::time API

for easier invocation.
- no longer expose frequency timer :
it's either useless, or stored internally in a static variable (init is only necessary once).
- UTIL_getTime() provides result by function return.

Make decodecorpus generate raw compressed blocks

Merge pull request #839 from terrelln/timer

[bench] Use higher resolution timer on POSIX

Merge pull request #837 from facebook/libzstd-nomt

makes it possible to compile libzstd in single-thread mode without zs…

[bench] Use higher resolution timer on POSIX

The timer used was only accurate up to 0.01 seconds. This timer is accurate up to 1 ns.
It is a monotonic timer that measures the real time difference, not on CPU time.

Reduce ldm hash table size in test

Merge pull request #836 from facebook/decodingBufferSizeMin

Decoding buffer size min

fix #820 : GCC v3.x 32-bits doesn't define 64-bits intrinsic

resulting in undefined symbol error.
Push the requirement to GCC 4 for now.
Another solution, proposed by @NWilson, is to use __LONG_MAX__ instead.
__LONG_MAX__ is a GCC-specific constant, which value is supposed to depend on underlying target hardware (32/64 bits)
Might be better, but seems also more complex, hence more prone to side effects.
Keeping the simple solution for now (just rely on __GNUC__)

Merge branch 'dev' of https://github.com/facebook/zstd into ldm-mergeDev

Merge branch 'ldm-integrate' into ldm-mergeDev

fixed pass-through warning

Explicitly cast raw numerals when left-shifting

makes it possible to compile libzstd in single-thread mode without zstdmt_compress.c (#819)

fix following suggestions by @terrelln

use ZSTD_decodingBufferSize_min() inside ZSTD_decompressStream()

Use same definition as public one
minor : reduce allocated buffer size in some cases
(when frameContentSize is known and == windowSize)

ZSTD_decodingBufferSize_min()

supporting function for bufferless streaming API (ZSTD_decompressContinue())
makes it possible to correctly size a round buffer for decoding using this API.

also : added field blockSizeMax within ZSTD_frameHeader,
as it's a necessary information to know when to restart at beginning of decoding buffer.

updated license header

to clarify dual-license meaning as "or"

Move ldm functions to their own file

programs/Makefile : better support for GNU conventions

see https://www.gnu.org/prep/standards/html_node/Command-Variables.html

lib/Makefile : better support for GNU conventions

see https://www.gnu.org/prep/standards/html_node/Makefile-Conventions.html

update README on BUCK file

update and clarify lib/README

Remove debug code

Merge remote-tracking branch 'upstream/dev' into ldm-mergeDev

Add ldm documentation in README

Merge pull request #834 from stellamplau/regressionDriverFix

Fix function name in tests/fuzz/regression_driver

Merge pull request #831 from terrelln/split-compress

Split parsers out of zstd_compress.c

Add tests and fix pointer alignment

Fix function name in tests/fuzz/regression_driver

Rename and add short ldm parameters in cli

Fix setting of nextToUpdate at end of ldm matcher

Update build scripts

Split parsers out of zstd_compress.c

Merge pull request #833 from stellamplau/copyCCtxFix

Fix parameter handling with ZSTD_copyCCtx

Fix parameter handling in copyCCtx with cdict

Fix parameter handling with ZSTD_copyCCtx

Add ldm options to 'man zstd'

Merge pull request #832 from terrelln/assert

[POOL] Allow free on NULL when multithreading is disabled

[POOL] Allow free on NULL when multithreading is disabled

Add ldmBucketSizeLog param

Move hashEveryLog to cctxParams and update cli

Merge pull request #829 from facebook/fix828

fixed decompression bug reported by @Etsukata (#828)

Move ldm hashLog, bucketLog, and mml to cctxParams

updated NEWS

fix for 32-bits decoder

restored 32-bits decoder ability to decode long offsets (>32 MB, levels 21+)

bench stops immediately on decoding error

improved decoding speed

Merge remote-tracking branch 'upstream/longRangeMatcher' into ldm-integrate

Add long distance matching as a CCtxParam

Merge pull request #830 from Etsukata/fix-tests-fuzz-build-error

Fix tests/fuzz build error

tests/fuzz: change ZSTD_BLOCKSIZE_ABSOLUTEMAX into ZSTD_BLOCKSIZE_MAX

ZSTD_BLOCKSIZE_ABSOLUTEMAX is changed at the commit:
https://github.com/facebook/zstd/commit/fa3671eac7097ce4ae9a1a4c53d2d1486c29d48f

tests/fuzz: fix make all target names

fixed minor warning (empty translation unit)

fixed decompression bug reported by @Etsukata (#828)

updated zstd API manual

for new CCtxParams object

fixed impact of merge conflict for longRange

Merge pull request #827 from facebook/dev

Update branch

Merge branch 'longRangeMatcher' into dev

Merge branch 'modTests' into dev

fixed conflict

improved console log of utils.h

removed a warning when compiling on Windows

blind attempt at removing gcc dependency

from appveyor's mingw builds, for #815

Merge branch 'dev' into modTests

Merge branch 'dev' of github.com:facebook/zstd into dev

fixed poolTests

needs more dependencies from zstd for custom allocators and error codes

fixed poolTest

needs more dependencies from zstd for custom allocators and error codes

changed target allarch into allzstd

allzstd contains only zstd-related tests.
allmost = allzstd + zwrapper tests (which require zlib)

Add long distance matcher

Move last literals section to ZSTD_block_internal

Merge pull request #826 from terrelln/license

[linux-kernel] Update license

[linux-kernel] Update license

last batch of header files changed to reflect new license (#825)

only remains to update contrib/linux-kernel (@terrelln)

fixed more file headers after license change (#825)

Merge pull request #810 from stellamplau/params

Move parameters into a single (opaque) structure

fixed a bunch of headers after license change (#825)

updated NEWS

Pass dictMode to ZSTDMT_initCStream; fix nits

- Return error code in estimate{CCtx,CStream}Size functions

Merge pull request #821 from facebook/licenseExample

changed license for examples

Minor fixes; remove formatting only changes

Add test for raw content starting with dict header

Use ZSTD_dm_rawContent in zstdmt_compress

Rename applyCCtxParams()

Delay creation of ZSTDMT_CCtx

Localize 'dictMode' from cctx to function param

Merge pull request #817 from terrelln/pool-custom-alloc

[pool] Accept custom allocators

Replace 'byReference' with enum

[error] Don't guard undef X with ifdef X

Rename estimateCCtxSize_advanced() and estimateCStreamSize_advanced()