[libzstd][opt] Simplify repcode logic

Merge pull request #864 from terrelln/long

Increase maximum window size

Merge pull request #867 from terrelln/fast-fuzz

[fuzz] Speed up round trip tests

[fuzz] Speed up round trip tests

* Enforce smaller maximum values for parameters
* Adjust parameters to the source size

The memory usage is reduced by about 5x, which makes the fuzzers run at
least twice as fast, even more so with ASAN/MSAN enabled.

Increase maximum window size

* Maximum window size in 32-bit mode is 1GB, since allocations for 2GB fail
  on my Mac.
* Maximum window size in 64-bit mode is 2GB, since that is the largest
  power of 2 that works with the overflow prevention.
* Allow `--long=windowLog` to set the window log, along with
  `--zstd=wlog=#`. These options also set the window size during
  decompression, but don't override `--memory=#` if it is set.
* Present a helpful error message when the window size is too large during
  decompression.
* The long range matcher defaults to a hash log 7 less than the window log,
  which keeps it at 20 for window log 27.
* Keep the default long range matcher window size and the default maximum
  window size at 27 for the API and CLI.
* Add tests that use the maximum window size and hash size for compression
  and decompression.

Merge pull request #861 from terrelln/zip

[fuzz][CI] Set up regression tests

Merge pull request #862 from terrelln/static

[zstd] Backport kernel patch from @ColinIanKing

Merge pull request #855 from terrelln/maxoff

[libzstd] Increase MaxOff

[zstd] Backport kernel patch from @ColinIanKing

* Make the U32 table in `FSE_normalizeCount()` static.
* Patch from https://lkml.kernel.org/r/20170922145946.14316-1-colin.king@canonical.com.
* Clang makes non-static tables static anyways. gcc however, does [weird things](https://godbolt.org/g/fvTcED).
* Benchmarks showed no difference in speed.

[fuzz] Determine flags based on compiler version

[fuzz][CI] Add regression tests to the CI

[fuzz] Mention the corpora in the README

[fuzz] Add regressiontest targets

[libzstd] Increase MaxOff

[fuzz] Make simple_round_trip compile cleanly

[fuzz] Fix fuzz.py env flags parsing

[fuzz] fuzz.py can minimize and zip corpora

* "minimize" minimizes the corpora into an output directory.
* "zip" zips up the minimized corpora, which are ready to deploy.

Merge pull request #859 from terrelln/31

Prepare for ZSTD_WINDOWLOG_MAX == 31

Merge pull request #858 from facebook/controlSize

added control of frame content size at end of decompression

Prepare for ZSTD_WINDOWLOG_MAX == 31

added control from frame content size at end of decompression

adding check at end of single-pass ZSTD_decompressFrame().
Check within ZSTD_decompressContinue() was already added in a previous patch : b3f33ccfb3b4fcc73df82126fd5ecfb751268fc6

Merge pull request #850 from terrelln/fse-optimal

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #849 from terrelln/30

[bitstream] Allow adding 31 bits at a time

Merge pull request #857 from terrelln/bad-assert

Fix minor fuzz test failures

[bitstream] Allow adding 31 bits at a time

[ldm] Fix corner case where minMatch < 8

There is a potential read buffer overflow when minMatch < 8.

fix-fuzz-failure

[libzstd] Fix bad window size assert

The window size is not validated or used in the one-pass API, so there
shouldn't be an assert based on it.

fix-fuzz-failure

Merge branch 'dev' of github.com:facebook/zstd into dev

added streaming_memory_usage example

Merge pull request #853 from terrelln/blog

[zstdcli] Fix LDM advanced options parsing

Merge pull request #852 from facebook/fix851

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

[zstdcli] Fix LDM advanced options parsing

Merge branch 'dev' of github.com:facebook/zstd into dev

fix ZSTD_sizeof_CCtx() / ZSTD_sizeof_CStream()

previous result was over-estimated
by counting streaming buffers twice

[fse] Fix FSE_optimalTableLog() for srcSize==1

Merge pull request #848 from terrelln/fparams

[block] Don't use fParams in ZSTD_decompressBlock()

fix #851 : sudo zstd -t file.zst changes /dev/null permissions

reported by @mike155

minor : added assert in bt

Merge pull request #846 from facebook/splitDict

Split dict

[block] Don't use fParams in ZSTD_decompressBlock()

add comment on using -B# to split input file for dictionary training

ensures that sampleSizes table is large enough

as recommended by @terrelln

Merge pull request #847 from terrelln/fuzzer

[fuzzer] Fuzz long range matching & new API

fixed 64-to-32 conversion warnings

fixed minor conversion warning

added ability to split input files for dictionary training

using command -B#
This is the same behavior as benchmark module,
which can also split input into arbitrary size blocks, using -B#.

minor comment refactor

[fuzzer] Fuzz long range matching & new API

Merge pull request #844 from terrelln/fuzzer

Fuzzer

[fuzzer] Fix bugs in fuzz.py

[fuzzer] Fix FUZZ_seed()

[fuzzer] Update README.md

[fuzz] Add fuzzing helper script

Add block fuzzers

[fuzzer] Handle single empty directory

Merge pull request #842 from stellamplau/decodeCorpus-maxSize

Add flag to limit max decompressed size in decodeCorpus

fixed too strong alignment assert in ZSTD_initStaticCCtx()

64-bits fields are only 32-bits aligned on 32-bits CPU

Update fuzzer Makefile

Update fuzzer sources

Fix implicit conversion error

Add flag to limit max decompressed size in decodeCorpus

Merge pull request #838 from stellamplau/ldm-mergeDev

Add long distance matcher

Merge pull request #841 from facebook/utilTimeAPI

modified util::time API (T19505791)

Merge pull request #840 from stellamplau/decodeCorpus-blocks

Make decodecorpus generate raw compressed blocks

blindfix for Visual

LARGE_INTEGER is not an integer :
https://msdn.microsoft.com/en-us/library/windows/desktop/aa383713(v=vs.85).aspx

Do not take any risk with the structure definition :
use int init = 0; like Mac code

fixed minor prototype warning

modified util::time API

for easier invocation.
- no longer expose frequency timer :
it's either useless, or stored internally in a static variable (init is only necessary once).
- UTIL_getTime() provides result by function return.

Make decodecorpus generate raw compressed blocks

Merge pull request #839 from terrelln/timer

[bench] Use higher resolution timer on POSIX

Merge pull request #837 from facebook/libzstd-nomt

makes it possible to compile libzstd in single-thread mode without zs…

[bench] Use higher resolution timer on POSIX

The timer used was only accurate up to 0.01 seconds. This timer is accurate up to 1 ns.
It is a monotonic timer that measures the real time difference, not on CPU time.

Reduce ldm hash table size in test

Merge pull request #836 from facebook/decodingBufferSizeMin

Decoding buffer size min

fix #820 : GCC v3.x 32-bits doesn't define 64-bits intrinsic

resulting in undefined symbol error.
Push the requirement to GCC 4 for now.
Another solution, proposed by @NWilson, is to use __LONG_MAX__ instead.
__LONG_MAX__ is a GCC-specific constant, which value is supposed to depend on underlying target hardware (32/64 bits)
Might be better, but seems also more complex, hence more prone to side effects.
Keeping the simple solution for now (just rely on __GNUC__)

Merge branch 'dev' of https://github.com/facebook/zstd into ldm-mergeDev

Merge branch 'ldm-integrate' into ldm-mergeDev

fixed pass-through warning

Explicitly cast raw numerals when left-shifting

makes it possible to compile libzstd in single-thread mode without zstdmt_compress.c (#819)

fix following suggestions by @terrelln

use ZSTD_decodingBufferSize_min() inside ZSTD_decompressStream()

Use same definition as public one
minor : reduce allocated buffer size in some cases
(when frameContentSize is known and == windowSize)

ZSTD_decodingBufferSize_min()

supporting function for bufferless streaming API (ZSTD_decompressContinue())
makes it possible to correctly size a round buffer for decoding using this API.

also : added field blockSizeMax within ZSTD_frameHeader,
as it's a necessary information to know when to restart at beginning of decoding buffer.

updated license header

to clarify dual-license meaning as "or"

Move ldm functions to their own file

programs/Makefile : better support for GNU conventions

see https://www.gnu.org/prep/standards/html_node/Command-Variables.html

lib/Makefile : better support for GNU conventions

see https://www.gnu.org/prep/standards/html_node/Makefile-Conventions.html

update README on BUCK file

update and clarify lib/README

Remove debug code

Merge remote-tracking branch 'upstream/dev' into ldm-mergeDev

Add ldm documentation in README

Merge pull request #834 from stellamplau/regressionDriverFix

Fix function name in tests/fuzz/regression_driver

Merge pull request #831 from terrelln/split-compress

Split parsers out of zstd_compress.c

Add tests and fix pointer alignment

Fix function name in tests/fuzz/regression_driver

Rename and add short ldm parameters in cli

Fix setting of nextToUpdate at end of ldm matcher

Update build scripts

Split parsers out of zstd_compress.c

Merge pull request #833 from stellamplau/copyCCtxFix

Fix parameter handling with ZSTD_copyCCtx