test-zstd-speed.py: default timeout changed to 1800 seconds

test-zstd-speed.py: converted to python3 and added "--timeout"

generate RES files during each compilation

generate_res.bat moved to programs/windres

generate_res moved to programs/windres

generate_res.bat: automatic detection if windres.exe is available

updated build\VS2010\zstd\generate_res\verrsrc.h

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

added ZSTD_initDStream_usingDDict() .
slightly optimized ZSTD_initDStream() when no dictionary .
fixed ZSTD_sizeof_CStream() .

first sketch for ZSTD_initCStream_usingCDict()

Merge pull request #429 from inikep/btopt2

Btopt2

Merge pull request #428 from inikep/dev11

windres

added ZSTD_btopt2 strategy

Windows resources moved to programs/windres/

images/ moved to doc/images/

Merge pull request #426 from terrelln/fixes

Fix various {A, M}SAN bugs

updated comments on context re-use

Fix compiler narrowing warning

Merge remote-tracking branch 'upstream/dev' into fixes

* upstream/dev:
  added doc\zstd_manual.html
  added contrib\gen_html
  zstd_compression_format.md moved to doc/
  Fix small bug in ZSTD_execSequence()
  improved ZSTD_compressBlock_opt_extDict_generic
  protect ZSTD_decodeFrameHeader() from invalid usage, as suggested by @spaskob
  zstd_opt.h: small improvement in compression ratio
  improved dicitonary segment merge
  use implicit rules to compile zstd_decompress.c
  detect early impossible decompression scenario in legacy decoder v0.5
  no repeat mode in legacy v0.5
  fixed invalid invocation of dictionary in legacy decoder v0.5
  fix edge case
  fix command line interpretation
  fixed minor corner case
  zstd.h: added the Introduction section
  fixed clang 3.5 warnings
  zstd.h: updated comments

Merge pull request #425 from inikep/dev11

Doc

Reject dictionaries with incomplete entropy tables

If a dictionary specifies that a symbol has probability zero in its
`matchLength`, `literalLength`, or `offset` FSE table, but the symbol
appears when compressing input, the compressor fails.

Ensure that dictionaries support all `matchLength`, and `literalLength`
codes.  They must also support all of the `offset` codes required to
represent every possible offset that can appear in the first block.

added doc\zstd_manual.html

added contrib\gen_html

zstd_compression_format.md moved to doc/

Merge pull request #423 from terrelln/exec-seq-patch

Fix small bug in ZSTD_execSequence()

Fix small bug in ZSTD_execSequence()

`memmove(op, match, sequence.matchLength)` is not the desired behavior.
Overlap is allowed, and handled as if we did `*op++ = *match++`, which
is not how `memmove()` handles overlap.

Only triggered if both of the following conditions are met:
* The match spans extDict & currentPrefixSegment
* `oLitEnd <= oend_w < oLitEnd + length1 < oMatchEnd <= oend`.

These two conditions imply that the block is less than 15 bytes long.
This bug isn't triggered by the streaming API, because it allocates
enough space for the window size + the block size, so there cannot be
a match that is within 8 bytes of the end and overlaps with itself.
It cannot be triggered by the block decompression API because all of
the decompressed data is in the currentPrefixSegment.

Introduced by commit 71585843998459e636f639165ff8a1ca9d161b62

improved ZSTD_compressBlock_opt_extDict_generic

protect ZSTD_decodeFrameHeader() from invalid usage, as suggested by @spaskob

zstd_opt.h: small improvement in compression ratio

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

Merge remote-tracking branch 'refs/remotes/origin/dev' into dev11

Fix stack buffer overrun when weightTotal == 0

If `weightTotal == 0`, then `BIT_highbit32(weightTotal)` is
undefined behavior in the case that it calls `__builtin_clz()`.
If `tableLog == HUF_TABLELOG_ABSOLUTEMAX` then we will access one
byte beyond the end of the buffer.

Unitialized memory read in ZSTD_decodeSeqHeaders()

Caused by two things:
1. Not checking that `ip` is in range except for the first byte.
2. `ZSTDv0{5,6}_decodeLiteralsBlock()` could return a value larger than `srcSize`.

improved dicitonary segment merge

use implicit rules to compile zstd_decompress.c

Backport fix from commit 125d817

This fixes a read of unitialized memory.
Full commit hash: 125d81774fe87a2bc18023d999d8e510678c38fb.

Backport fix from commit 9e8b09a

Fixes uninitialized memory reads.
Full commit hash: 9e8b09a7bd42dd06ee62b33aff215fbb52708d7b

detect early impossible decompression scenario in legacy decoder v0.5

no repeat mode in legacy v0.5

fixed invalid invocation of dictionary in legacy decoder v0.5

fix edge case

Fix stack buffer overflow in HUF_readCTable()

If `w ==0` on line 153, then `CTable[n].nbBits == tableLog + 1`.
Then `nbPerRank[CTable[n].nbBits]` and `valPerRank[CTable[n].nbBits]`
are stack buffer overflows.

fix command line interpretation

fixed minor corner case

Fix buffer overrun in ZSTD_loadDictEntropyStats()

The table log set by `FSE_readNCount()` was not checked in
`ZSTD_loadDictEntropyStats()`.  This caused `FSE_buildCTable()`
to stack/heap overflow in a few places.

The benchmarks look good, there is no obvious compression performance regression:

  > ./zstds/zstd.opt.0 -i10 -b1 -e10 ~/bench/silesia.tar
   1#silesia.tar       : 211988480 ->  73656930 (2.878), 271.6 MB/s , 716.8 MB/s
   2#silesia.tar       : 211988480 ->  70162842 (3.021), 204.8 MB/s , 671.1 MB/s
   3#silesia.tar       : 211988480 ->  66997986 (3.164), 156.8 MB/s , 658.6 MB/s
   4#silesia.tar       : 211988480 ->  66002591 (3.212), 136.4 MB/s , 665.3 MB/s
   5#silesia.tar       : 211988480 ->  65008480 (3.261),  98.9 MB/s , 647.0 MB/s
   6#silesia.tar       : 211988480 ->  62979643 (3.366),  65.2 MB/s , 670.4 MB/s
   7#silesia.tar       : 211988480 ->  61974560 (3.421),  44.9 MB/s , 688.2 MB/s
   8#silesia.tar       : 211988480 ->  61028308 (3.474),  32.4 MB/s , 711.9 MB/s
   9#silesia.tar       : 211988480 ->  60416751 (3.509),  21.1 MB/s , 718.1 MB/s
  10#silesia.tar       : 211988480 ->  60174239 (3.523),  22.2 MB/s , 721.8 MB/s

  > ./compress_zstds/zstd.opt.1 -i10 -b1 -e10 ~/bench/silesia.tar
   1#silesia.tar       : 211988480 ->  73656930 (2.878), 273.8 MB/s , 722.0 MB/s
   2#silesia.tar       : 211988480 ->  70162842 (3.021), 203.2 MB/s , 666.6 MB/s
   3#silesia.tar       : 211988480 ->  66997986 (3.164), 157.4 MB/s , 666.5 MB/s
   4#silesia.tar       : 211988480 ->  66002591 (3.212), 132.1 MB/s , 661.9 MB/s
   5#silesia.tar       : 211988480 ->  65008480 (3.261),  96.8 MB/s , 641.6 MB/s
   6#silesia.tar       : 211988480 ->  62979643 (3.366),  63.1 MB/s , 677.0 MB/s
   7#silesia.tar       : 211988480 ->  61974560 (3.421),  44.3 MB/s , 678.2 MB/s
   8#silesia.tar       : 211988480 ->  61028308 (3.474),  33.1 MB/s , 708.9 MB/s
   9#silesia.tar       : 211988480 ->  60416751 (3.509),  21.5 MB/s , 710.1 MB/s
  10#silesia.tar       : 211988480 ->  60174239 (3.523),  21.9 MB/s , 723.9 MB/s

Fix buffer overrun in ZSTD_loadEntropy()

The table log set by `FSE_readNCount()` was not checked in
`ZSTD_loadEntropy()`.  This caused `FSE_buildDTable(dctx->MLTable, ...)`
to overwrite the beginning of `dctx->hufTable`.

The benchmarks look good, there is no obvious performance regression:

  > ./zstds/zstd.opt.0 -i10 -b1 -e5 ~/bench/silesia.tar
   1#silesia.tar       : 211988480 ->  73656930 (2.878), 268.2 MB/s , 701.0 MB/s
   2#silesia.tar       : 211988480 ->  70162842 (3.021), 199.5 MB/s , 666.9 MB/s
   3#silesia.tar       : 211988480 ->  66997986 (3.164), 154.9 MB/s , 655.6 MB/s
   4#silesia.tar       : 211988480 ->  66002591 (3.212), 128.9 MB/s , 648.4 MB/s
   5#silesia.tar       : 211988480 ->  65008480 (3.261),  98.4 MB/s , 633.4 MB/s

  > ./zstds/zstd.opt.2 -i10 -b1 -e5 ~/bench/silesia.tar
   1#silesia.tar       : 211988480 ->  73656930 (2.878), 266.1 MB/s , 703.7 MB/s
   2#silesia.tar       : 211988480 ->  70162842 (3.021), 199.0 MB/s , 666.6 MB/s
   3#silesia.tar       : 211988480 ->  66997986 (3.164), 156.2 MB/s , 656.2 MB/s
   4#silesia.tar       : 211988480 ->  66002591 (3.212), 133.2 MB/s , 647.4 MB/s
   5#silesia.tar       : 211988480 ->  65008480 (3.261),  96.3 MB/s , 633.3 MB/s

Check if dict is empty before reading first byte

minor opt

refactor for long commands

added long commands --memory= and --memlimit-decompress=

added long comment --memlimit=

Merge branch 'dev' of github.com:facebook/zstd into dev

new command -M#, to limit memory usage during decompression (#403)

Merge pull request #417 from terrelln/ubsan-failures

Fix ubsan failures (pass NULL to memcpy)

Fix ubsan failures (pass NULL to memcpy)

added ZSTD_error_frameParameter_windowTooLarge (#403)

updated visual projects

Merge pull request #406 from pixelb/pzstd-test-headless

pzstd: fix test failure on headless build

make creates libzstd binaries (#415)

fix cmake

Merge pull request #416 from terrelln/exec-sequence

Fix ZSTD_execSequence() edge case

Fix ZSTD_execSequence() edge case

bumped version number

created error_private.c, so that a single list of error strings get included

added zstd_errors.h to include installation

changed error_public.h into zstd_errors.h

Merge pull request #414 from terrelln/license

Remove references to GPLv2 license

Remove references to GPLv2 license

License headers added to Makefiles were taken from `zstd/Makefile`.

sync fse

pzstd: fix test failure on headless build

Remove this test as pass/fail status is
dependent on whether I/O is connected to a tty.
It currrently passes on a tty but fails on
a package build system for example.

zstd.h: added the Introduction section

fixed clang 3.5 warnings

zstd.h: updated comments

Merge pull request #401 from inikep/dev

Dev

.travis.yml: added "make clean" before versionsTest

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev

fixed Makefile targets: zstd-small, zstd-decompress, zstd-compress

zlibWrapper: updated README.md

updated .gitignore

Merge remote-tracking branch 'refs/remotes/origin/zlibWrapper' into dev

RES files for zstd 1.1.0

updated NEWS

Merge pull request #393 from inikep/zlibWrapper

Zlibwrapper

ZSTD_resetDStream moved to inflate()

renamed to ZWRAP_deflateReset_keepDict

redirection to deflateReset and inflateReset

added ZWRAP_deflateResetWithoutDict and ZWRAP_inflateResetWithoutDict

updated description of ZWRAP_setPledgedSrcSize

improved speed of deflate without Z_FINISH

update dictionary builder warning comments

Merge pull request #384 from inikep/zlibWrapper

Zlibwrapper

zlibWrapper: minor tweaks

updated zlibWrapper\Makefile

zwrapbench: improved tests with a dictionary

updated results in zlibWrapper\README.md

Merge remote-tracking branch 'refs/remotes/facebook/dev' into zlibWrapper

improved behavior of deflateReset

improved zwrapbench tests

added comment on filePos

fixed : init*_advanced() followed by reset() with different pledgedSrcSiz