Fix off-by-one in size calculations

Minor refactoring

Experiment with integrating ZSTD_count with findBestMatch

Avoid recounting match lengths with ZSTD_count

Switch to using ZSTD_count instead of function pointer

Make the meaning of LDM_MEMORY_USAGE consistent across tables

Experiment with using a lag when hashing

Remove version archive

Add function to get valid entries only from table

Add basic chaining table

Decouple hash table from compression function

Move hash table access for own functions

Add more statistics

Add percentages to offset histogram

Add offset histogram

[ldm] Minor refactoring

Add min/max offset to stats

[ldm] Make some functions shared

[ldm] Switch to using lib/common/mem.h and move typedefs to ldm.h

Summary:

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

Blame Revision:

[ldm] Remove old main files

[ldm] Add TODO and comment for segfaulting in compress function

[ldm] Add CHAR_OFFSET in hash function and extend header size

[ldm] Clean up versions

[ldm] Clean up code

Fix sumToHash to use hash space more efficiently

Minor fix for non-rolling hash

Switch to using rolling hash only

Update rolling hash

Save v3

Add rolling hash

Clean up and refactor compress function

Add warning flags to makefile and clean up code to remove warnings

Add compression context

Add LDM_DCtx

Minor refactoring

Merge branch 'ldm' of https://github.com/stellamplau/zstd into ldm

Minor refactoring

Add folder for old versions

Update mainfile

Add compression statistics

[ldm] Update to hash every position

Fix offset overflow bug

Add header with compress and decompress size

Update compressor and decompressor

Add simple compress and decompress functions

Switch to mmapping files

Initial long distance matcher commit

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

Merge pull request #745 from terrelln/libfuzzer

[fuzz] Add libFuzzer targets

minor code refactoring

fixed gz error reporting

gzip : only display inflateEnd error when there is no error before

Merge pull request #746 from terrelln/dev

[libzstd] Fix memcpy() on potential NULL source

gzip decoding does no longer exit() on invalid input

[fuzz] Move from fuzz/ to tests/fuzz/

[libzstd] Fix memcpy() on potential NULL source

* `ZSTD_decompressStream_generic()` `ip` may be `NULL` for one of the calls
  to `memcpy()`
* Assert the source is not `NULL` for calls to `memcpy()` where I believe
  the source should not be `NULL`.

decoding malformed lz4 frames does no longer exit()

fileio : decoding malformed lzma frame does no longer exit()

makes it possible to continue decoding file list

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[fuzz] Add libFuzzer targets

* The regression driver serves both as a regression test, and as a binary for afl-fuzz.
* Next, we want to check in a seed corpus for each target. Then we can run the regression
  test binary on them on Travis or Circle CI.

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK

fixed Visual compilation of fullbench-dll

made fullbench compatible with multi-threading

fullbench 61/62 measure speed of ZSTD_compress_generic with 2 threads

zstreamtest : big tests are only enabled in 64-bits mode

to avoid requesting too much memory in 32-bits mode during MT tests

Delegate HUF_decompress4X_hufOnly to workspace version

Fix bitshift error

Merge pull request #741 from facebook/promotion

ZSTD_getFrameContentSize() promoted to "stable" status

compression optimization opportunity

switch to single-pass mode directly into output buffer
when outputSize >= ZSTD_compressBound(inputSize).
Speed gains observed with fullbench (~+15% on level 1)

Fix pointer casting warning

updated fullbench to also measure ZSTD_compress_generic()

will make it possible to visualize
optimization opportunity for ZSTD_e_end

Fix alignment warnings with pointer casting

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

minor : fix typo

minor : specify compression level in tags

Merge pull request #738 from terrelln/lk-div

[linux-kernel] Update patches for v2

ZSTD_getFrameContentSize() is promoted to "stable" status

Merge pull request #739 from facebook/refPrefix

ZSTD_refPrefix

[linux-kernel] Update patches for v2

* Reduce stack usage of many zstd functions, none use over 388 B anymore.
* Remove an incorrect `const` in `xxhash`.

Merge pull request #736 from terrelln/cover-default-api

[zdict] Make COVER the default algorithm