Return error code in verify() and minor code cleanup

Fix typo

Add checks in initialization code

Update README

Allow HASH_ONLY_EVERY_LOG to be configured in ldm.h

Add README and clean up code

Allow parameters to be modified from a separate file

Rename and remove unneeded files

Experiment with not using a checksum

Minor code cleanup

Deduplicate code

Experiment with eviction policies and minor code cleanup

Minor clean up

Fix overflow bug when calculating hash

Experiment with 64-bit hash insertion policy

Experiment with 64-bit hash and checksum

Fix off-by-one in size calculations

Minor refactoring

Experiment with integrating ZSTD_count with findBestMatch

Avoid recounting match lengths with ZSTD_count

Switch to using ZSTD_count instead of function pointer

Make the meaning of LDM_MEMORY_USAGE consistent across tables

Experiment with using a lag when hashing

Remove version archive

Add function to get valid entries only from table

Add basic chaining table

Decouple hash table from compression function

Move hash table access for own functions

Add more statistics

Add percentages to offset histogram

Add offset histogram

[ldm] Minor refactoring

Add min/max offset to stats

[ldm] Make some functions shared

[ldm] Switch to using lib/common/mem.h and move typedefs to ldm.h

Summary:

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

Blame Revision:

[ldm] Remove old main files

[ldm] Add TODO and comment for segfaulting in compress function

[ldm] Add CHAR_OFFSET in hash function and extend header size

[ldm] Clean up versions

[ldm] Clean up code

Fix sumToHash to use hash space more efficiently

Minor fix for non-rolling hash

Switch to using rolling hash only

Update rolling hash

Save v3

Add rolling hash

Clean up and refactor compress function

Add warning flags to makefile and clean up code to remove warnings

Add compression context

Add LDM_DCtx

Minor refactoring

Merge branch 'ldm' of https://github.com/stellamplau/zstd into ldm

Minor refactoring

Add folder for old versions

Update mainfile

Add compression statistics

[ldm] Update to hash every position

Fix offset overflow bug

Add header with compress and decompress size

Update compressor and decompressor

Add simple compress and decompress functions

Switch to mmapping files

Initial long distance matcher commit

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

Merge pull request #745 from terrelln/libfuzzer

[fuzz] Add libFuzzer targets

minor code refactoring

fixed gz error reporting

gzip : only display inflateEnd error when there is no error before

Merge pull request #746 from terrelln/dev

[libzstd] Fix memcpy() on potential NULL source

gzip decoding does no longer exit() on invalid input

[fuzz] Move from fuzz/ to tests/fuzz/

[libzstd] Fix memcpy() on potential NULL source

* `ZSTD_decompressStream_generic()` `ip` may be `NULL` for one of the calls
  to `memcpy()`
* Assert the source is not `NULL` for calls to `memcpy()` where I believe
  the source should not be `NULL`.

decoding malformed lz4 frames does no longer exit()

fileio : decoding malformed lzma frame does no longer exit()

makes it possible to continue decoding file list

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[fuzz] Add libFuzzer targets

* The regression driver serves both as a regression test, and as a binary for afl-fuzz.
* Next, we want to check in a seed corpus for each target. Then we can run the regression
  test binary on them on Travis or Circle CI.

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK

fixed Visual compilation of fullbench-dll

made fullbench compatible with multi-threading

fullbench 61/62 measure speed of ZSTD_compress_generic with 2 threads