Merge pull request #758 from stellamplau/ldm

Add working prototype of a long distance matcher

Return error code in verify() and minor code cleanup

Fix typo

Add checks in initialization code

Update README

Merge pull request #753 from paulcruz74/adapt-approach-3

adaptive compression v1

remove unused variable, add documentation for context fields

Allow HASH_ONLY_EVERY_LOG to be configured in ldm.h

fix leaky abstraction regarding measuring completion

added definitions for conversion constants, moved forced compression check to top of adaptCompressionLevel, used ZSTD_BLOCKSIZE_MAX

set the window log value before performing compression

Add README and clean up code

moved reset of completion to right after wait

change to >= convergence counter

decrease completion requirements for change, move create thread wait, merge cases where compression thread should wait

Allow parameters to be modified from a separate file

building on readme, added another help tip in the menu

adding more to readme

updated progress bar with better representation of time, added const

changing time units to seconds

Rename and remove unneeded files

updated const values, added more comments

Merge pull request #776 from terrelln/dev

[libzstd] Fix CHECK_V_F() macro

removed old debug statements no longer being used

progress bar -- don't print num jobs, time elapsed shown in seconds

moved debug statements to a compiler flag

[libzstd] Fix CHECK_V_F macros

started using decrease cooldown so that compression level would not decrease several times in a row

created independent function for controlling how completion relates to compression level change

added mechanism for getting rid of spikes

added help statement for -p, switched it to hide progress bar now that progress bar is default

add quiet option, make progress bar default

Experiment with not using a checksum

compression thread should take measurements independently based on whether or not the create/write thread will actually bottleneck performance

adding more debug

updating debug statements again

changing position of endline for debug

Minor code cleanup

Deduplicate code

Experiment with eviction policies and minor code cleanup

updated comments and debug statements

Minor clean up

Fix overflow bug when calculating hash

Experiment with 64-bit hash insertion policy

Experiment with 64-bit hash and checksum

reduced competition for completion mutex by separating mutex use based on which values is updated

change how completion is measured in compression thread

removed useless measurements

switched over to model where reading only waits on compression thread

taking the maximum of the completion level reads in order to determine which one was waiting more

updating debug statements

measure multiple completion levels during each wait

added bounding to compression level change

added priority decision making for adapt compression level

semi working version that stabilizes

fixed minor warning on unused variable in shell function

fixed bug where writeSize could be zero

reworked adaptCompressionLevel to only account for completion information

Visual blind fix 2

Merge branch 'dev' of github.com:facebook/zstd into dev

fixed fuzzer test for non OS-X platforms

Merge pull request #773 from terrelln/lk-v3

[linux] Update patches for v3

[linux] Update patches for v3

changed how completion is actually sampled

pool.c : blindfix for Visual warnings

Fix off-by-one in size calculations

Minor refactoring

make adaptCompressionLevel oscillate less

added --memtest=# command to fuzzer

to jump directly to relevant test section

call ZSTD_compressBegin() once

fixing error when file size is multiple of job size (in which case, the srcSize of the last job is 0)

Experiment with integrating ZSTD_count with findBestMatch

blind fix for Windows Multithreading module

adds a fake 0 return value for mutex/cond init

added some debug statements, adjusted end condition

removed previous version of completion for compression

set up new calculations compression completion progress

split compression into smaller blocks

moved compression adapt to avoid warning

change compression level only right before actually performing compression. When waiting, only update waiting statistics.

added mechanism for measuring how much of a job has been created

split up read process into smaller chunks

added additional print for help menu

check pthread_*_init() success condition

Avoid recounting match lengths with ZSTD_count

Switch to using ZSTD_count instead of function pointer

changed createCCtx() to split into initialization and creation

added mutex for stats struct

Merge pull request #770 from terrelln/test-mode

[zstdcli] Fix -t in streaming mode

added progress check for filewriting, put important shared data behind mutex when being read from/written to

Merge pull request #769 from terrelln/real-block-split

[libzstd] Fix bug in Huffman encoding

[zstdcli] Fix -t in streaming mode

Make the meaning of LDM_MEMORY_USAGE consistent across tables

setting up basic readme

rename completion variable, split up fwrite operations in order to track progress

[libzstd] Fix bug in Huffman encoding

Summary:
Huffman encoding with a bad dictionary can encode worse than the
HUF_BLOCKBOUND(srcSize), since we don't filter out incompressible
input, and even if we did, the dictionaries Huffman table could be
ill suited to compressing actual data.

The fast optimization doesn't seem to improve compression speed,
even when I hard coded fast = 1, the speed didn't improve over hard coding
it to 0.

Benchmarks:
$ ./zstd.dev -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1890.0 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 372.6 MB/s ,1830.2 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1400.2 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 198.0 MB/s ,1280.1 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 107.8 MB/s ,1200.0 MB/s
$ ./zstd -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1870.2 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 370.0 MB/s ,1810.3 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1380.1 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 196.1 MB/s ,1270.0 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 106.8 MB/s ,1180.1 MB/s
$ ./zstd.dev -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1096.5 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 321.2 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 243.7 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 226.7 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 150.3 MB/s , 963.6 MB/s
$ ./zstd -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1087.1 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 318.8 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 246.5 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 229.2 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 149.3 MB/s , 963.6 MB/s

Test Plan:
I added a test case to the fuzzer which crashed with ASAN before the patch
and succeeded after.

changed test cases to use -s setting on the diffs

Merge pull request #766 from terrelln/real-block-split

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #765 from terrelln/real-block-split

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

Experiment with using a lag when hashing

change parameters for compression level adapt