[libzstd] Fix bug in Huffman decompresser

The zstd format specification doesn't enforce that Huffman compressed
literals (including the table) have to be smaller than the uncompressed
literals. The compressor will never Huffman compress literals if the
compressed size is larger than the uncompressed size. The decompresser
doesn't accept Huffman compressed literals with 4 streams whose compressed
size is at least as large as the uncompressed size.

* Make the decompresser accept Huffman compressed literals whose size
  increases.
* Add a test case that exposes the bug. The compressed file has to be
  statically generated, since the compressor won't normally produce files
  that expose the bug.

Merge pull request #753 from paulcruz74/adapt-approach-3

adaptive compression v1

remove unused variable, add documentation for context fields

fix leaky abstraction regarding measuring completion

added definitions for conversion constants, moved forced compression check to top of adaptCompressionLevel, used ZSTD_BLOCKSIZE_MAX

set the window log value before performing compression

moved reset of completion to right after wait

change to >= convergence counter

decrease completion requirements for change, move create thread wait, merge cases where compression thread should wait

building on readme, added another help tip in the menu

adding more to readme

updated progress bar with better representation of time, added const

changing time units to seconds

updated const values, added more comments

Merge pull request #776 from terrelln/dev

[libzstd] Fix CHECK_V_F() macro

removed old debug statements no longer being used

progress bar -- don't print num jobs, time elapsed shown in seconds

moved debug statements to a compiler flag

[libzstd] Fix CHECK_V_F macros

started using decrease cooldown so that compression level would not decrease several times in a row

created independent function for controlling how completion relates to compression level change

added mechanism for getting rid of spikes

added help statement for -p, switched it to hide progress bar now that progress bar is default

add quiet option, make progress bar default

compression thread should take measurements independently based on whether or not the create/write thread will actually bottleneck performance

adding more debug

updating debug statements again

changing position of endline for debug

updated comments and debug statements

reduced competition for completion mutex by separating mutex use based on which values is updated

change how completion is measured in compression thread

removed useless measurements

switched over to model where reading only waits on compression thread

taking the maximum of the completion level reads in order to determine which one was waiting more

updating debug statements

measure multiple completion levels during each wait

added bounding to compression level change

added priority decision making for adapt compression level

semi working version that stabilizes

fixed minor warning on unused variable in shell function

fixed bug where writeSize could be zero

reworked adaptCompressionLevel to only account for completion information

Visual blind fix 2

Merge branch 'dev' of github.com:facebook/zstd into dev

fixed fuzzer test for non OS-X platforms

Merge pull request #773 from terrelln/lk-v3

[linux] Update patches for v3

[linux] Update patches for v3

changed how completion is actually sampled

pool.c : blindfix for Visual warnings

make adaptCompressionLevel oscillate less

added --memtest=# command to fuzzer

to jump directly to relevant test section

call ZSTD_compressBegin() once

fixing error when file size is multiple of job size (in which case, the srcSize of the last job is 0)

blind fix for Windows Multithreading module

adds a fake 0 return value for mutex/cond init

added some debug statements, adjusted end condition

removed previous version of completion for compression

set up new calculations compression completion progress

split compression into smaller blocks

moved compression adapt to avoid warning

change compression level only right before actually performing compression. When waiting, only update waiting statistics.

added mechanism for measuring how much of a job has been created

split up read process into smaller chunks

added additional print for help menu

check pthread_*_init() success condition

changed createCCtx() to split into initialization and creation

added mutex for stats struct

Merge pull request #770 from terrelln/test-mode

[zstdcli] Fix -t in streaming mode

added progress check for filewriting, put important shared data behind mutex when being read from/written to

Merge pull request #769 from terrelln/real-block-split

[libzstd] Fix bug in Huffman encoding

[zstdcli] Fix -t in streaming mode

setting up basic readme

rename completion variable, split up fwrite operations in order to track progress

[libzstd] Fix bug in Huffman encoding

Summary:
Huffman encoding with a bad dictionary can encode worse than the
HUF_BLOCKBOUND(srcSize), since we don't filter out incompressible
input, and even if we did, the dictionaries Huffman table could be
ill suited to compressing actual data.

The fast optimization doesn't seem to improve compression speed,
even when I hard coded fast = 1, the speed didn't improve over hard coding
it to 0.

Benchmarks:
$ ./zstd.dev -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1890.0 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 372.6 MB/s ,1830.2 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1400.2 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 198.0 MB/s ,1280.1 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 107.8 MB/s ,1200.0 MB/s
$ ./zstd -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1870.2 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 370.0 MB/s ,1810.3 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1380.1 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 196.1 MB/s ,1270.0 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 106.8 MB/s ,1180.1 MB/s
$ ./zstd.dev -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1096.5 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 321.2 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 243.7 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 226.7 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 150.3 MB/s , 963.6 MB/s
$ ./zstd -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1087.1 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 318.8 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 246.5 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 229.2 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 149.3 MB/s , 963.6 MB/s

Test Plan:
I added a test case to the fuzzer which crashed with ASAN before the patch
and succeeded after.

changed test cases to use -s setting on the diffs

Merge pull request #766 from terrelln/real-block-split

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #765 from terrelln/real-block-split

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

change parameters for compression level adapt

added signal to other threads whenever error occurs

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #764 from terrelln/real-block-split

[libzstd] Refactor ZSTD_compressSequences()

swap buffers instead of copying memory over

open file outside of adaptCCtx, pass to the output thread

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

[libzstd] Refactor ZSTD_compressSequences()

removed freeCCtx() calls from createCCtx() so that it is not called twice during errors

added error detection for pthread initialization, added compression completion measurement, fixed const values

updated tests to use different seeds when executing different tests

Merge pull request #761 from paulcruz74/file-rename

renamed pool.c to poolTests.c

Merge pull request #762 from facebook/errorCodes

pinned down error code enum values

fixed clang's -Wdocumentation

pinned down error code enum values

Note : all error codes are changed by this new version,
but it's expected to be the last change for existing codes.

Codes are now grouped by category, and receive a manually attributed value.
The objective is to guarantee that
error code values will not change in the future
when introducing new codes.
Intentionnal empty spaces and ranges are defined
in order to keep room for potential new codes.

removed goto statements for the most part

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS regarding #760

added tests for forced compression level

added additional tests for performance, allowed force compression level for testing purposes

added some tests for correctness, time, and compression ratio

[libzstd] Increase granularity of FSECTable repeat mode

Merge pull request #759 from terrelln/real-block-split

[libzstd] Pull CTables into sub-structure

policy change : ZSTDMT automatically caps nbThreads to ZSTDMT_NBTHREADS_MAX (#760)

Previously, ZSTDMT would refuse to create the compressor.
Also : increased ZSTDMT_NBTHREADS_MAX to 256,
updated doc,
and added relevant test