[linux] Update patches for v3

pool.c : blindfix for Visual warnings

added --memtest=# command to fuzzer

to jump directly to relevant test section

blind fix for Windows Multithreading module

adds a fake 0 return value for mutex/cond init

check pthread_*_init() success condition

Merge pull request #770 from terrelln/test-mode

[zstdcli] Fix -t in streaming mode

Merge pull request #769 from terrelln/real-block-split

[libzstd] Fix bug in Huffman encoding

[zstdcli] Fix -t in streaming mode

[libzstd] Fix bug in Huffman encoding

Summary:
Huffman encoding with a bad dictionary can encode worse than the
HUF_BLOCKBOUND(srcSize), since we don't filter out incompressible
input, and even if we did, the dictionaries Huffman table could be
ill suited to compressing actual data.

The fast optimization doesn't seem to improve compression speed,
even when I hard coded fast = 1, the speed didn't improve over hard coding
it to 0.

Benchmarks:
$ ./zstd.dev -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1890.0 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 372.6 MB/s ,1830.2 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1400.2 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 198.0 MB/s ,1280.1 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 107.8 MB/s ,1200.0 MB/s
$ ./zstd -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1870.2 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 370.0 MB/s ,1810.3 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1380.1 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 196.1 MB/s ,1270.0 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 106.8 MB/s ,1180.1 MB/s
$ ./zstd.dev -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1096.5 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 321.2 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 243.7 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 226.7 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 150.3 MB/s , 963.6 MB/s
$ ./zstd -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1087.1 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 318.8 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 246.5 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 229.2 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 149.3 MB/s , 963.6 MB/s

Test Plan:
I added a test case to the fuzzer which crashed with ASAN before the patch
and succeeded after.

Merge pull request #766 from terrelln/real-block-split

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #765 from terrelln/real-block-split

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #764 from terrelln/real-block-split

[libzstd] Refactor ZSTD_compressSequences()

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

[libzstd] Refactor ZSTD_compressSequences()

Merge pull request #761 from paulcruz74/file-rename

renamed pool.c to poolTests.c

Merge pull request #762 from facebook/errorCodes

pinned down error code enum values

fixed clang's -Wdocumentation

pinned down error code enum values

Note : all error codes are changed by this new version,
but it's expected to be the last change for existing codes.

Codes are now grouped by category, and receive a manually attributed value.
The objective is to guarantee that
error code values will not change in the future
when introducing new codes.
Intentionnal empty spaces and ranges are defined
in order to keep room for potential new codes.

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS regarding #760

[libzstd] Increase granularity of FSECTable repeat mode

Merge pull request #759 from terrelln/real-block-split

[libzstd] Pull CTables into sub-structure

policy change : ZSTDMT automatically caps nbThreads to ZSTDMT_NBTHREADS_MAX (#760)

Previously, ZSTDMT would refuse to create the compressor.
Also : increased ZSTDMT_NBTHREADS_MAX to 256,
updated doc,
and added relevant test

switched ZSTDMT_compress_advanced() last argument to overlapLog

overlapRLog (== 9 - overlapLog) was a bit "strange"
as all other public entry points use overlapLog

clarified comment on ZSTD_p_contentSizeFlag

[libzstd] Pull CTables into sub-structure

Merge pull request #756 from facebook/memOpt

Memory optimisations for ZSTDMT

Merge branch 'dev' of github.com:facebook/zstd into dev

slightly increased buffer pool, to cover normal "full load" scenarios

2 buffers per active worker
+ 1 buffer for input loading
+ 1 buffer for "next input" when submitting current one
+ 1 buffer stuck in queue

fix : ZSTDMT_compress_advanced() correctly generates checksum

when params.fParams.checksumFlag==1.
This use case used to be impossible when only ZSTD_compress() was available

release input buffers from inside worker thread

buffers are released sooner, which makes them available faster for next job.
=> decreases total nb of buffers necessary

buffer pool : all buffers have same size

to reduce memory fragmentation.
They can be used for in or out, interchangeably.

zstdmt : intermediate outBuffer allocated from within worker

reduces total amount of memory needed,
since jobs in queue do not have an outBuffer pre-reserved now

buffer pool can be invoked from multiple threads

Merge pull request #755 from jacquesg/solaris

Solaris fix

fix missing symbol 'nanosleep' for Solaris

zstdmt: removed margin for improved memory usage

improved ZSTDMT_compress() memory usage

does not need the input buffer for streaming operations

also : reduced a few tests time length

optimized memory usage for ZSTDMT_compress()

Previously, each job would reserve a CCtx right before being posted.
The CCtx would be "part of the job description",
and only released when the job is completed (aka flushed).
For ZSTDMT_compress(), which creates all jobs first and only join at the end,
that meant one CCtx per job.
The nb of jobs used to be == nb of threads,
but since latest modification,
which reduces the size of jobs in order to spread the load of difficult areas,
it also increases the nb of jobs for large sources / small compression level.
This resulted in many more CCtx being created.

In this new version, CCtx are reserved within the worker thread.
It guaranteea there cannot be more CCtx reserved than workers (<= nb threads).

To do that, it required to make the CCtx Pool multi-threading-safe :
it can now be called from multiple threads in parallel.

fix : custom allocator correctly propagated to child contexts

extended fuzzer MT memory tests

fix : propagate custom allocator to ZSTDMT though ZSTD_CCtx_setParameter()

also : compile fuzzer with MT enabled

added --memtest to fuzzer

added ZSTD_sizeof_CCtx() test

renamed pool.c to poolTests.c

bumped version nb to v1.3.1

fixed several conversion warnings

removed zbufftest from list of `all` tests

fixed minor Visual compilation limitation

fixed minor cast warning

target gpptest uses CXX environment variable

Merge branch 'dev' of github.com:facebook/zstd into dev

new field frameHeader.headerSize

ZSTD_getFrameHeader : control of windowSize limits is delegated to caller

Extracting frame header is a separate operation.
It's now possible to get frame header, whatever the window size set in it.

new field : ZSTD_frameHeader.frameType

Makes frame type (zstd,skippable) detection more straighforward.
ZSTD_getFrameHeader set frameContentSize=ZSTD_CONTENTSIZE_UNKNOWN to mean "field not present"

extended frameHeader.windowSize to unsigned long long

Merge pull request #751 from ivuk/fix-typo

Fix typos in README.md

Fix typos in README.md

fixed fullbench, part 2

fixed fullbench

fixed #718, reported by @GregSlazinski, solution suggested by @mcmilk

minor code refactoring

cli : use new advanced API by default

clarified status of zstdmt_compress.h API

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

Merge pull request #745 from terrelln/libfuzzer

[fuzz] Add libFuzzer targets

minor code refactoring

fixed gz error reporting

gzip : only display inflateEnd error when there is no error before

Merge pull request #746 from terrelln/dev

[libzstd] Fix memcpy() on potential NULL source

gzip decoding does no longer exit() on invalid input

[fuzz] Move from fuzz/ to tests/fuzz/

[libzstd] Fix memcpy() on potential NULL source

* `ZSTD_decompressStream_generic()` `ip` may be `NULL` for one of the calls
  to `memcpy()`
* Assert the source is not `NULL` for calls to `memcpy()` where I believe
  the source should not be `NULL`.

decoding malformed lz4 frames does no longer exit()

fileio : decoding malformed lzma frame does no longer exit()

makes it possible to continue decoding file list

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[fuzz] Add libFuzzer targets

* The regression driver serves both as a regression test, and as a binary for afl-fuzz.
* Next, we want to check in a seed corpus for each target. Then we can run the regression
  test binary on them on Travis or Circle CI.

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK