Pass ZSTD_CCtx_params as const ptr when possible

Reduce code duplication in zstreamtest

Return error code when initializing NULL cctxParams

Set some parameters to zero before initializing cdict

Use cctxParam version of createCDict internally

Remove test parameter

Disable tests and refactor

Add cctx param tests

Add internal createCDict function

Add cctxParam versions of internal functions

Pass cctx parameters to MTCtx

Add function to apply cctx params

Move nbThreads to cctx params

Move dictContentByRef to cctx params

Move dictMode to cctxParams

Move compression level to cctx params

Add function to set opaque parameters

Add initialization/allocation functions for opaque params

Add opaque interfaces for static initialization

Create opaque parameter structure

Merge pull request #776 from terrelln/dev

[libzstd] Fix CHECK_V_F() macro

[libzstd] Fix CHECK_V_F macros

fixed minor warning on unused variable in shell function

Visual blind fix 2

Merge branch 'dev' of github.com:facebook/zstd into dev

fixed fuzzer test for non OS-X platforms

Merge pull request #773 from terrelln/lk-v3

[linux] Update patches for v3

[linux] Update patches for v3

pool.c : blindfix for Visual warnings

added --memtest=# command to fuzzer

to jump directly to relevant test section

blind fix for Windows Multithreading module

adds a fake 0 return value for mutex/cond init

check pthread_*_init() success condition

Merge pull request #770 from terrelln/test-mode

[zstdcli] Fix -t in streaming mode

Merge pull request #769 from terrelln/real-block-split

[libzstd] Fix bug in Huffman encoding

[zstdcli] Fix -t in streaming mode

[libzstd] Fix bug in Huffman encoding

Summary:
Huffman encoding with a bad dictionary can encode worse than the
HUF_BLOCKBOUND(srcSize), since we don't filter out incompressible
input, and even if we did, the dictionaries Huffman table could be
ill suited to compressing actual data.

The fast optimization doesn't seem to improve compression speed,
even when I hard coded fast = 1, the speed didn't improve over hard coding
it to 0.

Benchmarks:
$ ./zstd.dev -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1890.0 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 372.6 MB/s ,1830.2 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1400.2 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 198.0 MB/s ,1280.1 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 107.8 MB/s ,1200.0 MB/s
$ ./zstd -b1e5
Benchmarking levels from 1 to 5
 1#Synthetic 50%     :  10000000 ->   3139163 (3.186), 524.8 MB/s ,1870.2 MB/s
 2#Synthetic 50%     :  10000000 ->   3115138 (3.210), 370.0 MB/s ,1810.3 MB/s
 3#Synthetic 50%     :  10000000 ->   3222672 (3.103), 223.3 MB/s ,1380.1 MB/s
 4#Synthetic 50%     :  10000000 ->   3276678 (3.052), 196.1 MB/s ,1270.0 MB/s
 5#Synthetic 50%     :  10000000 ->   3271570 (3.057), 106.8 MB/s ,1180.1 MB/s
$ ./zstd.dev -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1096.5 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 321.2 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 243.7 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 226.7 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 150.3 MB/s , 963.6 MB/s
$ ./zstd -b1e5 ../silesia.tar
Benchmarking levels from 1 to 5
 1#silesia.tar       : 211988480 ->  73651685 (2.878), 429.7 MB/s ,1087.1 MB/s
 2#silesia.tar       : 211988480 ->  70158785 (3.022), 318.8 MB/s ,1029.1 MB/s
 3#silesia.tar       : 211988480 ->  66993813 (3.164), 246.5 MB/s , 981.4 MB/s
 4#silesia.tar       : 211988480 ->  66306481 (3.197), 229.2 MB/s , 972.4 MB/s
 5#silesia.tar       : 211988480 ->  64757852 (3.274), 149.3 MB/s , 963.6 MB/s

Test Plan:
I added a test case to the fuzzer which crashed with ASAN before the patch
and succeeded after.

Merge pull request #766 from terrelln/real-block-split

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #765 from terrelln/real-block-split

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

[libzstd] Pull optimal parser state out of seqStore_t

Merge pull request #764 from terrelln/real-block-split

[libzstd] Refactor ZSTD_compressSequences()

[libzstd] Remove ZSTD_CCtx* argument of ZSTD_compressSequences()

[libzstd] Refactor ZSTD_compressSequences()

Merge pull request #761 from paulcruz74/file-rename

renamed pool.c to poolTests.c

Merge pull request #762 from facebook/errorCodes

pinned down error code enum values

fixed clang's -Wdocumentation

pinned down error code enum values

Note : all error codes are changed by this new version,
but it's expected to be the last change for existing codes.

Codes are now grouped by category, and receive a manually attributed value.
The objective is to guarantee that
error code values will not change in the future
when introducing new codes.
Intentionnal empty spaces and ranges are defined
in order to keep room for potential new codes.

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS regarding #760

[libzstd] Increase granularity of FSECTable repeat mode

Merge pull request #759 from terrelln/real-block-split

[libzstd] Pull CTables into sub-structure

policy change : ZSTDMT automatically caps nbThreads to ZSTDMT_NBTHREADS_MAX (#760)

Previously, ZSTDMT would refuse to create the compressor.
Also : increased ZSTDMT_NBTHREADS_MAX to 256,
updated doc,
and added relevant test

switched ZSTDMT_compress_advanced() last argument to overlapLog

overlapRLog (== 9 - overlapLog) was a bit "strange"
as all other public entry points use overlapLog

clarified comment on ZSTD_p_contentSizeFlag

[libzstd] Pull CTables into sub-structure

Merge pull request #756 from facebook/memOpt

Memory optimisations for ZSTDMT

Merge branch 'dev' of github.com:facebook/zstd into dev

slightly increased buffer pool, to cover normal "full load" scenarios

2 buffers per active worker
+ 1 buffer for input loading
+ 1 buffer for "next input" when submitting current one
+ 1 buffer stuck in queue

fix : ZSTDMT_compress_advanced() correctly generates checksum

when params.fParams.checksumFlag==1.
This use case used to be impossible when only ZSTD_compress() was available

release input buffers from inside worker thread

buffers are released sooner, which makes them available faster for next job.
=> decreases total nb of buffers necessary

buffer pool : all buffers have same size

to reduce memory fragmentation.
They can be used for in or out, interchangeably.

zstdmt : intermediate outBuffer allocated from within worker

reduces total amount of memory needed,
since jobs in queue do not have an outBuffer pre-reserved now

buffer pool can be invoked from multiple threads

Merge pull request #755 from jacquesg/solaris

Solaris fix

fix missing symbol 'nanosleep' for Solaris

zstdmt: removed margin for improved memory usage

improved ZSTDMT_compress() memory usage

does not need the input buffer for streaming operations

also : reduced a few tests time length

optimized memory usage for ZSTDMT_compress()

Previously, each job would reserve a CCtx right before being posted.
The CCtx would be "part of the job description",
and only released when the job is completed (aka flushed).
For ZSTDMT_compress(), which creates all jobs first and only join at the end,
that meant one CCtx per job.
The nb of jobs used to be == nb of threads,
but since latest modification,
which reduces the size of jobs in order to spread the load of difficult areas,
it also increases the nb of jobs for large sources / small compression level.
This resulted in many more CCtx being created.

In this new version, CCtx are reserved within the worker thread.
It guaranteea there cannot be more CCtx reserved than workers (<= nb threads).

To do that, it required to make the CCtx Pool multi-threading-safe :
it can now be called from multiple threads in parallel.

fix : custom allocator correctly propagated to child contexts

extended fuzzer MT memory tests

fix : propagate custom allocator to ZSTDMT though ZSTD_CCtx_setParameter()

also : compile fuzzer with MT enabled

added --memtest to fuzzer

added ZSTD_sizeof_CCtx() test

renamed pool.c to poolTests.c

bumped version nb to v1.3.1

fixed several conversion warnings

removed zbufftest from list of `all` tests

fixed minor Visual compilation limitation

fixed minor cast warning

target gpptest uses CXX environment variable

Merge branch 'dev' of github.com:facebook/zstd into dev

new field frameHeader.headerSize

ZSTD_getFrameHeader : control of windowSize limits is delegated to caller

Extracting frame header is a separate operation.
It's now possible to get frame header, whatever the window size set in it.

new field : ZSTD_frameHeader.frameType

Makes frame type (zstd,skippable) detection more straighforward.
ZSTD_getFrameHeader set frameContentSize=ZSTD_CONTENTSIZE_UNKNOWN to mean "field not present"

extended frameHeader.windowSize to unsigned long long

Merge pull request #751 from ivuk/fix-typo

Fix typos in README.md

Fix typos in README.md

fixed fullbench, part 2

fixed fullbench

fixed #718, reported by @GregSlazinski, solution suggested by @mcmilk

minor code refactoring

cli : use new advanced API by default

clarified status of zstdmt_compress.h API

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment