[zstdcli] Fix -t in streaming mode

Merge pull request #761 from paulcruz74/file-rename

renamed pool.c to poolTests.c

Merge pull request #762 from facebook/errorCodes

pinned down error code enum values

fixed clang's -Wdocumentation

pinned down error code enum values

Note : all error codes are changed by this new version,
but it's expected to be the last change for existing codes.

Codes are now grouped by category, and receive a manually attributed value.
The objective is to guarantee that
error code values will not change in the future
when introducing new codes.
Intentionnal empty spaces and ranges are defined
in order to keep room for potential new codes.

Merge branch 'dev' of github.com:facebook/zstd into dev

updated NEWS regarding #760

Merge pull request #759 from terrelln/real-block-split

[libzstd] Pull CTables into sub-structure

policy change : ZSTDMT automatically caps nbThreads to ZSTDMT_NBTHREADS_MAX (#760)

Previously, ZSTDMT would refuse to create the compressor.
Also : increased ZSTDMT_NBTHREADS_MAX to 256,
updated doc,
and added relevant test

switched ZSTDMT_compress_advanced() last argument to overlapLog

overlapRLog (== 9 - overlapLog) was a bit "strange"
as all other public entry points use overlapLog

clarified comment on ZSTD_p_contentSizeFlag

[libzstd] Pull CTables into sub-structure

Merge pull request #756 from facebook/memOpt

Memory optimisations for ZSTDMT

Merge branch 'dev' of github.com:facebook/zstd into dev

slightly increased buffer pool, to cover normal "full load" scenarios

2 buffers per active worker
+ 1 buffer for input loading
+ 1 buffer for "next input" when submitting current one
+ 1 buffer stuck in queue

fix : ZSTDMT_compress_advanced() correctly generates checksum

when params.fParams.checksumFlag==1.
This use case used to be impossible when only ZSTD_compress() was available

release input buffers from inside worker thread

buffers are released sooner, which makes them available faster for next job.
=> decreases total nb of buffers necessary

buffer pool : all buffers have same size

to reduce memory fragmentation.
They can be used for in or out, interchangeably.

zstdmt : intermediate outBuffer allocated from within worker

reduces total amount of memory needed,
since jobs in queue do not have an outBuffer pre-reserved now

buffer pool can be invoked from multiple threads

Merge pull request #755 from jacquesg/solaris

Solaris fix

fix missing symbol 'nanosleep' for Solaris

zstdmt: removed margin for improved memory usage

improved ZSTDMT_compress() memory usage

does not need the input buffer for streaming operations

also : reduced a few tests time length

optimized memory usage for ZSTDMT_compress()

Previously, each job would reserve a CCtx right before being posted.
The CCtx would be "part of the job description",
and only released when the job is completed (aka flushed).
For ZSTDMT_compress(), which creates all jobs first and only join at the end,
that meant one CCtx per job.
The nb of jobs used to be == nb of threads,
but since latest modification,
which reduces the size of jobs in order to spread the load of difficult areas,
it also increases the nb of jobs for large sources / small compression level.
This resulted in many more CCtx being created.

In this new version, CCtx are reserved within the worker thread.
It guaranteea there cannot be more CCtx reserved than workers (<= nb threads).

To do that, it required to make the CCtx Pool multi-threading-safe :
it can now be called from multiple threads in parallel.

fix : custom allocator correctly propagated to child contexts

extended fuzzer MT memory tests

fix : propagate custom allocator to ZSTDMT though ZSTD_CCtx_setParameter()

also : compile fuzzer with MT enabled

added --memtest to fuzzer

added ZSTD_sizeof_CCtx() test

renamed pool.c to poolTests.c

bumped version nb to v1.3.1

fixed several conversion warnings

removed zbufftest from list of `all` tests

fixed minor Visual compilation limitation

fixed minor cast warning

target gpptest uses CXX environment variable

Merge branch 'dev' of github.com:facebook/zstd into dev

new field frameHeader.headerSize

ZSTD_getFrameHeader : control of windowSize limits is delegated to caller

Extracting frame header is a separate operation.
It's now possible to get frame header, whatever the window size set in it.

new field : ZSTD_frameHeader.frameType

Makes frame type (zstd,skippable) detection more straighforward.
ZSTD_getFrameHeader set frameContentSize=ZSTD_CONTENTSIZE_UNKNOWN to mean "field not present"

extended frameHeader.windowSize to unsigned long long

Merge pull request #751 from ivuk/fix-typo

Fix typos in README.md

Fix typos in README.md

fixed fullbench, part 2

fixed fullbench

fixed #718, reported by @GregSlazinski, solution suggested by @mcmilk

minor code refactoring

cli : use new advanced API by default

clarified status of zstdmt_compress.h API

fixed wrong assert() condition

A single job created by ZSTDMT_compress() can be < 256KB
if data to compress is < 256 KB
(in which case it is delegated to single thread mode)

more precise estimation of amount to flush at end of stream (single thread mode)

also : can use DEBUGLEVEL variable in /tests

fixed : 0-copy in NULL is UB

Merge pull request #743 from facebook/fullbench

compress_generic() automatic optimization opportunities

Merge pull request #747 from facebook/noExit

No exit() on decoding errors

refactor ZSTDMT_compress()

fixed comments

fixed wrong function name in comment

Merge pull request #745 from terrelln/libfuzzer

[fuzz] Add libFuzzer targets

minor code refactoring

fixed gz error reporting

gzip : only display inflateEnd error when there is no error before

Merge pull request #746 from terrelln/dev

[libzstd] Fix memcpy() on potential NULL source

gzip decoding does no longer exit() on invalid input

[fuzz] Move from fuzz/ to tests/fuzz/

[libzstd] Fix memcpy() on potential NULL source

* `ZSTD_decompressStream_generic()` `ip` may be `NULL` for one of the calls
  to `memcpy()`
* Assert the source is not `NULL` for calls to `memcpy()` where I believe
  the source should not be `NULL`.

decoding malformed lz4 frames does no longer exit()

fileio : decoding malformed lzma frame does no longer exit()

makes it possible to continue decoding file list

fixed legacy version init bug

blindfix : fullbench's one-time leak, detected by valgrind

added --show-leak-kind=all to valgrind tests

Merge branch 'dev' into fullbench

fix : ZSTDMT_compressStream_generic() can accept NULL input

also : converge implementations towards new version of ZSTDMT_compressStream_generic()

Merge pull request #744 from terrelln/dev

[pzstd] Remove appveyor tests

[fuzz] Add libFuzzer targets

* The regression driver serves both as a regression test, and as a binary for afl-fuzz.
* Next, we want to check in a seed corpus for each target. Then we can run the regression
  test binary on them on Travis or Circle CI.

[pzstd] Remove appveyor tests

The appveyor tests sometimes hang, and pzstd is now deprecated in favor of
zstdmt, so delete the tests.

[man] Specify that strategies start at 1

fixed : dictionary compression with new advanced API in Multi-threading mode

Optimized ZSTDMT single-pass mode speed on large sources

by ensuring job sizes remain "not too large"

implemented shortcut for zstd_compress_generic() in MT mode

added ZSTDMT_compress_advanced() API

Merge pull request #742 from stellamplau/stack-space

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

Fix typo

Add comment to HUF_DECOMPRESS_WORKSPACE_SIZE

Clarify typedef of rankVal_t and rankValCol_t

Rename ALIGN and ALIGN_MASK to HUF_ALIGN and HUF_ALIGN_MASK

fixed Visual compilation of fullbench-dll

made fullbench compatible with multi-threading

fullbench 61/62 measure speed of ZSTD_compress_generic with 2 threads

zstreamtest : big tests are only enabled in 64-bits mode

to avoid requesting too much memory in 32-bits mode during MT tests

Delegate HUF_decompress4X_hufOnly to workspace version

Fix bitshift error

Merge pull request #741 from facebook/promotion

ZSTD_getFrameContentSize() promoted to "stable" status

compression optimization opportunity

switch to single-pass mode directly into output buffer
when outputSize >= ZSTD_compressBound(inputSize).
Speed gains observed with fullbench (~+15% on level 1)

Fix pointer casting warning

updated fullbench to also measure ZSTD_compress_generic()

will make it possible to visualize
optimization opportunity for ZSTD_e_end

Fix alignment warnings with pointer casting

Reduce stack usage of HUF_readDTableX4 and HUF_readDTableX2

minor : fix typo

minor : specify compression level in tags

Merge pull request #738 from terrelln/lk-div

[linux-kernel] Update patches for v2

ZSTD_getFrameContentSize() is promoted to "stable" status