ensure zlibwrapper uses ZSTD_malloc() and ZSTD_free()

which is compatible with { NULL, NULL, NULL }

minor indent

added POOL_sizeof() for single-thread

added support for multithreading parameters

created ZSTDMT_sizeof_CCtx() and POOL_sizeof()

required by ZSTD_sizeofCCtx() while adding a ZSTDMT_CCtx*

protected impossible switch(){default:} with assert(0)

can be converted into assume(0) in some future

Merge branch 'advancedAPI2' of github.com:facebook/zstd into advancedAPI2

fixed visual warning

fixed visual warnings

finally converted ZSTD_compressStream_generic() to use {in,ou}Buffer

replacing the older read/write variables from ZBUFF_* era.
Mostly to help code readability.

Fixed relevant callers.

ZSTD_createCCtx_advanced() now uses ZSTD_calloc()

initially uses calloc() instead of memset().

Performance improvement is unlikely measurable,
since ZSTD_CCtx is now very small,
with all tables transferred into workSpace.

expose ZSTD_compress_generic_simpleArgs()

which is a binding towards ZSTD_compress_generic()
using only integral types for arguments.

removed defaultCustomMem

now ZSTD_customCMem is promoted as new default.

Advantages : ZSTD_customCMem = { NULL, NULL, NULL},
so it's natural default after a memset.

ZSTD_customCMem is public constant
(defaultCustomMem was private only).

Also : makes it possible to introduce ZSTD_calloc(),
which can now default to stdlib's calloc()
when it detects system default.

Fixed zlibwrapper which depended on defaultCustomMem.

removed mtctx->cstream

use the first cctx in pool when ZSTDMT is used in single-thread mode
now that cctx and cstream are the same object.

Merge branch 'dev' into advancedAPI2

Fixed conflic in zstd_decompress.c

added ZSTDMT_createCCtx_advanced()

make it possible to use custom allocators

Merge branch 'advancedAPI2' of github.com:facebook/zstd into advancedAPI2

fixed minor cast warning

mtctx->jobs allocate its own memory space

to make ZSTDMT_CCtx_s size predictable
so that it can be included in CCtx

static dctx is incompatible with legacy support

documented, and runtime tested

Merge pull request #712 from terrelln/dev

[linux-kernel] Fix formatting and Makefile

[linux-kernel] Fix duplicate symbols when built-in to kernel

fixed a few code comments : ZSTD_getFrameParams => ZSTD_getFrameHeader

Added ZSTD_initStaticCDict()

Merge pull request #711 from ldv-alt/dev

Fix typo in libzstd.a-mt make rules

Fix typo in libzstd.a-mt make rules

The macro name is ZSTD_MULTITHREAD, not ZSTD_MULTHREAD.

Fixes: ca6fae78080d ("Add MT enabled targets for libzstd")

added ZSTD_initStaticDDict()

updated ZSTD_estimate?DictSize() to pass parameter byReference

resulting ?Dict object is smaller when created byReference.
Seems better than a documentation note.

[linux-kernel] Fix clang-format edge case with goto labels

added ZSTD_initStaticDCtx()

merged DStream's inBuff and outBuff into a single buffer

Saves one malloc().
Also : makes it easier to implement static allocation

Merge pull request #710 from terrelln/dev

[linux-kernel] Minor formatting changes

[linux-kernel] Fix some up clang-format edge cases

[zstd] Fix up formatting edge cases for clang-format

fixed performance regression with ZSTD_decompress() on small files

memset() was a quick fix to initialization problems,
but initialize too much space (tables, buffers)
which show up in decompression speed of ZSTD_decompress()
since it needs to recreate DCtx at each invocation.

Fixed by only initialization relevant pointers and size fields.

Merge pull request #709 from codicodi/fix-cmake

CMake improvements

CMake improvements

Merged ZSTD_DCtx and ZSTD_DStream objects

They are now the same object.
It's recommended to keep both types in source code
as previous versions of library (<v1.3.0)
still need this differentiation.

move MEM_readMINMATCH() into zstd_opt.h

which is its only user.
Use case too narrow to belong to mem.h.
renamed to ZSTD_readMINMATCH()

added ZSTD_initStaticCCtx()

makes it possible to statically or externally allocate CCtx.
static CCtx will only use provided memory area,
it will never resize nor malloc.

Buffered are now allocated inside workSpace

Simplifier compression call graph

Everything converge towards ZSTD_compressBegin_internal
which delegated to ZSTD_copyCCtx_internal if cdict!=NULL.

This simplifies routing which was previously depending on cdict.

simplified reset by removing full-reset policy

this was meant to be applied prior to dictionary loading.
But effectively, it seems redundant with later loading stage,
so it can be skipped safely.

Implemented separation between requested and applied parameters

first version to pass cli tests with -DZSTD_NEWAPI

Merge pull request #708 from terrelln/lk

[linux-kernel] Update patches in response to comments

Implemented ZSTD_CCtx_refCDict()

Merge branch 'dev' into advancedAPI2

Merge pull request #705 from terrelln/dev

[libzstd] Allow users to define custom visibility

ZSTD_compress_generic() can handle dictionary compression

[libzstd] Allow users to define custom visibility

fixing symbol.c test

I believe it would be better to rely on fuzzer tests compiled with dll

ZSTD_CCtx_setParameter() only works during initialization stage

and generate a stage_wrong error otherwise.

fixed declaration-after-statement warning

changed ZSTD_BLOCKSIZE_ABSOLUTEMAX into ZSTD_BLOCKSIZE_MAX

Also :
change ZSTD_getBlockSizeMax() into ZSTD_getBlockSize()
created ZSTD_BLOCKSIZELOG_MAX

ZSTD_compress_generic() supports multiple successive frames

also : clarified streaming API implementation

Added ZSTD_compress_generic()

Used in fileio.c (zstd cli).
Need to set macro ZSTD_NEWAPI to trigger it.

[linux-kernel] Fix a weird clang-format corner case

[linux-kernel] Update tests Makefile

[linux-kernel] Update zstd.diff

[linux-kernel] Move ZSTD_STATIC_ASSERT to zstd_internal.h

[linux-kernel] clang-format lib/zstd/

[linux-kernel] Rename MEM_* functions to ZSTD_*

Add clang-format config

[linux-kernel] Dual license with GPLv2

removed useless variable from CCtx

CStream's pledgedSrcSize is no longer necessary
srcSize control is realized within bufferless interface.

Merge branch 'dev' into advancedAPI2

minor coding style update

reduced some long lines

minor comment clarifications

[linux-kernel] Update zstd.diff

Remove cross-platform macros and dead code

[linux-kernel] Fix whitespace edge case with script

[linux-kernel] Update kernelize.sh script for edge cases

[linux-kernel] Don't undef current (use curr)

Merge branch 'dev' into advancedAPI2

Merge pull request #702 from facebook/newPrototype

added prototype ZSTD_decompressBegin_usingDDict() (#700)

pedantic : added one error check

on a function which (today) never fails.
But who knows, maybe tomorrow ...

Merge pull request #701 from terrelln/lk-xxh

[linux-kernel] Separate xxhash into its own module

[linux-kernel] Remove unused variables in test

added prototype ZSTD_versionString()

[linux-kernel] Update header comments

added prototype ZSTD_decompressBegin_usingDDict (#700)

Add zstd.diff

[linux-kernel] Separate xxhash into its own module

removed gcc compilation flag -Wbad-function-cast

It makes it more difficult to directly cast the result of a function,
requiring to store the result in an intermediate variable.
It does not necessarily help readability,
and this restriction can be difficult to overcome in some constructions,
like some macros.

also : fixed minor Visual conversion warnings in datagencli.c

fixed vla warning on linux

fixed redundant declarations in legacy v0.5 and v0.7 decoders

triggered by new flag -Wredundant-decls

added several compilation flags

pushed enum values for strategy by one (ZSTD_fast==1)

this makes it possible to use `0` to mean:
"do not change strategy"

changed macro LOADCPARAMS by static function ZSTD_cLevelToCParams()

for improved compiler checks.
Also : ensure most parameters can receive value "0"
to mean "do not change".

added ZSTD_CCtx_setParameter()

better error code when compressing using NULL CDict

which is not allowed (but detected, and generates an error).

made ZSTD_compress_generic() definition accessible

note that the implementation is not done yet.

updated Advanced API proposal

only declarations in zstd.h

Merge pull request #696 from joscollin/wip-lib-legacy-fallthrough-warn

lib/legacy: warning: this statement may fall through

Merge pull request #695 from joscollin/wip-lib-compress-fallthrough-warn

lib/compress: warning: this statement may fall through

Merge pull request #690 from joscollin/wip-lib-common-fallthrough-warning

lib/common: warning: this statement may fall through

lib/legacy: warning: this statement may fall through

The following warning appears during build at sevaral places.

../lib/legacy/zstd_v04.c:819:40: warning: this statement may fall through [-Wimplicit-fallthrough=]
             case 7: bitD->bitContainer += (size_t)(((const BYTE*)(bitD->start))[6]) << (sizeof(size_t)*8 - 16);

../lib/legacy/zstd_v05.c:821:40: warning: this statement may fall through [-Wimplicit-fallthrough=]
             case 7: bitD->bitContainer += (size_t)(((const BYTE*)(bitD->start))[6]) << (sizeof(size_t)*8 - 16);

../lib/legacy/zstd_v06.c:913:40: warning: this statement may fall through [-Wimplicit-fallthrough=]
             case 7: bitD->bitContainer += (size_t)(((const BYTE*)(srcBuffer))[6]) << (sizeof(bitD->bitContainer)*8 - 16);

../lib/legacy/zstd_v07.c:583:40: warning: this statement may fall through [-Wimplicit-fallthrough=]
             case 7: bitD->bitContainer += (size_t)(((const BYTE*)(srcBuffer))[6]) <<
             (sizeof(bitD->bitContainer)*8 - 16);

Signed-off-by: Jos Collin <jcollin@redhat.com>

lib/compress: warning: this statement may fall through

The following warning appears during build.

../lib/compress/huf_compress.c: In function ‘HUF_compress1X_usingCTable’:
../lib/compress/huf_compress.c:444:8: warning: this statement may fall through [-Wimplicit-fallthrough=]
     if (sizeof((stream)->bitContainer)*8 < HUF_TABLELOG_MAX*4+7) HUF_FLUSHBITS(stream)
        ^
../lib/compress/huf_compress.c:465:18: note: in expansion of macro ‘HUF_FLUSHBITS_2’
                  HUF_FLUSHBITS_2(&bitC);
                  ^~~~~~~~~~~~~~~
../lib/compress/huf_compress.c:466:9: note: here
         case 2 : HUF_encodeSymbol(&bitC, ip[n+ 1], CTable);

../lib/compress/zstd_compress.c: In function ‘ZSTD_compressStream_generic’:
../lib/compress/zstd_compress.c:3366:34: warning: this statement may fall through [-Wimplicit-fallthrough=]
                 zcs->streamStage = zcss_flush;   /* pass-through to flush stage */
                 ~~~~~~~~~~~~~~~~~^~~~~~~~~~~~
../lib/compress/zstd_compress.c:3369:9: note: here
         case zcss_flush:

Signed-off-by: Jos Collin <jcollin@redhat.com>

lib/common: warning: this statement may fall through

The following warning appears during the build. Fixed the review comments too.

zstd/lib/common/bitstream.h: In function ‘BIT_initDStream’:
zstd/lib/common/bitstream.h:277:33: warning: this statement may fall through [-Wimplicit-fallthrough=]
      case 7: bitD->bitContainer += (size_t)(((const BYTE*)(srcBuffer))[6]) <<
      (sizeof(bitD->bitContainer)*8 - 16);

Signed-off-by: Jos Collin <jcollin@redhat.com>

Merge pull request #692 from terrelln/btopt

Rename ZSTD_btopt2 to ZSTD_btultra