proper evaluation of Huffman CTable size

Merge branch 'dev' into compressionFlow

Merge pull request #661 from iburinoc/zstdmt-default

Make zstd compile with mt by default

Merge branch 'dev' into compressionFlow

Install zstdmt even without threading support

Make zstd compile with mt by default

Merge pull request #659 from bapt/bsd-multithread

Enable multithreading on BSD

Enable multithreading on BSD

Merge branch 'dev' into compressionFlow

fixed : memory leak in fuzzer test

Merge pull request #656 from iburinoc/core-count

Make -T0 mean "number of physical cores"

Merge pull request #657 from iburinoc/appveyor

Make appveyor small tests use new mingw as well

Add 0 initializers to static variables

Change ifndef's to undef's

Make appveyor small tests use new mingw as well

Fix clang linux compilation

Fix compilation on windows

Fix compilation on macOS

-T0 detects number of physical cores

Merge pull request #655 from iburinoc/large-data

Test large files on-disk in playTests.sh

removed srcSize control from CStream

since it's already done from lower bufferless API level

content size is controlled at bufferless level

so it's active for all entry points

Also : added relevant test (wrong content size) in fuzzer

Merge branch 'dev' into compressionFlow

Fix message

Add test of file > 4GB to playTests

cli : better status display for zstdmt in 1-thread mode

Merge branch 'dev' of github.com:facebook/zstd into dev

cli : FIO_createDictBuffer() replaces FIO_loadFile()

makes it more explicit that it allocates a buffer
and that it's meant to be used for dictionary.

Also : simplified function a bit,
now only works for dictionaries up to DICTSIZE_MAX

Merge pull request #653 from terrelln/dev

Update linux kernel patch

Add BtrFS benchmarks

force contentSizeFlag=0 when using ZSTD_initCStream_usingCDict()

because by definition srcSize is not known when using this prototype.
added relevant test

Note : this use was already working, because at a later stage
(both ZSTD_compressBegin_usingCDict() and ZSTD_copyCCtx())
pledgedSrcSize=0 is translated into "unknown", no matter the frame parameter.
This is not correct, but of little importance,
as the medium term plan is to no longer set fParams within CDict

Add BtrFS patch for 4.10 kernel

simplified call graph

by calling ZSTD_compressBegin_internal() instead of ZSTD_compressBegin_advanced()

simplified ZSTD_initCStream*() flow

all variants converge towards ZSTD_initCStream_stage2()

Introduce ZSTD_initCStream_internal()

This is now the regroup point for ZSTD_initCStream*() functions

ZSTD_initCStream_advanced() now properly checks for parameters validity.

Also : added <assert.h> usage inside zstd_compress.c
Needs ZSTD_DEBUG=1 macro to be triggered.
Will be triggered by default from `tests` directory

Switch comments to kernel style + limit to 80 cols

Remove ZSTDLIB_API from decompress.c

Merge pull request #648 from facebook/zstdmt

improved zstreamtest --mt to trap bug #644

Merge pull request #650 from iburinoc/ro-overwrite

Make zstd overwrite destination files even when it is read only

Add refuse to overwrite test and fix format

Merge pull request #649 from iburinoc/win-release

Don't build zstd release binary with debug symbols

Add test for overwriting read-only

Let zstd overwrite read-only files

Push both artifacts without debug symbols

Don't build zstd release binary with debug symbols

ensure cctx internal buffer is correctly sized in case of memory error

updated comments for ZSTD_resetCStream()

improved zstreamtest --mt to trap bug #644

DStream : ensure correct size of internal buffers in case of error

ensure correct size of internal buffers in case of error

Merge pull request #647 from terrelln/linux

Add linux kernel modules to contrib/

Improve comments and ordering

Add a README

Add Kconfig and Makefile diffs

Merge pull request #646 from terrelln/dev

Switch call of FSE_count() to FSE_count_wksp()

fix gitignore

Rename zstd_(de)compress.c to (de)compress.c

Undef current if defined

Fix up some old names

Really move the makefile

Move Makefile to lib/zstd

Add fs/btrfs/zstd.c

paramgrill : results from optimizer use cli format

Best found configuration is displayed
using documented cli advanced parameter syntax.

fix paramgrill -O#

ensure proposed config does not require more memory than necessary

Explicitly convert scratchBuffer to unsigned*

Explicitly convert scratchBuffer to unsigned*

fixed paramgrill -O#

find optimal settings for a minimum speed

Move sources to lib/zstd/

Remove unused FSE/HUF functions

Switch call of FSE_count() to FSE_count_wksp()

Remove more restrict

Fix up xxhash

Switch intptr_t to ptrdiff_t

Move zstd.h to linux/zstd.h

fixed bench.c : optional advanced parameters applied

before creating cdict

minor bench.c adjustments

shorter debug messages
no need to check decompressedLength==0 twice

Test module macros

Add module macros

Protects ZSTD_compressBegin_usingCDict() vs NULL cdict dereference

Will issue an error (GENERIC) is cdict==NULL

Add zstd kernel module Makefile

Add userland test with mock kernel headers

Fix ZSTD_createCStream_usingCDict() and ZSTD_compress_usingCDict()

Merge pull request #645 from terrelln/cdict

Fix ZSTD_initCStream_usingCDict() and ZSTD_compress_usingCDict()

Remove unnecessary dictID store

Make ZSTD_compress_usingCDict() respect contentSizeFlag

Fix ZSTD_initCStream_usingCDict() to use dictionary

Merge pull request #643 from facebook/zstdmt

Optimize ZSTDMT_compress() memory usage

Fix compilation errors

Preallocate workSpace for cctx and combine create and init for cstream

minor man update, for `overlapSize`

updated documentation on multithreading modes

optimize ZSTDMT_compress() memory usage

does no longer allocate temporary buffers
when there is enough room in dstBuffer to decompress directly there.
(previous method would skip that for 1st chunk only).

Also : fix ZSTD_compressBound() for small srcSize

Working on API

Changed ZSTD_compressBound()

required so that if Total = A+B
compressBound(Total) <= compressBound(A) + compressBound(B)
under condition of a minimum size for A and B

Will help for ZSTDMT_compress() memory allocation

Merge branch 'dev' into zstdmt

Merge branch 'dev' of github.com:facebook/zstd into dev

Merge pull request #642 from terrelln/no-sparse

Turn off sparse mode for OS X by default

Merge branch 'dev' of github.com:facebook/zstd into dev

minor typo fixes in specification

Merge pull request #640 from facebook/memAccess

Changed memory strategy to __packed for gcc