Merge branch 'dev' into compressionFlow

cli : better status display for zstdmt in 1-thread mode

Merge branch 'dev' of github.com:facebook/zstd into dev

cli : FIO_createDictBuffer() replaces FIO_loadFile()

makes it more explicit that it allocates a buffer
and that it's meant to be used for dictionary.

Also : simplified function a bit,
now only works for dictionaries up to DICTSIZE_MAX

Merge pull request #653 from terrelln/dev

Update linux kernel patch

Add BtrFS benchmarks

force contentSizeFlag=0 when using ZSTD_initCStream_usingCDict()

because by definition srcSize is not known when using this prototype.
added relevant test

Note : this use was already working, because at a later stage
(both ZSTD_compressBegin_usingCDict() and ZSTD_copyCCtx())
pledgedSrcSize=0 is translated into "unknown", no matter the frame parameter.
This is not correct, but of little importance,
as the medium term plan is to no longer set fParams within CDict

Add BtrFS patch for 4.10 kernel

simplified call graph

by calling ZSTD_compressBegin_internal() instead of ZSTD_compressBegin_advanced()

simplified ZSTD_initCStream*() flow

all variants converge towards ZSTD_initCStream_stage2()

Introduce ZSTD_initCStream_internal()

This is now the regroup point for ZSTD_initCStream*() functions

ZSTD_initCStream_advanced() now properly checks for parameters validity.

Also : added <assert.h> usage inside zstd_compress.c
Needs ZSTD_DEBUG=1 macro to be triggered.
Will be triggered by default from `tests` directory

Switch comments to kernel style + limit to 80 cols

Remove ZSTDLIB_API from decompress.c

Merge pull request #648 from facebook/zstdmt

improved zstreamtest --mt to trap bug #644

Merge pull request #650 from iburinoc/ro-overwrite

Make zstd overwrite destination files even when it is read only

Add refuse to overwrite test and fix format

Merge pull request #649 from iburinoc/win-release

Don't build zstd release binary with debug symbols

Add test for overwriting read-only

Let zstd overwrite read-only files

Push both artifacts without debug symbols

Don't build zstd release binary with debug symbols

ensure cctx internal buffer is correctly sized in case of memory error

updated comments for ZSTD_resetCStream()

improved zstreamtest --mt to trap bug #644

DStream : ensure correct size of internal buffers in case of error

ensure correct size of internal buffers in case of error

Merge pull request #647 from terrelln/linux

Add linux kernel modules to contrib/

Improve comments and ordering

Add a README

Add Kconfig and Makefile diffs

Merge pull request #646 from terrelln/dev

Switch call of FSE_count() to FSE_count_wksp()

fix gitignore

Rename zstd_(de)compress.c to (de)compress.c

Undef current if defined

Fix up some old names

Really move the makefile

Move Makefile to lib/zstd

Add fs/btrfs/zstd.c

paramgrill : results from optimizer use cli format

Best found configuration is displayed
using documented cli advanced parameter syntax.

fix paramgrill -O#

ensure proposed config does not require more memory than necessary

Explicitly convert scratchBuffer to unsigned*

Explicitly convert scratchBuffer to unsigned*

fixed paramgrill -O#

find optimal settings for a minimum speed

Move sources to lib/zstd/

Remove unused FSE/HUF functions

Switch call of FSE_count() to FSE_count_wksp()

Remove more restrict

Fix up xxhash

Switch intptr_t to ptrdiff_t

Move zstd.h to linux/zstd.h

fixed bench.c : optional advanced parameters applied

before creating cdict

minor bench.c adjustments

shorter debug messages
no need to check decompressedLength==0 twice

Test module macros

Add module macros

Protects ZSTD_compressBegin_usingCDict() vs NULL cdict dereference

Will issue an error (GENERIC) is cdict==NULL

Add zstd kernel module Makefile

Add userland test with mock kernel headers

Fix ZSTD_createCStream_usingCDict() and ZSTD_compress_usingCDict()

Merge pull request #645 from terrelln/cdict

Fix ZSTD_initCStream_usingCDict() and ZSTD_compress_usingCDict()

Remove unnecessary dictID store

Make ZSTD_compress_usingCDict() respect contentSizeFlag

Fix ZSTD_initCStream_usingCDict() to use dictionary

Merge pull request #643 from facebook/zstdmt

Optimize ZSTDMT_compress() memory usage

Fix compilation errors

Preallocate workSpace for cctx and combine create and init for cstream

minor man update, for `overlapSize`

updated documentation on multithreading modes

optimize ZSTDMT_compress() memory usage

does no longer allocate temporary buffers
when there is enough room in dstBuffer to decompress directly there.
(previous method would skip that for 1st chunk only).

Also : fix ZSTD_compressBound() for small srcSize

Working on API

Changed ZSTD_compressBound()

required so that if Total = A+B
compressBound(Total) <= compressBound(A) + compressBound(B)
under condition of a minimum size for A and B

Will help for ZSTDMT_compress() memory allocation

Merge branch 'dev' into zstdmt

Merge branch 'dev' of github.com:facebook/zstd into dev

Merge pull request #642 from terrelln/no-sparse

Turn off sparse mode for OS X by default

Merge branch 'dev' of github.com:facebook/zstd into dev

minor typo fixes in specification

Merge pull request #640 from facebook/memAccess

Changed memory strategy to __packed for gcc

numerous typos and clarifications in format specification

fix limit values of Window_Size
bump version to 0.2.5

Clean up default sparse logic

Turn off sparse mode for OS X by default

fixed minor warnings in debug code

overlap at full windowSize for max compression level

as it provides max compression ratio

improved ZSTDMT_compress()

Use a bit more threads by default.
Uses overlap segments to boost compression ratio (like the streaming variant)

Remove STATIC_LINKING_ONLY defines

Use <asm/unaligned.h> for unaligned memory access

Change stdlib includes to linux includes

Remove platform specific macros

Convert all spaces to tabs

spaces to tabs

Copy files into contrib/linux-kernel/

Make pzstd and cmake use gcc/g++

Build windows releases on appveyor as artifacts

Merge pull request #637 from facebook/zstdmt

Zstdmt

Changed memory strategy to __packed for gcc

Method 1 __packed is always as good or better than memcpy().
But it's not portable, as it depends on compiler extension.

For gcc, __pakced directive works fine.
Furthermore, gcc has serious performance issues with memcpy() on ARM 32 bits.
See #620

created contrib/cleanTabs

Merge pull request #638 from terrelln/tabs

Convert all tabs to spaces

fixed Visual fuzzer project

fixed Visual Studio projects

Convert all tabs to spaces

re-added patch ...

fixed #634 : ZSTDMT_compressCCtx() doesn't provide frame content size in header