Interleave compression/decompression

Fix Bugs

Opaque State

And minor fixups (comments/alignment/checks/fix memory leak)

benchFunction Timed Wrappers

Add BMK_benchFunctionTimed
Add BMK_init_customResultCont..
Change benchMem to use benchFunctionTimed
Minor Fixes/Adjustments

Incremental Display + Fn Separations

Seperate syntheticTest and fileTableTest (now renamed as benchFiles)
Add incremental display to benchMem
Change to only iterMode for benchFunction
Make Synthetic test's compressibility configurable from cli (using -P#)

Fix cli no print

Change looping behavior to match old

Reorder Arguments

make initFn nullable

Requested Changes

Add Comment
Simplify Interface (Remove resultSet)
Reorder Arguments
Remove customBench displayLevel
Reorder bench.h
Change benchFiles return type to match advanced
Rename stuff

Make Fullbench use new function

Rearrange Args
Add nothing function
Use new function, change locals to match
New Display
Comment cleanup
Change builds

Add to bench

-Remove global variables
-Remove gv setting functions
-Add advancedParams struct
-Add defaultAdvancedParams();
-Change return type of bench Files
-Change cli to use new interface
-Changed error returns to own struct value
-Change default compression benchmark to use decompress_generic
-Add CustomBench function
-Add Documentation for new functions

Requested changes

Remove g_displaylevel/setNotificationLevel function
Add extern "C"
Remove averaging
Reorder arguments

Merge pull request #1169 from felixhandte/zstd-lazy-in-place-dict

ZSTD_lazy: Support Searching the Dictionary Context In-Place

Fix Cast Warning

Extend Dictionary Matches Backwards

Update Dictionary Attachment Cutoff Values Again

Do Not Inline DMS Search Function

Also Implement Depth Repcode Checks

Apply Match Continuation Bug Fix

Update Dictionary Attachment Cutoff Values

Check Dict Match State in ZSTD_HcFindBestMatch_generic

Focus on Non-BT Impls for the Moment

Remove Pre-Existing Repcode Check

Second Repcode Check

First Repcode Check

Disallow Too-Long Repcodes When Using an Attached Dict

Rename `base` -> `prefixLowest`

Go Back to Separate Intermediate Functions for Different Dict Modes

Further Templatize Intermediate Functions on dictMode

Convert Existing U32 extDict Vars to ZSTD_dictMode Enums

Attach Dict When Using ZSTD_lazy Strategies

Add _dictMatchState Stubs for ZSTD_lazy Functions

Add dictMode Param to ZSTD_compressBlock_lazy_generic

Merge pull request #1168 from GeorgeLu97/paramgrillfeatures

Have paramgrill share bench.c benchmarking function

Merge pull request #1175 from ryandesign/macos

Fix name of macOS

Requested changes

-Remove g_displaylevel/setNotificationLevel function
-Add extern "C"
-Remove averaging
-Reorder arguments

More fixes

-Added BMK_return_t (result + possible error)
-Correct comment'
-Nullcheck ctx, dctx when allocated
-Remove extra assert

Merge pull request #1174 from duc0/document_default_level

Expose ZSTD_CLEVEL_DEFAULT and update documentation

Line break

Address comments

Merge pull request #1177 from ryandesign/gen_html-CXXFLAGS

Remove duplicate CXXFLAGS

Remove duplicate CXXFLAGS

Fix name of macOS

Merge pull request #1171 from facebook/negLevels

Negative compression levels

Make paramgrill use bench.c benchmarking

Expose ZSTD_CLEVEL_DEFAULT and update documentation

fixed minor conversion warning

fixed regressiontest

ZSTD_TARGETLEN_MIN no longer exists
since is would be tautological to check if an unsigned value is < 0.

Merge branch 'dev' into negLevels

support targetlen==0 with strategy==ZSTD_fast

to mean "normal compression",
targetlen >= 1 now means "disable huffman compression of literals"

removed literalCompression directive

in this version, literal compression is always disabled for ZSTD_fast strategy.

Performance parity between ZSTD_compress_advanced() and ZSTD_compress_generic()

fuzzer: make negative compression level fail

result of ZSTD_compress_advanced()
is different from ZSTD_compress_generic()
when using negative compression levels
because the disabling of huffman compression is not passed in parameters.

Merge branch 'zstd_compress' into negLevels

negative compression level test

compare results from simple and advanced AIP

Merge pull request #1165 from facebook/ctxSizeDown

Dynamic context downsize

clean ZSTD_compress() initialization

The (pretty old) code inside ZSTD_compress()
was making some pretty bold assumptions
on what's inside a CCtx and how to init it.

This is pretty fragile by design.
CCtx content evolve.
Knowledge of how to handle that should be concentrate in one place.

A side effect of this strategy
is that ZSTD_compress() wouldn't check for BMI2 capability,
and is therefore missing out some potential speed opportunity.

This patch makes ZSTD_compress() use
the same initialization and release functions
as the normal creator / destructor ones.

Measured on my laptop, with a custom version of bench
manually modified to use ZSTD_compress() (instead of the advanced API) :
This patch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 312.2 MB/s , 723.8 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 226.2 MB/s , 649.8 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 169.4 MB/s , 636.7 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 136.7 MB/s , 619.2 MB/s
dev branch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 291.7 MB/s , 727.5 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 216.2 MB/s , 655.7 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 162.2 MB/s , 633.1 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 130.6 MB/s , 618.6 MB/s

disable aarch64 test on travis CI

there's a bug on travis' ld
> collect2: error: ld terminated with signal 11 [Segmentation fault], core dumped

I cannot reproduce it.
Note that travis' ld version is 2.24
while the one in my Linux VM is 2.26.1.
ld is part of binutils, so it's pretty hard to change.

I would expect the bug to no longer be triggered after some random code change.
To be re-enabled later.

added ld -v to aarch64fuzz

to better understand the travis CI linking bug

Merge pull request #1164 from GeorgeLu97/CustomMacros

Partial Compilation Macros

bumped version number to v1.3.5

Rename tests

context can be sized down even with constant parameters

when parameters are "equivalent",
the context is re-used in continue mode,
hence needed workspace size is not recalculated.
This incidentally also evades the size-down check and action.

This patch intercepts the "continue mode"
so that the size-down check and action is actually triggered.

changed member name to workSpaceOversizedDuration

Merge pull request #1167 from facebook/seekable_gcc5

contrib/seekable_format on gcc5+

fixed seekable_format type mismatch

and some minor "unused variable" warnings.
Also : zstd_seekable.h is actually depending on zstd.h for ZSTDLIB_API

better make -j all behavior

avoid concurrent compilation of libzstd

refactor travis CI test

to add a `make all` target with gcc-6.
Note : should fail at this stage, due to contrib/seekable_format

ensure seekable_format/examples generated libzstd.a

when it's not already present in the expected directory

More Tests

Remove test from Circle

Move stuff around

test execution -> travis
logic -> partialTests.sh

added test case

Remove optimizations

circle test

Revert "Partial compilation test?"

This reverts commit b2496ab60663992eb566dd221705da86fc9dafc7.

Partial compilation test?

added workSpaceTooLarge and workSpaceWasteful

also :
slightly increased speed of test fuzzer.16

Merge pull request #1162 from facebook/corruptionFix

Fixed a corruption bug

Fix Typos

changed a few variable names

to unify naming convention

Merge pull request #1161 from GeorgeLu97/paramgrillformat

Added zstdcli-style format for compression parameters in paramgrill

Added Deprecated Dependencies

forgot \n, ;

Remove old file declaration

Update usage_advanced

Documentation

Created Macros

Fixed a nasty corruption bug

recently introduce into the new dictionary mode.
The bug could be reproduced with this command :
./zstreamtest -v --opaqueapi --no-big-tests -s4092 -t639

error was in function ZSTD_count_2segments() :
the beginning of the 2nd segment corresponds to prefixStart
and not the beginning of the current block (istart == src).
This would result in comparing the wrong byte.

-O# with no file fails

Added Level Option

Merge pull request #1159 from GeorgeLu97/suffixlist

Unknown Suffix Error

Add Error Print

Merge pull request #1160 from GeorgeLu97/formatzstd

Added --format=zstd

Remove echo

Added new --zstd= format

Modified Tests

Changed format as per suggestion and added second test

Suffix list test

Merge pull request #1157 from facebook/decompressedSize

minor : improved zstd.h API code comment

Added Test Case

update display

update man

removed strcats

copy paste