Also Implement Depth Repcode Checks

Apply Match Continuation Bug Fix

Update Dictionary Attachment Cutoff Values

Check Dict Match State in ZSTD_HcFindBestMatch_generic

Focus on Non-BT Impls for the Moment

Remove Pre-Existing Repcode Check

Second Repcode Check

First Repcode Check

Disallow Too-Long Repcodes When Using an Attached Dict

Rename `base` -> `prefixLowest`

Go Back to Separate Intermediate Functions for Different Dict Modes

Further Templatize Intermediate Functions on dictMode

Convert Existing U32 extDict Vars to ZSTD_dictMode Enums

Attach Dict When Using ZSTD_lazy Strategies

Add _dictMatchState Stubs for ZSTD_lazy Functions

Add dictMode Param to ZSTD_compressBlock_lazy_generic

Merge pull request #1168 from GeorgeLu97/paramgrillfeatures

Have paramgrill share bench.c benchmarking function

Merge pull request #1175 from ryandesign/macos

Fix name of macOS

Requested changes

-Remove g_displaylevel/setNotificationLevel function
-Add extern "C"
-Remove averaging
-Reorder arguments

More fixes

-Added BMK_return_t (result + possible error)
-Correct comment'
-Nullcheck ctx, dctx when allocated
-Remove extra assert

Merge pull request #1174 from duc0/document_default_level

Expose ZSTD_CLEVEL_DEFAULT and update documentation

Line break

Address comments

Merge pull request #1177 from ryandesign/gen_html-CXXFLAGS

Remove duplicate CXXFLAGS

Remove duplicate CXXFLAGS

Fix name of macOS

Merge pull request #1171 from facebook/negLevels

Negative compression levels

Make paramgrill use bench.c benchmarking

Expose ZSTD_CLEVEL_DEFAULT and update documentation

fixed minor conversion warning

fixed regressiontest

ZSTD_TARGETLEN_MIN no longer exists
since is would be tautological to check if an unsigned value is < 0.

Merge branch 'dev' into negLevels

support targetlen==0 with strategy==ZSTD_fast

to mean "normal compression",
targetlen >= 1 now means "disable huffman compression of literals"

removed literalCompression directive

in this version, literal compression is always disabled for ZSTD_fast strategy.

Performance parity between ZSTD_compress_advanced() and ZSTD_compress_generic()

fuzzer: make negative compression level fail

result of ZSTD_compress_advanced()
is different from ZSTD_compress_generic()
when using negative compression levels
because the disabling of huffman compression is not passed in parameters.

Merge branch 'zstd_compress' into negLevels

negative compression level test

compare results from simple and advanced AIP

Merge pull request #1165 from facebook/ctxSizeDown

Dynamic context downsize

clean ZSTD_compress() initialization

The (pretty old) code inside ZSTD_compress()
was making some pretty bold assumptions
on what's inside a CCtx and how to init it.

This is pretty fragile by design.
CCtx content evolve.
Knowledge of how to handle that should be concentrate in one place.

A side effect of this strategy
is that ZSTD_compress() wouldn't check for BMI2 capability,
and is therefore missing out some potential speed opportunity.

This patch makes ZSTD_compress() use
the same initialization and release functions
as the normal creator / destructor ones.

Measured on my laptop, with a custom version of bench
manually modified to use ZSTD_compress() (instead of the advanced API) :
This patch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 312.2 MB/s , 723.8 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 226.2 MB/s , 649.8 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 169.4 MB/s , 636.7 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 136.7 MB/s , 619.2 MB/s
dev branch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 291.7 MB/s , 727.5 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 216.2 MB/s , 655.7 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 162.2 MB/s , 633.1 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 130.6 MB/s , 618.6 MB/s

disable aarch64 test on travis CI

there's a bug on travis' ld
> collect2: error: ld terminated with signal 11 [Segmentation fault], core dumped

I cannot reproduce it.
Note that travis' ld version is 2.24
while the one in my Linux VM is 2.26.1.
ld is part of binutils, so it's pretty hard to change.

I would expect the bug to no longer be triggered after some random code change.
To be re-enabled later.

added ld -v to aarch64fuzz

to better understand the travis CI linking bug

Merge pull request #1164 from GeorgeLu97/CustomMacros

Partial Compilation Macros

bumped version number to v1.3.5

Rename tests

context can be sized down even with constant parameters

when parameters are "equivalent",
the context is re-used in continue mode,
hence needed workspace size is not recalculated.
This incidentally also evades the size-down check and action.

This patch intercepts the "continue mode"
so that the size-down check and action is actually triggered.

changed member name to workSpaceOversizedDuration

Merge pull request #1167 from facebook/seekable_gcc5

contrib/seekable_format on gcc5+

fixed seekable_format type mismatch

and some minor "unused variable" warnings.
Also : zstd_seekable.h is actually depending on zstd.h for ZSTDLIB_API

better make -j all behavior

avoid concurrent compilation of libzstd

refactor travis CI test

to add a `make all` target with gcc-6.
Note : should fail at this stage, due to contrib/seekable_format

ensure seekable_format/examples generated libzstd.a

when it's not already present in the expected directory

More Tests

Remove test from Circle

Move stuff around

test execution -> travis
logic -> partialTests.sh

added test case

Remove optimizations

circle test

Revert "Partial compilation test?"

This reverts commit b2496ab60663992eb566dd221705da86fc9dafc7.

Partial compilation test?

added workSpaceTooLarge and workSpaceWasteful

also :
slightly increased speed of test fuzzer.16

Merge pull request #1162 from facebook/corruptionFix

Fixed a corruption bug

Fix Typos

changed a few variable names

to unify naming convention

Merge pull request #1161 from GeorgeLu97/paramgrillformat

Added zstdcli-style format for compression parameters in paramgrill

Added Deprecated Dependencies

forgot \n, ;

Remove old file declaration

Update usage_advanced

Documentation

Created Macros

Fixed a nasty corruption bug

recently introduce into the new dictionary mode.
The bug could be reproduced with this command :
./zstreamtest -v --opaqueapi --no-big-tests -s4092 -t639

error was in function ZSTD_count_2segments() :
the beginning of the 2nd segment corresponds to prefixStart
and not the beginning of the current block (istart == src).
This would result in comparing the wrong byte.

-O# with no file fails

Added Level Option

Merge pull request #1159 from GeorgeLu97/suffixlist

Unknown Suffix Error

Add Error Print

Merge pull request #1160 from GeorgeLu97/formatzstd

Added --format=zstd

Remove echo

Added new --zstd= format

Modified Tests

Changed format as per suggestion and added second test

Suffix list test

Merge pull request #1157 from facebook/decompressedSize

minor : improved zstd.h API code comment

Added Test Case

update display

update man

removed strcats

copy paste

Merge pull request #1151 from felixhandte/zstd-dfast-in-place-dict-goto

ZSTD_dfast: Support Searching the Dictionary Context In-Place (Alternate `goto` Implementation)

Unknown Suffix Error

Changed so only compiled formats are printed in list of supported extensions

Added --format=zstd

title

Allow Different Dict Attachment Cut-Offs for Different Strategies

Remove Incorrect and Extraneous Repcode Bounds Check

minor : improved API code comment

Extend guarantee that ZSTD_getFrameContentSize() will delivering the decompressed size
to any single-pass compression function.

Answer #1156

Merge pull request #1154 from facebook/altOpt

minor optimal parser optimization

minor update of literal cost function

just assert() there is no negative cost evaluation for literals

simplified optimal parser

removed "cached" structure.
prices are now saved in the optimal table.

Primarily done for simplification.
Might improve speed by a little.
But actually, and surprisingly, also improves ratio in some circumstances.

Merge pull request #1153 from facebook/dynThreshold

changed dynamic fse threshold for offset

fixed minor visual warning

Merge pull request #1152 from facebook/lowCompression

btultra accepts blocks with poorer compression ratio

changed dynamic fse threshold for offset

recent experienced showed that
default distribution table for offset
can get it wrong pretty quickly with the nb of symbols,
while it remains a reasonable choice much longer for lengths symbols.

Changed the formula,
so that dynamic threshold is now 32 symbols for offsets.
It remains at 64 symbols for lengths.

Detection based on defaultNormLog

Merge branch 'dev' into lowCompression

Merge pull request #1141 from facebook/staticDictCost

Random stuff on High Compression mode