added debug.h for cmake

avoid duplicate code comments

when a function is decribed in hist.h,
do not describe it again in hist.c
to avoid future doc synchronization issues.

Visual Studio project blind fix

grouped all histogram functions into hist.c

renamed functions with HIST_* prefix

grouped debug functions into debug.h

There were 2 competing set of debug functions
within zstd_internal.h and bitstream.h.
They were mostly duplicate, and required care to avoid messing with each other.

There is now a single implementation, shared by both.

Significant change :
The macro variable ZSTD_DEBUG does no longer exist,
it has been replaced by DEBUGLEVEL,
which required modifying several source files.

Merge pull request #1168 from GeorgeLu97/paramgrillfeatures

Have paramgrill share bench.c benchmarking function

Merge pull request #1175 from ryandesign/macos

Fix name of macOS

Requested changes

-Remove g_displaylevel/setNotificationLevel function
-Add extern "C"
-Remove averaging
-Reorder arguments

More fixes

-Added BMK_return_t (result + possible error)
-Correct comment'
-Nullcheck ctx, dctx when allocated
-Remove extra assert

Merge pull request #1174 from duc0/document_default_level

Expose ZSTD_CLEVEL_DEFAULT and update documentation

Line break

Address comments

Merge pull request #1177 from ryandesign/gen_html-CXXFLAGS

Remove duplicate CXXFLAGS

Remove duplicate CXXFLAGS

Fix name of macOS

Merge pull request #1171 from facebook/negLevels

Negative compression levels

Make paramgrill use bench.c benchmarking

Expose ZSTD_CLEVEL_DEFAULT and update documentation

fixed minor conversion warning

fixed regressiontest

ZSTD_TARGETLEN_MIN no longer exists
since is would be tautological to check if an unsigned value is < 0.

Merge branch 'dev' into negLevels

support targetlen==0 with strategy==ZSTD_fast

to mean "normal compression",
targetlen >= 1 now means "disable huffman compression of literals"

removed literalCompression directive

in this version, literal compression is always disabled for ZSTD_fast strategy.

Performance parity between ZSTD_compress_advanced() and ZSTD_compress_generic()

fuzzer: make negative compression level fail

result of ZSTD_compress_advanced()
is different from ZSTD_compress_generic()
when using negative compression levels
because the disabling of huffman compression is not passed in parameters.

Merge branch 'zstd_compress' into negLevels

negative compression level test

compare results from simple and advanced AIP

Merge pull request #1165 from facebook/ctxSizeDown

Dynamic context downsize

clean ZSTD_compress() initialization

The (pretty old) code inside ZSTD_compress()
was making some pretty bold assumptions
on what's inside a CCtx and how to init it.

This is pretty fragile by design.
CCtx content evolve.
Knowledge of how to handle that should be concentrate in one place.

A side effect of this strategy
is that ZSTD_compress() wouldn't check for BMI2 capability,
and is therefore missing out some potential speed opportunity.

This patch makes ZSTD_compress() use
the same initialization and release functions
as the normal creator / destructor ones.

Measured on my laptop, with a custom version of bench
manually modified to use ZSTD_compress() (instead of the advanced API) :
This patch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 312.2 MB/s , 723.8 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 226.2 MB/s , 649.8 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 169.4 MB/s , 636.7 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 136.7 MB/s , 619.2 MB/s
dev branch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 291.7 MB/s , 727.5 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 216.2 MB/s , 655.7 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 162.2 MB/s , 633.1 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 130.6 MB/s , 618.6 MB/s

disable aarch64 test on travis CI

there's a bug on travis' ld
> collect2: error: ld terminated with signal 11 [Segmentation fault], core dumped

I cannot reproduce it.
Note that travis' ld version is 2.24
while the one in my Linux VM is 2.26.1.
ld is part of binutils, so it's pretty hard to change.

I would expect the bug to no longer be triggered after some random code change.
To be re-enabled later.

added ld -v to aarch64fuzz

to better understand the travis CI linking bug

Merge pull request #1164 from GeorgeLu97/CustomMacros

Partial Compilation Macros

bumped version number to v1.3.5

Rename tests

context can be sized down even with constant parameters

when parameters are "equivalent",
the context is re-used in continue mode,
hence needed workspace size is not recalculated.
This incidentally also evades the size-down check and action.

This patch intercepts the "continue mode"
so that the size-down check and action is actually triggered.

changed member name to workSpaceOversizedDuration

Merge pull request #1167 from facebook/seekable_gcc5

contrib/seekable_format on gcc5+

fixed seekable_format type mismatch

and some minor "unused variable" warnings.
Also : zstd_seekable.h is actually depending on zstd.h for ZSTDLIB_API

better make -j all behavior

avoid concurrent compilation of libzstd

refactor travis CI test

to add a `make all` target with gcc-6.
Note : should fail at this stage, due to contrib/seekable_format

ensure seekable_format/examples generated libzstd.a

when it's not already present in the expected directory

More Tests

Remove test from Circle

Move stuff around

test execution -> travis
logic -> partialTests.sh

added test case

Remove optimizations

circle test

Revert "Partial compilation test?"

This reverts commit b2496ab60663992eb566dd221705da86fc9dafc7.

Partial compilation test?

added workSpaceTooLarge and workSpaceWasteful

also :
slightly increased speed of test fuzzer.16

Merge pull request #1162 from facebook/corruptionFix

Fixed a corruption bug

Fix Typos

changed a few variable names

to unify naming convention

Merge pull request #1161 from GeorgeLu97/paramgrillformat

Added zstdcli-style format for compression parameters in paramgrill

Added Deprecated Dependencies

forgot \n, ;

Remove old file declaration

Update usage_advanced

Documentation

Created Macros

Fixed a nasty corruption bug

recently introduce into the new dictionary mode.
The bug could be reproduced with this command :
./zstreamtest -v --opaqueapi --no-big-tests -s4092 -t639

error was in function ZSTD_count_2segments() :
the beginning of the 2nd segment corresponds to prefixStart
and not the beginning of the current block (istart == src).
This would result in comparing the wrong byte.

-O# with no file fails

Added Level Option

Merge pull request #1159 from GeorgeLu97/suffixlist

Unknown Suffix Error

Add Error Print

Merge pull request #1160 from GeorgeLu97/formatzstd

Added --format=zstd

Remove echo

Added new --zstd= format

Modified Tests

Changed format as per suggestion and added second test

Suffix list test

Merge pull request #1157 from facebook/decompressedSize

minor : improved zstd.h API code comment

Added Test Case

update display

update man

removed strcats

copy paste

Merge pull request #1151 from felixhandte/zstd-dfast-in-place-dict-goto

ZSTD_dfast: Support Searching the Dictionary Context In-Place (Alternate `goto` Implementation)

Unknown Suffix Error

Changed so only compiled formats are printed in list of supported extensions

Added --format=zstd

title

Allow Different Dict Attachment Cut-Offs for Different Strategies

Remove Incorrect and Extraneous Repcode Bounds Check

minor : improved API code comment

Extend guarantee that ZSTD_getFrameContentSize() will delivering the decompressed size
to any single-pass compression function.

Answer #1156

Merge pull request #1154 from facebook/altOpt

minor optimal parser optimization

minor update of literal cost function

just assert() there is no negative cost evaluation for literals

simplified optimal parser

removed "cached" structure.
prices are now saved in the optimal table.

Primarily done for simplification.
Might improve speed by a little.
But actually, and surprisingly, also improves ratio in some circumstances.

Merge pull request #1153 from facebook/dynThreshold

changed dynamic fse threshold for offset

fixed minor visual warning

Merge pull request #1152 from facebook/lowCompression

btultra accepts blocks with poorer compression ratio

changed dynamic fse threshold for offset

recent experienced showed that
default distribution table for offset
can get it wrong pretty quickly with the nb of symbols,
while it remains a reasonable choice much longer for lengths symbols.

Changed the formula,
so that dynamic threshold is now 32 symbols for offsets.
It remains at 64 symbols for lengths.

Detection based on defaultNormLog

Merge branch 'dev' into lowCompression

Merge pull request #1141 from facebook/staticDictCost

Random stuff on High Compression mode

btultra accepts blocks with poorer compression ratio

zstd rejects blocks which do not compress by at least a certain amount.
In which case, such block is simply emitted uncompressed (even if a little bit of compression could be achieved).
This is better for decompression speed, hence for energy.

The logic is controlled by ZSTD_minGain().
The rule is applied uniformly, at all compression levels.

This change makes btultra accepts blocks with poor compression ratios.
We presume that users of btultra mode prefers compression ratio over some decompress speed gains.

The threshold for minimum gain is lowered for btultra
from s>>6 (~1.5% minimum gain)
to s>>7 (~0.8% minimum gain).

This is a prudent change.
Not sure if it's large enough.

slightly nudge choices towards less sequences

also slightly improve some strange detrimental corner cases.

Check Long + 1 Matches in Both Prefix and Dict in Bothe Short Match Paths

Interleave Prefix and Dict Searches

Refactor ZSTD_dfast to Use `goto`s

... When I Said "HashTable", I Meant "ChainTable"

Fix Off-By-One Error

Disallow Too-Long Repcodes When Using an Attached Dict

Port Changes Made to ZSTD_fast to ZSTD_dfast

Implement Second Repcode Check

Implement First Repcode Check