Use debug.h in fileio.c

Adjust advanced parameters to source size

In the new advanced API, adjust the parameters even if they are explicitly
set. This mainly applies to the `windowLog`, and accordingly the `hashLog`
and `chainLog`, when the source size is known.

Merge pull request #1187 from facebook/fix1186

fix dctx initialization within ZSTD_decompress in stack mode

Merge pull request #1184 from facebook/debug

Grouped debug functions into debug.h

Add CXXFLAGS to ALL_LDFLAGS (#1178)

pzstd requires C++11, which older C++ standard libraries like libstdc++
as used on OS X 10.8 and earlier don't support. The user might address
this by setting "CXXFLAGS=-stdlib=libc++". This flag must be used both
at compile time and at link time. Asking the user to also put the flag
in LDFLAGS is undesirable because then the flag would also be used when
linking C code, which would be inappropriate.

fix dctx initialization within ZSTD_decompress in stack mode

when ZSTD_HEAPMODE=0 (which is not default).

Also : added an associated test (test-fuzzer-stackmode)
run on travis CI

fix #1186

fixed g_debuglevel variable name

in debug.h

Merge pull request #1169 from felixhandte/zstd-lazy-in-place-dict

ZSTD_lazy: Support Searching the Dictionary Context In-Place

grouped debug functions into debug.h

There were 2 competing set of debug functions
within zstd_internal.h and bitstream.h.
They were mostly duplicate, and required care to avoid messing with each other.

There is now a single implementation, shared by both.

Significant change :
The macro variable ZSTD_DEBUG does no longer exist,
it has been replaced by DEBUGLEVEL,
which required modifying several source files.

Fix Cast Warning

Extend Dictionary Matches Backwards

Update Dictionary Attachment Cutoff Values Again

Do Not Inline DMS Search Function

Also Implement Depth Repcode Checks

Apply Match Continuation Bug Fix

Update Dictionary Attachment Cutoff Values

Check Dict Match State in ZSTD_HcFindBestMatch_generic

Focus on Non-BT Impls for the Moment

Remove Pre-Existing Repcode Check

Second Repcode Check

First Repcode Check

Disallow Too-Long Repcodes When Using an Attached Dict

Rename `base` -> `prefixLowest`

Go Back to Separate Intermediate Functions for Different Dict Modes

Further Templatize Intermediate Functions on dictMode

Convert Existing U32 extDict Vars to ZSTD_dictMode Enums

Attach Dict When Using ZSTD_lazy Strategies

Add _dictMatchState Stubs for ZSTD_lazy Functions

Add dictMode Param to ZSTD_compressBlock_lazy_generic

Merge pull request #1168 from GeorgeLu97/paramgrillfeatures

Have paramgrill share bench.c benchmarking function

Merge pull request #1175 from ryandesign/macos

Fix name of macOS

Requested changes

-Remove g_displaylevel/setNotificationLevel function
-Add extern "C"
-Remove averaging
-Reorder arguments

More fixes

-Added BMK_return_t (result + possible error)
-Correct comment'
-Nullcheck ctx, dctx when allocated
-Remove extra assert

Merge pull request #1174 from duc0/document_default_level

Expose ZSTD_CLEVEL_DEFAULT and update documentation

Line break

Address comments

Merge pull request #1177 from ryandesign/gen_html-CXXFLAGS

Remove duplicate CXXFLAGS

Remove duplicate CXXFLAGS

Fix name of macOS

Merge pull request #1171 from facebook/negLevels

Negative compression levels

Make paramgrill use bench.c benchmarking

Expose ZSTD_CLEVEL_DEFAULT and update documentation

fixed minor conversion warning

fixed regressiontest

ZSTD_TARGETLEN_MIN no longer exists
since is would be tautological to check if an unsigned value is < 0.

Merge branch 'dev' into negLevels

support targetlen==0 with strategy==ZSTD_fast

to mean "normal compression",
targetlen >= 1 now means "disable huffman compression of literals"

removed literalCompression directive

in this version, literal compression is always disabled for ZSTD_fast strategy.

Performance parity between ZSTD_compress_advanced() and ZSTD_compress_generic()

fuzzer: make negative compression level fail

result of ZSTD_compress_advanced()
is different from ZSTD_compress_generic()
when using negative compression levels
because the disabling of huffman compression is not passed in parameters.

Merge branch 'zstd_compress' into negLevels

negative compression level test

compare results from simple and advanced AIP

Merge pull request #1165 from facebook/ctxSizeDown

Dynamic context downsize

clean ZSTD_compress() initialization

The (pretty old) code inside ZSTD_compress()
was making some pretty bold assumptions
on what's inside a CCtx and how to init it.

This is pretty fragile by design.
CCtx content evolve.
Knowledge of how to handle that should be concentrate in one place.

A side effect of this strategy
is that ZSTD_compress() wouldn't check for BMI2 capability,
and is therefore missing out some potential speed opportunity.

This patch makes ZSTD_compress() use
the same initialization and release functions
as the normal creator / destructor ones.

Measured on my laptop, with a custom version of bench
manually modified to use ZSTD_compress() (instead of the advanced API) :
This patch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 312.2 MB/s , 723.8 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 226.2 MB/s , 649.8 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 169.4 MB/s , 636.7 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 136.7 MB/s , 619.2 MB/s
dev branch :
 1#silesia.tar       : 211984896 ->  73651053 (2.878), 291.7 MB/s , 727.5 MB/s
 2#silesia.tar       : 211984896 ->  70163650 (3.021), 216.2 MB/s , 655.7 MB/s
 3#silesia.tar       : 211984896 ->  66996749 (3.164), 162.2 MB/s , 633.1 MB/s
 4#silesia.tar       : 211984896 ->  65998319 (3.212), 130.6 MB/s , 618.6 MB/s

disable aarch64 test on travis CI

there's a bug on travis' ld
> collect2: error: ld terminated with signal 11 [Segmentation fault], core dumped

I cannot reproduce it.
Note that travis' ld version is 2.24
while the one in my Linux VM is 2.26.1.
ld is part of binutils, so it's pretty hard to change.

I would expect the bug to no longer be triggered after some random code change.
To be re-enabled later.

added ld -v to aarch64fuzz

to better understand the travis CI linking bug

Merge pull request #1164 from GeorgeLu97/CustomMacros

Partial Compilation Macros

bumped version number to v1.3.5

Rename tests

context can be sized down even with constant parameters

when parameters are "equivalent",
the context is re-used in continue mode,
hence needed workspace size is not recalculated.
This incidentally also evades the size-down check and action.

This patch intercepts the "continue mode"
so that the size-down check and action is actually triggered.

changed member name to workSpaceOversizedDuration

Merge pull request #1167 from facebook/seekable_gcc5

contrib/seekable_format on gcc5+

fixed seekable_format type mismatch

and some minor "unused variable" warnings.
Also : zstd_seekable.h is actually depending on zstd.h for ZSTDLIB_API

better make -j all behavior

avoid concurrent compilation of libzstd

refactor travis CI test

to add a `make all` target with gcc-6.
Note : should fail at this stage, due to contrib/seekable_format

ensure seekable_format/examples generated libzstd.a

when it's not already present in the expected directory

More Tests

Remove test from Circle

Move stuff around

test execution -> travis
logic -> partialTests.sh

added test case

Remove optimizations

circle test

Revert "Partial compilation test?"

This reverts commit b2496ab60663992eb566dd221705da86fc9dafc7.

Partial compilation test?

added workSpaceTooLarge and workSpaceWasteful

also :
slightly increased speed of test fuzzer.16

Merge pull request #1162 from facebook/corruptionFix

Fixed a corruption bug

Fix Typos

changed a few variable names

to unify naming convention

Merge pull request #1161 from GeorgeLu97/paramgrillformat

Added zstdcli-style format for compression parameters in paramgrill

Added Deprecated Dependencies

forgot \n, ;

Remove old file declaration

Update usage_advanced

Documentation

Created Macros

Fixed a nasty corruption bug

recently introduce into the new dictionary mode.
The bug could be reproduced with this command :
./zstreamtest -v --opaqueapi --no-big-tests -s4092 -t639

error was in function ZSTD_count_2segments() :
the beginning of the 2nd segment corresponds to prefixStart
and not the beginning of the current block (istart == src).
This would result in comparing the wrong byte.

-O# with no file fails

Added Level Option

Merge pull request #1159 from GeorgeLu97/suffixlist

Unknown Suffix Error

Add Error Print

Merge pull request #1160 from GeorgeLu97/formatzstd

Added --format=zstd

Remove echo

Added new --zstd= format

Modified Tests

Changed format as per suggestion and added second test

Suffix list test

Merge pull request #1157 from facebook/decompressedSize

minor : improved zstd.h API code comment

Added Test Case

update display

update man

removed strcats

copy paste

Merge pull request #1151 from felixhandte/zstd-dfast-in-place-dict-goto

ZSTD_dfast: Support Searching the Dictionary Context In-Place (Alternate `goto` Implementation)

Unknown Suffix Error

Changed so only compiled formats are printed in list of supported extensions