seekable_decompression: support offset greater then UNIT_MAX

zstdseek_decompress: fix decompression with data left in input buffer

Merge pull request #1307 from facebook/spec

spec clarification

Merge pull request #1309 from facebook/islink

fixed UTIL_isLink() for Mac OS-X

fixed UTIL_isLink() for Mac OS-X

Merge pull request #1308 from facebook/codeofconduct

added code of conduct

added code of conduct

as requested by Facebook OSS program.

Merge pull request #1304 from facebook/largeNbDicts

contrib/largeNbDicts

fixed minor static analyzer warning

spec clarification

following #1305 comments from @ulikunitz

Merge pull request #1306 from jennifermliu/dev

Change default f of FASTCOVER to 20

Change default f to 20

Merge pull request #1302 from jennifermliu/splitpoint

 Always use splitPoint=1.0 for non-optimize cover and fastcover and some minor changes on comments

updated documentation

silenced false-positive scan-build warning

Merge pull request #1303 from cmcginty/dev

Zstandard - better `make list`

Add optional description field support to "list" target

fixed link order for old compilers

minor : createDictionaryBuffer() can create dictionaries of different sizes

fixed minor compatibility issues with older compilers

Update comment about default dictionary builder

Update comment on default steps of cover and fastcover

-std=c99 for largeNbDicts

Always use splitPoint=1.0 for non-optimize cover and fastcover

Merge branch 'dev' of github.com:facebook/zstd into dev

largeNbDicts compatible with multiple source files

splitting is disabled by default, but can be re-enabled using usual command -B#
update commands to look like zstd ones

make all includes contrib/largeNbDicts

added a README

for documentation

increases randomness of ddict ptrs

level, block size and nb dicts can be set on command line

Merge pull request #1301 from terrelln/lit-size

[zstd] Fix seqStore growth

first working test program

measures :
- compression ratio with / without dictionary
- create one dictionary per block
- memory budget for dictionaries
- decompression speed, using one different dictionary per block

current limitations :
- only one file
- 4K blocks only
- automatic dictionary built with 4K size

dictionary can be selected on command line, with -D

Fix decodecorpus

Small test fixes

[zstd] Fix seqStore growth

We could undersize the literals buffer by up to 11 bytes,
due to a combination of 2 bugs:
* The literals buffer didn't have `WILDCOPY_OVERLENGTH` extra
  space, like it is supposed to.
* We didn't check the literals buffer size in `ZSTD_sufficientBuff()`.

[fuzzer] Test growing the seqStore_t

Merge pull request #1298 from facebook/bench

Refactored bench.c

Merge branch 'bench' into largeNbDicts

timedFn : measurement delay is programmable

instead of hard-coded 1 second per measurement

Merge pull request #1299 from modbw/dev

Fixed memory leak detected by cppcheck

Fixed memory leak detected by cppcheck

cppcheck (which is run regularly in our CI environment)  detected a possible memory leak.

paramgrill: removed useless tests

designed to compensate iter_mode,
but since only time_mode is available now,
all tests are guaranteed to last a minimum amount of time.

paramgrill: fixed a bunch of div-by-zero

they were pretty easy to trigger by the way,
just start an extended paramgrill session
to find a compression table based on any sample,
it would necessarily happen at some point.

restored assert() in paramgrill

assert() in paramgrill are not in the benchmark path.
They should remain active, as they don't impact measurements, and their runtime is insignificant.

largeNbDicts can compress and compare dict vs noDict

Merge branch 'bench' into largeNbDicts

bench: minor api update, for consistency

BMK_benchTimedFn()
BMK_isCompleted_TimedFn() uses TimedFnState

first sketch for largeNbDicts test program

fixed minor warnings

valgrind: memory leak of a few bytes in fullbench
static analyzer: uninitialized data passed as result

Merge pull request #1297 from felixhandte/check-offset-table

Fix Missing Offset Table Check

bench: reduce nb of return type

runOutcome is enough
removed timedFnOutcome

fix minor warnings

gcc : prototype with 0 parameter must be labelled (void)
visual : const property must be identical in both declaration and implementation

Mark Repeated Offset Table as Needing Check

Add Failing Test

fixed fullbench behavior

now same as v1.3.5

fixed zstd -b speed result

the benchmark was displaying the speed of last run
instead of the best of all previous runs.

Fix decodecorpus

Fix compiler warning

[zstd] Add note about empty ZSTD_CDict

[zstd] Reuse the ZSTD_CCtx more often with small data.

fixed paramgrill

to work with new bench.c

introduced MB_UNIT

so that all benchmarking programs use the same speed scale

update fullbench.c to work with new bench.h

refactored bench.c

for clarity and safety, especially at interface level

Merge branch 'dev' of github.com:facebook/zstd into dev

Merge fastCover into DictBuilder (#1274)

* Minor fix

* Run non-optimize FASTCOVER 5 times in benchmark

* Merge fastCover into dictBuilder

* Fix mixed declaration issue

* Add fastcover to symbol.c

* Add fastCover.c and cover.h to build

* Change fastCover.c to fastcover.c

* Update benchmark to run FASTCOVER in dictBuilder

* Undo spliting fastcover_param into cover_param and f

* Remove convert param functions

* Assign f to parameter

* Add zdict.h to Makefile in lib

* Add cover.h to BUCK

* Cast 1 to U64 before shifting

* Remove trimming of zero freq head and tail in selectSegment and rebenchmark

* Remove f as a separate parameter of tryParam

* Read 8 bytes when d is 6

* Add trimming off zero frequency head and tail

* Use best functions from COVER and remove trimming part(which leads to worse compression ratio after previous bugs were fixed)

* Add finalize= argument to FASTCOVER to specify percentage of training samples passed to ZDICT_finalizeDictionary

* Change nbDmer to always read 8 bytes even when d=6

* Add skip=# argument to allow skipping dmers in computeFrequency in FASTCOVER

* Update comments and benchmarking result

* Change default method of ZDICT_trainFromBuffer to ZDICT_optimizeTrainFromBuffer_fastCover

* Add dictType enum and fix bug about passing zParam when converting to coverParam

* Combine finalize and skip into a single parameter

* Update acceleration parameters and benchmark on 3 sample sets

* Change default splitPoint of FASTCOVER to 0.75 and benchmark first 3 sample sets

* Initialize variables outside of for loop in benchmark.c

* Update benchmark result for hg-manifest

* Remove cover.h from install-includes

* Add explanation of f

* Set default compression level for trainFromBuffer to 3

* Add assertion of fastCoverParams in DiB_trainFromFiles

* Add checkTotalCompressedSize function + some minor fixes

* Add test for multithreading fastCovr

* Initialize segmentFreqs in every FASTCOVER_selectSegment and move mutex_unnlock to end of COVER_best_finish

* Free segmentFreqs

* Initialize segmentFreqs before calling FASTCOVER_buildDictionary instead of in FASTCOVER_selectSegment

* Add FASTCOVER_MEMMULT

* Minor fix

* Update benchmarking result

bench: changed creation/reset function to timedFnState

for consistency

Merge pull request #1287 from tgurr/cmake-docdir

Use GNUInstallDirs DOCDIR for installing the manual

Merge pull request #1290 from edenzik/ezik/1119-safe-strcpy-in-fileio

Fixed unsafe string copy and concat in `fileio.c`.

Fixed unsafe string copy and concat in `fileio.c`.

Per warnings from flawfinder: "Does not check for buffer overflows when
copying to destination [MS-banned] (CWE-120). Consider using snprintf,
strcpy_s, or strlcpy (warning: strncpy easily misused).".

Replaced called to strcpy and strcat in `fileio.c` to calls with a
specified size (`strncpy` and `strncat`).

Tested the changes on OSX, Linux, Windows.
On OSX + Linux, changes were tested with ASAN. The following flags were
used: 'check_initialization_order=1:strict_init_order=1:detect_odr_violation=1:detect_stack_use_after_return=1'

To reproduce warning:
./flawfinder.py ./programs/fileio.c

Merge pull request #1285 from facebook/scanbuild

static analyzer tests

Use GNUInstallDirs DOCDIR for installing the manual

Merge pull request #1284 from GeorgeLu97/negativeLvlDisplay

Fix negative lvl display value

Clarify README

Fix negative lvl display value

Also fix synthetic benchmark parameter setting

Makefile: added variable SCANBUILD

so that a different version of scan-build can be selected

fixed more issues detected by recent version of scan-build

test run on Linux

Merge pull request #1281 from GeorgeLu97/cleanUp

Clean up paramgrill code

added static analyzer tests to travis CI

fix scope of scan-build tests

exclude zlib code

ensure dependency for zlib wrapper

prune comments

Move Stuff around

Group similar functions together, remove outdated comments

consts

Remove unused stuff

Merge pull request #1280 from GeorgeLu97/betterDisplay

Better Paramgrill Display

fixed minor warnings issued by scan-build

clarify display README

Fix wraparound

silencing params

Clean up repetitive display

Add documentation

-q -v options

begin display changes

Merge branch 'dev' into scanbuild

Merge pull request #1277 from GeorgeLu97/mtoptions

memoTableOptions

Add memoTable options

-hashing memotable
-no memotable

fixed several minor issues detected by scan-build

only notable one :
writeNCount() resists better vs invalid distributions
(though it should never happen within zstd anyway)

Merge pull request #1279 from GeorgeLu97/benchSA

Fix scan-build warnings in bench.c

MAke it easier to add params

Make memoTable size limited

Temp fix perf regression