Fix decodecorpus

Small test fixes

[zstd] Fix seqStore growth

We could undersize the literals buffer by up to 11 bytes,
due to a combination of 2 bugs:
* The literals buffer didn't have `WILDCOPY_OVERLENGTH` extra
  space, like it is supposed to.
* We didn't check the literals buffer size in `ZSTD_sufficientBuff()`.

[fuzzer] Test growing the seqStore_t

Merge pull request #1299 from modbw/dev

Fixed memory leak detected by cppcheck

Fixed memory leak detected by cppcheck

cppcheck (which is run regularly in our CI environment)  detected a possible memory leak.

Merge pull request #1297 from felixhandte/check-offset-table

Fix Missing Offset Table Check

Mark Repeated Offset Table as Needing Check

Add Failing Test

Fix decodecorpus

Fix compiler warning

[zstd] Add note about empty ZSTD_CDict

[zstd] Reuse the ZSTD_CCtx more often with small data.

Merge fastCover into DictBuilder (#1274)

* Minor fix

* Run non-optimize FASTCOVER 5 times in benchmark

* Merge fastCover into dictBuilder

* Fix mixed declaration issue

* Add fastcover to symbol.c

* Add fastCover.c and cover.h to build

* Change fastCover.c to fastcover.c

* Update benchmark to run FASTCOVER in dictBuilder

* Undo spliting fastcover_param into cover_param and f

* Remove convert param functions

* Assign f to parameter

* Add zdict.h to Makefile in lib

* Add cover.h to BUCK

* Cast 1 to U64 before shifting

* Remove trimming of zero freq head and tail in selectSegment and rebenchmark

* Remove f as a separate parameter of tryParam

* Read 8 bytes when d is 6

* Add trimming off zero frequency head and tail

* Use best functions from COVER and remove trimming part(which leads to worse compression ratio after previous bugs were fixed)

* Add finalize= argument to FASTCOVER to specify percentage of training samples passed to ZDICT_finalizeDictionary

* Change nbDmer to always read 8 bytes even when d=6

* Add skip=# argument to allow skipping dmers in computeFrequency in FASTCOVER

* Update comments and benchmarking result

* Change default method of ZDICT_trainFromBuffer to ZDICT_optimizeTrainFromBuffer_fastCover

* Add dictType enum and fix bug about passing zParam when converting to coverParam

* Combine finalize and skip into a single parameter

* Update acceleration parameters and benchmark on 3 sample sets

* Change default splitPoint of FASTCOVER to 0.75 and benchmark first 3 sample sets

* Initialize variables outside of for loop in benchmark.c

* Update benchmark result for hg-manifest

* Remove cover.h from install-includes

* Add explanation of f

* Set default compression level for trainFromBuffer to 3

* Add assertion of fastCoverParams in DiB_trainFromFiles

* Add checkTotalCompressedSize function + some minor fixes

* Add test for multithreading fastCovr

* Initialize segmentFreqs in every FASTCOVER_selectSegment and move mutex_unnlock to end of COVER_best_finish

* Free segmentFreqs

* Initialize segmentFreqs before calling FASTCOVER_buildDictionary instead of in FASTCOVER_selectSegment

* Add FASTCOVER_MEMMULT

* Minor fix

* Update benchmarking result

Merge pull request #1287 from tgurr/cmake-docdir

Use GNUInstallDirs DOCDIR for installing the manual

Merge pull request #1290 from edenzik/ezik/1119-safe-strcpy-in-fileio

Fixed unsafe string copy and concat in `fileio.c`.

Fixed unsafe string copy and concat in `fileio.c`.

Per warnings from flawfinder: "Does not check for buffer overflows when
copying to destination [MS-banned] (CWE-120). Consider using snprintf,
strcpy_s, or strlcpy (warning: strncpy easily misused).".

Replaced called to strcpy and strcat in `fileio.c` to calls with a
specified size (`strncpy` and `strncat`).

Tested the changes on OSX, Linux, Windows.
On OSX + Linux, changes were tested with ASAN. The following flags were
used: 'check_initialization_order=1:strict_init_order=1:detect_odr_violation=1:detect_stack_use_after_return=1'

To reproduce warning:
./flawfinder.py ./programs/fileio.c

Merge pull request #1285 from facebook/scanbuild

static analyzer tests

Use GNUInstallDirs DOCDIR for installing the manual

Merge pull request #1284 from GeorgeLu97/negativeLvlDisplay

Fix negative lvl display value

Clarify README

Fix negative lvl display value

Also fix synthetic benchmark parameter setting

Makefile: added variable SCANBUILD

so that a different version of scan-build can be selected

fixed more issues detected by recent version of scan-build

test run on Linux

Merge pull request #1281 from GeorgeLu97/cleanUp

Clean up paramgrill code

added static analyzer tests to travis CI

fix scope of scan-build tests

exclude zlib code

ensure dependency for zlib wrapper

prune comments

Move Stuff around

Group similar functions together, remove outdated comments

consts

Remove unused stuff

Merge pull request #1280 from GeorgeLu97/betterDisplay

Better Paramgrill Display

fixed minor warnings issued by scan-build

clarify display README

Fix wraparound

silencing params

Clean up repetitive display

Add documentation

-q -v options

begin display changes

Merge branch 'dev' into scanbuild

Merge pull request #1277 from GeorgeLu97/mtoptions

memoTableOptions

Add memoTable options

-hashing memotable
-no memotable

fixed several minor issues detected by scan-build

only notable one :
writeNCount() resists better vs invalid distributions
(though it should never happen within zstd anyway)

Merge pull request #1279 from GeorgeLu97/benchSA

Fix scan-build warnings in bench.c

MAke it easier to add params

Make memoTable size limited

Temp fix perf regression

Merge pull request #1276 from GeorgeLu97/fadt

forceAttachDict

Fix scan-build warnings in bench.c

forceAttachDict

Add Time Checks
Fix double -> U64 display

Reduce Duplication

Change Defaults
Asserts actually disabled in paramgrill + fullbench

Doc Updates

Add option to pass in existing parameters in use

Merge pull request #1275 from GeorgeLu97/multilvl

MultiLvl

scan-build

rebase clevel

Merge pull request #1278 from edenzik/fb/ezik/better-cmake-support-1081

Cmake now builds with CMAKE_BUILD_TYPE=Release by default

Cmake now builds with CMAKE_BUILD_TYPE=Release by default, both while
being invoked from the main Makefile (via cmakebuild) or directly from
the build/cmake directory. Suggested by @pdknsk (#1081).

strategy switching

Update fulltable to use same interface

Add seperateFiles flag

Renames, Documentation Updates

Style Changes

Add single run dictionaries
Change MB to be consistent 1 << 20 rather than 1,000,000

Cleanup

Generalize, macro magic numbers

Perf improvements

try decay
strategy selection skipping

Better Display

Bugfixes, style changes

Complete euclidean distance climb

New climb

feas part 2 uses euclidean metric

Table

Compiling
+Euclidean Metric

Revert "Reorder declaration"

This reverts commit 3ac2c22485ab5508f47e3eab642b787af0e68b5f.

Revert "Default lvl 1"

This reverts commit 0cc75d6ee02efe9da7901848ce588a7f9f61b4f9.

Merge pull request #1236 from GeorgeLu97/paramgrillconstraints

ParamgrillConstraints

Default lvl 1

MB to 2^20

Reorder declaration

fixed assert() condition

minor code comments improvements

Merge pull request #1273 from facebook/zstdgrep

added zstdgrep documentation

added zstdgrep documentation

presenting `zstdgrep` limit regarding dictionary compression
with workaround recommended by @tobwen (#1268)

Remove ctx from benchMem

Add consts

+ fix gcc-8 warnings

argument parsing cleanup

+ clarifying comment

Readability improvements, renaming

const srcPtrs

Change speed representation from floating point to integral

Update Documentation

Change comment // to  /* */
Add more description of what functions do
Remove outdated comments

Renaming / Style fixes

Separate capacity vs size

Also:
Make suggested fixes
-varInds_t
-reorder some arguments
-remove code duplication
-update README / -h
-Fix memory leaks

Fix windows implicit casting bugs

Add Levels

BenchMem with block compressed sizes passed back up

Total Changes:

Add different constraint types (decompression speed, compression memory, parameter constraints)
Separate search space by strategy + strategy selection
Memoize results
Real random restarts
Support multiple files
Support Dictionary inputs
Debug Macro for extra printing

Dictionary + Multiple file Loading

Not crashing

Working V1

Parses additional parameters

Additional constraint checking

Minor fixes

more param parsing

Add Memory

Change paramVariation

work on feasibility

reformat bench

Changed Paramgrill to use bench.c benchmarking

customlevel macro

Printing Flag

Minor changes

Explicit casting

Makefile fix

casting, type fix

Printing Flag

Minor Changes

comments, helper fn's

Merge pull request #1272 from facebook/travisTest

gcc-8 travis test

Merge pull request #1271 from felixhandte/circleci-2.0-config

Migrate Config to CircleCI 2.0

Preserve Commented-Out Longer Tests

some errors may only happen when optimizations are enabled

Remove Old CircleCI Config