fix gitignore errors

Merge pull request #1671 from ephiepark/dev

Adding targetCBlockSize param

Adding targetCBlockSize param

[fuzz] Add a compression fuzzer with randomly sized output buffer (#1670)

ZSTD_compressSequences_internal assert op <= oend (#1667)

When we wrote one byte beyond the end of the buffer for RLE
blocks back in 1.3.7, we would then have `op > oend`. That is
a problem when we use `oend - op` for the size of the destination
buffer, and allows further writes beyond the end of the buffer for
the rest of the function. Lets assert that it doesn't happen.

Merge pull request #1658 from facebook/memset

memset() rather than reduceIndex()

Merge pull request #1664 from ephiepark/dev

decodecorpus

Merge pull request #7 from ephiepark/decodecorpus

reflect code review comments

reflect code review comments

Merge pull request #1665 from lzutao/meson-deprecated-warnings

meson: Fix deprecated build warnings on build options

meson: Always build gen_html on build machine

Because we use gen_html as a generator instead of a binary to
run on host machine.

meson: Fix deprecated build warnings on build options

Meson now reserves the `build_` prefix for options

meson: Beautify travis config

Merge pull request #6 from ephiepark/decodecorpus

Add test case for short bistream

Add test case for short bistream

Adding shrinking flag for cover and fastcover (#1656)

* Changed ERROR(GENERIC) excluding inits

* editing git ignore

* Edited init functions to size_t returns

* moved declarations earlier

* resolved issues with changes to init functions

* fixed style and an error check

* attempting to add tests that might trigger changes

* added && die to cases expecting to fail

* resolved no die on expected failed command

* fixed accel to be incorrect value

* Adding an automated shrinking option

* Fixing build

* finalizing fixes

* fix?

* Removing added comment in cover.h

* Styling fixes

* Merging with fb dev

* removing megic number for default regression

* Requested revisions

* fixing support for fast cover

* fixing casting errors

* parenthesis fix

* fixing some build nits

* resolving travis ci syntax

* might resolve all compilation issues

* removed unused variable

* remodeling the selectDict function

* fixing bad memory access

* fixing error checks

* fixed erroring check in selectDict

* fixing mixed declarations

* modify mixed declaration

* fixing nits and adding test cases

* Adding requested changes + fixed bug for error checking

* switched double comparison from != to <

* fixed declaration typing

* refactoring COVER_best_finish() and changing shrinkDict

* removing the const's

* modifying ZDICT_optimizeTrainFromBuffer_cover functions

* fixing potential bad memcpy

* fixing the error function for dict size

Merge pull request #5 from ephiepark/decodecorpus

Decodecorpus

Fix a constraint stricter than the spec

enable repeat mode on rle

changed naming to ZSTD_indexTooCloseToMax()

Also : minor speed optimization :
shortcut to ZSTD_reset_matchState() rather than the full reset process.
It still needs to be completed with ZSTD_continueCCtx() for proper initialization.

Also : changed position of LDM hash tables in the context,
so that the "regular" hash tables can be at a predictable position,
hence allowing the shortcut to ZSTD_reset_matchState() without complex conditions.

Merge pull request #1659 from terrelln/big-dict

Fix data corruption in niche use case

[tests] Add tests for big dictionaries

prefer memset() rather than reduceIndex() when close to index range limit

by disabling continue mode when index is close to limit.

benchfn : added macro macro CONTROL()

like assert() but cannot be disabled.
proper separation of user contract errors (CONTROL())
and invariant verification (assert()).

[zstd] Fix data corruption in niche use case

* Extract the overflow correction into a helper function.
* Load the dictionary `ZSTD_CHUNKSIZE_MAX = 512 MB` bytes at a time
  and overflow correct between each chunk.

Data corruption could happen when all these conditions are true:

* You are using multithreading mode
* Your overlap size is >= 512 MB (implies window size >= 512 MB)
* You are using a strategy >= ZSTD_btlazy
* You are compressing more than 4 GB

The problem is that when loading a large dictionary we don't do
overflow correction. We can only load 512 MB at a time, and may
need to do overflow correction before each chunk.

[zstdmt] Update assert to use ZSTD_WINDOWLOG_MAX

[opt] Add asserts for corruption in ZSTD_updateTree()

Merge pull request #1626 from LeeYoung624/dev

add cmake lz4 support

Merge pull request #1655 from terrelln/regression-test

[regression] Update results for small wlog patch PR#1624

[regression] Update results for small wlog patch PR#1624

Merge pull request #1647 from LeeYoung624/cmake_bug_fix

CMake bug fix: didn't install zstdless and zstdgrep.

Merge pull request #1640 from felixhandte/lstat-macro-guard

Protect lstat() With Better Macro Guard

Merge pull request #1624 from facebook/smallwlog

Improves compression ratio for small windowLog

Merge pull request #1650 from scharan/RemoveExportsForStaticLibrary

Remove ZSTD_DLL_EXPORT=1 for static lib

Merge pull request #1644 from chungy/chmod_600

[programs] set chmod 600 after opening destination file

Remove ZSTD_DLL_EXPORT=1 for static lib

As a principle, static libs should not dllexport methods, that should only be used when building DLLs.

Case in point: when static libs with dllexport directives are linked into DLLs created with a .def file, the VC++ compiler exports the dllexported methods into the DLL, in addition to the exports listed in the .def file. This will result in undesired link dependencies and is not the correct thing to do.

Install zstdless & zstdgrep as 'PROGRAMS' in CMake

Merge pull request #1620 from michaelforney/test-no-threads

Skip --adapt and --rsyncable tests when built without thread support

Merge pull request #1646 from terrelln/oss-fuzz

[fuzz] Remove max_len from the options

Merge pull request #4 from facebook/dev

merge

Merge pull request #1619 from j301scott/dev

CMake: Check for existing custom target 'uninstall'

[fuzz] Remove max_len from the options

Add Contbuild Test for C99 Build

Merge pull request #1642 from Absotively/dev

VS2010 project settings improvements

[programs] Don’t try to chmod a dst file if it can’t be opened

Repairs an oversight in my last commit, thanks @Cyan4973

[programs] set chmod 600 after opening destination file

This resolves a race condition where zstd or unzstd may expose read
permissions beyond the original file allowed.  Mode 600 is used
temporarily during the compression and decompression write stage
and the new file inherits the original file’s mode at the end.

Fixes #1630

In VS2010+, turn off assembler output for libzstd & libzstd-dll, and don't export functions from libzstd

Switch Macro Guarding lstat()

Clean Up Temp Files Produced By playTests.sh

Merge pull request #1635 from terrelln/opt-opt

[libzstd] Optimize ZSTD_insertBt1() for repetitive data

[regression] Update results.csv

[libzstd] Optimize ZSTD_insertBt1() for repetitive data

We would only skip at most 192 bytes at a time before this diff.
This was added to optimize long matches and skip the middle of the
match. However, it doesn't handle the case of repetitive data.

This patch keeps the optimization, but also handles repetitive data
by taking the max of the two return values.

```
> for n in $(seq 9); do echo strategy=$n; dd status=none if=/dev/zero bs=1024k count=1000 | command time -f %U ./zstd --zstd=strategy=$n >/dev/null; done
strategy=1
0.27
strategy=2
0.23
strategy=3
0.27
strategy=4
0.43
strategy=5
0.56
strategy=6
0.43
strategy=7
0.34
strategy=8
0.34
strategy=9
0.35
```

At level 19 with multithreading the compressed size of `silesia.tar` regresses 300 bytes, and `enwik8` regresses 100 bytes.
In single threaded mode `enwik8` is also within 100 bytes, and I didn't test `silesia.tar`.

Fixes Issue #1634.

Merge pull request #1632 from ephiepark/dev

CircleCI : use custom Docker Image with pre-installed dependencies

Merge pull request #1633 from yk-tanigawa/patch-1

Update README.md

Update README.md

Fix minor typo in the documentation.

Merge branch 'dev' of https://github.com/ephiepark/zstd into dev

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

Merge pull request #2 from ephiepark/circleci

CircleCI : use custom Docker Image with pre-installed dependencies

Merge pull request #1631 from ephiepark/dev

zstdcli : expose cpu load indicator for each file on -vv mode

Merge pull request #1629 from facebook/streamSize

Added comments on I/O buffer sizes for streaming

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

better title formatting for html documentation

must pay attention to /** and /*! patterns.

Added comments on I/O buffer sizes for streaming

It seems this is still a confusing topic,
as in https://github.com/klauspost/compress/issues/109 .

zstdcli : align output message with previous message

zstdcli : remove extra semicolon

zstdcli : trying to fix declaration after statement

zstdcli : moving cpu load calculation from FIO_compressFilename_dstFile to FIO_compressFilename_internal

zstdcli : fixing mixed declarations and code error

zstdcli : moving start time and cpu initialization after potential prompt

zstdcli : exposing cpu load indicator for each file on -vv mode

add cmake lz4 support
add some instructions for build/cmake/README.md

removed UINT32_MAX

apparently not guaranteed on all platforms,
replaced by UINT_MAX.

fixed wrong assert in double_fast

minor code cleaning for new index invalidation strategy

make double_fast compatible with new index invalidation strategy

Made fast strategy compatible with new offset validation strategy

fast mode does the same thing as before :
it pre-emptively invalidates any index that could lead to offset > maxDistance.
It's supposed to help speed.

But this logic is performed inside zstd_fast,
so that other strategies can select a different behavior.

extended exact window size to greedy/lazy modes

first implementation of small window size for btopt

noticeably improves compression ratio
when window size is small (< 18).

enwik7 level 19

windowLog `dev` `smallwlog` improvement
23 3.577 3.577 0.02%
22 3.536 3.538 0.06%
21 3.462 3.467 0.14%
20 3.364 3.377 0.39%
19 3.244 3.272 0.86%
18 3.110 3.166 1.80%
17 2.843 3.057 7.53%
16 2.724 2.943 8.04%
15 2.594 2.822 8.79%
14 2.456 2.686 9.36%
13 2.312 2.523 9.13%
12 2.162 2.361 9.20%
11 2.003 2.182 8.94%

Merge pull request #1623 from facebook/fullbench

fullbench minor improvements

consistency : changed constant name to kSampleSizeDefault

as suggested by @terrelln.

added <assert.h> include

define CONTROL, to ensure check cannot be disabled

assert() can be disabled with NDEBUG

fullbench : minor refactoring, for readability

fullbench: pass proper parameters in scenario 43

Merge pull request #1622 from facebook/nextToUpdate3

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

fullbench 43: ensure context is freed after each usage

fullbench: added streaming with fresh CCtx scenario

worst case situation, where context must be recreated every time
but without knowledge of the input size
thus sizing the context for some large input.

fullbench can now select sample size with command `-B#`

removed nextToUpdate3 from ZSTD_window

it's now a local variable of ZSTD_compressBlock_opt()

get bt matches : made it a bit clearer which parameters are input and output

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

It's re-synchronized with nextToUpdate at beginning of each block.
It only needs to be tracked from within zstd_opt block parser.

Made the logic clear, so that no code tried to maintain this variable.

An even better solution would be to make nextToUpdate3
an internal variable of ZSTD_compressBlock_opt_generic().
That would make it possible to remove it from ZSTD_matchState_t,
thus restricting its visibility to only where it's actually useful.

This would require deeper changes though,
since the matchState is the natural structure to transport parameters into and inside the parser.

complementary code comments

on variables used / impacted during maxDist check

added comments to better understand enforceMaxDist()

Skip --adapt and --rsyncable tests when built without thread support

These options require ZSTD_MULTITHREAD.

CMake: Check for existing custom target 'uninstall'

Merge pull request #1618 from felixhandte/zstgrep-f-flag

Handle `-f` Flag in `zstgrep`

Add Test

zstdgrep: Handle -f Flag

Build Manual