changed naming to ZSTD_indexTooCloseToMax()

Also : minor speed optimization :
shortcut to ZSTD_reset_matchState() rather than the full reset process.
It still needs to be completed with ZSTD_continueCCtx() for proper initialization.

Also : changed position of LDM hash tables in the context,
so that the "regular" hash tables can be at a predictable position,
hence allowing the shortcut to ZSTD_reset_matchState() without complex conditions.

prefer memset() rather than reduceIndex() when close to index range limit

by disabling continue mode when index is close to limit.

benchfn : added macro macro CONTROL()

like assert() but cannot be disabled.
proper separation of user contract errors (CONTROL())
and invariant verification (assert()).

Merge pull request #1626 from LeeYoung624/dev

add cmake lz4 support

Merge pull request #1655 from terrelln/regression-test

[regression] Update results for small wlog patch PR#1624

[regression] Update results for small wlog patch PR#1624

Merge pull request #1647 from LeeYoung624/cmake_bug_fix

CMake bug fix: didn't install zstdless and zstdgrep.

Merge pull request #1640 from felixhandte/lstat-macro-guard

Protect lstat() With Better Macro Guard

Merge pull request #1624 from facebook/smallwlog

Improves compression ratio for small windowLog

Merge pull request #1650 from scharan/RemoveExportsForStaticLibrary

Remove ZSTD_DLL_EXPORT=1 for static lib

Merge pull request #1644 from chungy/chmod_600

[programs] set chmod 600 after opening destination file

Remove ZSTD_DLL_EXPORT=1 for static lib

As a principle, static libs should not dllexport methods, that should only be used when building DLLs.

Case in point: when static libs with dllexport directives are linked into DLLs created with a .def file, the VC++ compiler exports the dllexported methods into the DLL, in addition to the exports listed in the .def file. This will result in undesired link dependencies and is not the correct thing to do.

Install zstdless & zstdgrep as 'PROGRAMS' in CMake

Merge pull request #1620 from michaelforney/test-no-threads

Skip --adapt and --rsyncable tests when built without thread support

Merge pull request #1646 from terrelln/oss-fuzz

[fuzz] Remove max_len from the options

Merge pull request #4 from facebook/dev

merge

Merge pull request #1619 from j301scott/dev

CMake: Check for existing custom target 'uninstall'

[fuzz] Remove max_len from the options

Add Contbuild Test for C99 Build

Merge pull request #1642 from Absotively/dev

VS2010 project settings improvements

[programs] Don’t try to chmod a dst file if it can’t be opened

Repairs an oversight in my last commit, thanks @Cyan4973

[programs] set chmod 600 after opening destination file

This resolves a race condition where zstd or unzstd may expose read
permissions beyond the original file allowed.  Mode 600 is used
temporarily during the compression and decompression write stage
and the new file inherits the original file’s mode at the end.

Fixes #1630

In VS2010+, turn off assembler output for libzstd & libzstd-dll, and don't export functions from libzstd

Switch Macro Guarding lstat()

Clean Up Temp Files Produced By playTests.sh

Merge pull request #1635 from terrelln/opt-opt

[libzstd] Optimize ZSTD_insertBt1() for repetitive data

[regression] Update results.csv

[libzstd] Optimize ZSTD_insertBt1() for repetitive data

We would only skip at most 192 bytes at a time before this diff.
This was added to optimize long matches and skip the middle of the
match. However, it doesn't handle the case of repetitive data.

This patch keeps the optimization, but also handles repetitive data
by taking the max of the two return values.

```
> for n in $(seq 9); do echo strategy=$n; dd status=none if=/dev/zero bs=1024k count=1000 | command time -f %U ./zstd --zstd=strategy=$n >/dev/null; done
strategy=1
0.27
strategy=2
0.23
strategy=3
0.27
strategy=4
0.43
strategy=5
0.56
strategy=6
0.43
strategy=7
0.34
strategy=8
0.34
strategy=9
0.35
```

At level 19 with multithreading the compressed size of `silesia.tar` regresses 300 bytes, and `enwik8` regresses 100 bytes.
In single threaded mode `enwik8` is also within 100 bytes, and I didn't test `silesia.tar`.

Fixes Issue #1634.

Merge pull request #1632 from ephiepark/dev

CircleCI : use custom Docker Image with pre-installed dependencies

Merge pull request #1633 from yk-tanigawa/patch-1

Update README.md

Update README.md

Fix minor typo in the documentation.

Merge branch 'dev' of https://github.com/ephiepark/zstd into dev

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

Merge pull request #2 from ephiepark/circleci

CircleCI : use custom Docker Image with pre-installed dependencies

Merge pull request #1631 from ephiepark/dev

zstdcli : expose cpu load indicator for each file on -vv mode

Merge pull request #1629 from facebook/streamSize

Added comments on I/O buffer sizes for streaming

circleci : remove install dependencies command from config.yml

circleci : use custom docker image with installations

better title formatting for html documentation

must pay attention to /** and /*! patterns.

Added comments on I/O buffer sizes for streaming

It seems this is still a confusing topic,
as in https://github.com/klauspost/compress/issues/109 .

zstdcli : align output message with previous message

zstdcli : remove extra semicolon

zstdcli : trying to fix declaration after statement

zstdcli : moving cpu load calculation from FIO_compressFilename_dstFile to FIO_compressFilename_internal

zstdcli : fixing mixed declarations and code error

zstdcli : moving start time and cpu initialization after potential prompt

zstdcli : exposing cpu load indicator for each file on -vv mode

add cmake lz4 support
add some instructions for build/cmake/README.md

removed UINT32_MAX

apparently not guaranteed on all platforms,
replaced by UINT_MAX.

fixed wrong assert in double_fast

minor code cleaning for new index invalidation strategy

make double_fast compatible with new index invalidation strategy

Made fast strategy compatible with new offset validation strategy

fast mode does the same thing as before :
it pre-emptively invalidates any index that could lead to offset > maxDistance.
It's supposed to help speed.

But this logic is performed inside zstd_fast,
so that other strategies can select a different behavior.

extended exact window size to greedy/lazy modes

first implementation of small window size for btopt

noticeably improves compression ratio
when window size is small (< 18).

enwik7 level 19

windowLog `dev` `smallwlog` improvement
23 3.577 3.577 0.02%
22 3.536 3.538 0.06%
21 3.462 3.467 0.14%
20 3.364 3.377 0.39%
19 3.244 3.272 0.86%
18 3.110 3.166 1.80%
17 2.843 3.057 7.53%
16 2.724 2.943 8.04%
15 2.594 2.822 8.79%
14 2.456 2.686 9.36%
13 2.312 2.523 9.13%
12 2.162 2.361 9.20%
11 2.003 2.182 8.94%

Merge pull request #1623 from facebook/fullbench

fullbench minor improvements

consistency : changed constant name to kSampleSizeDefault

as suggested by @terrelln.

added <assert.h> include

define CONTROL, to ensure check cannot be disabled

assert() can be disabled with NDEBUG

fullbench : minor refactoring, for readability

fullbench: pass proper parameters in scenario 43

Merge pull request #1622 from facebook/nextToUpdate3

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

fullbench 43: ensure context is freed after each usage

fullbench: added streaming with fresh CCtx scenario

worst case situation, where context must be recreated every time
but without knowledge of the input size
thus sizing the context for some large input.

fullbench can now select sample size with command `-B#`

removed nextToUpdate3 from ZSTD_window

it's now a local variable of ZSTD_compressBlock_opt()

get bt matches : made it a bit clearer which parameters are input and output

nextToUpdate3 does not need to be maintained outside of zstd_opt.c

It's re-synchronized with nextToUpdate at beginning of each block.
It only needs to be tracked from within zstd_opt block parser.

Made the logic clear, so that no code tried to maintain this variable.

An even better solution would be to make nextToUpdate3
an internal variable of ZSTD_compressBlock_opt_generic().
That would make it possible to remove it from ZSTD_matchState_t,
thus restricting its visibility to only where it's actually useful.

This would require deeper changes though,
since the matchState is the natural structure to transport parameters into and inside the parser.

complementary code comments

on variables used / impacted during maxDist check

added comments to better understand enforceMaxDist()

Skip --adapt and --rsyncable tests when built without thread support

These options require ZSTD_MULTITHREAD.

CMake: Check for existing custom target 'uninstall'

Merge pull request #1618 from felixhandte/zstgrep-f-flag

Handle `-f` Flag in `zstgrep`

Add Test

zstdgrep: Handle -f Flag

Build Manual

[dictBuilder] Be more specific than ERROR(generic) (#1616)

* Specify errors at a finer granularity than `ERROR(generic)`.
* Add tests for bad parameters in the dictionary builder.

Merge pull request #1613 from neheb/patch-1

fileio: Disable BACKTRACE under uClibc

fileio: Disable BACKTRACE under uClibc

uClibc does not support BACKTRACE. It also defines __GLIBC__ and minor as both 2.
This fixes compilation under such a setup.

Merge pull request #1610 from terrelln/pool-test

[test] Fix poolTests deadlock and flakiness

[tests] Only sleep 10ms in poolTests

[test] Fix poolTests deadlock and flakiness

meson: Enable testing in CI (#1609)

* tests: Fix shellcheck warnings in playTests.sh

* tests: Do not use ../programs which is relative to tests dirs

This commit fixes error when running playTests.sh in Meson.
Mesonbuild runs out of tree, so ./datagen not in `zstd/tests` dir,
it lies in <mesonbuilddir>/tests. This leads to ../programs invalid.

* tests: Replace relative paths for zstd/tests dir

* playTests: Set shell options explicitly, not in shebang

* playTests: Replace echo -e with printf

* meson: Fix test-zstd

Use std=gnu99 to build and test just like `make test`.

* meson: Fix legacy test

* meson: Enable testing in CI

Run build under release mode for faster test time.

* meson: Increase timeout time for test-zstream

Merge pull request #1602 from lzutao/meson

meson: Update default project version

meson: Error out if fail to extracted version number

Merge pull request #1604 from vejnar/dev

Make zstdcat to follow symbolic links

add test for zstdcat and zcat on symlink

Merge pull request #1603 from sjnam/examples-test-fail

fails to "make test" in examples

set followLinks option true to cat, zcat and gzcat programs

fix test fail

meson: Update default project version

* Update to use ninja v1.9.0 on CI

Merge pull request #1600 from myzhang1029/long-tell

Fix #1591 - Not building on MinGW-W64

Fix #1591 - Not building on MinGW-W64

Add a static function LONG_TELL for the forth #if branch

Merge pull request #1598 from terrelln/decode-seq

[libzstd] Error if all sequence bits aren't consumed

[libzstd] Add a ZSTD_STATIC_ASSERT for BIT_DStream_status

[libzstd] Error if all sequence bits aren't consumed

Merge pull request #1595 from terrelln/legacy-fix

[legacy] Fix ZSTDv0*_decodeSequence()

[legacy] Fix ZSTDv0*_decodeSequence()

* Version <= 0.5 could read beyond the end of `dumps`, which points into
  the input buffer.
* Check the validity of `dumps` before using it, if it is out of bounds
  return garbage values. There is no return code for this function.
* Introduce `MEM_readLE24()` for simplicity, since I don't want to trust
  that there is an extra byte after `dumps`.

Merge pull request #1594 from terrelln/legacy-fix

[legacy] Fix Huffman jump table reads in v01 and v05

[legacy] Fix Huffman jump table reads in v01 and v05