Add default distributions and fix typos

Restructure Format Specification

Merge pull request #550 from iburinoc/matchoverlenwrite

execSequence copies up to 2*WILDCOPY_OVERLENGTH extra

Merge pull request #548 from inikep/gz_compress

Circle CI tests

Update overlength match test case

execSequence copies up to 2*WILDCOPY_OVERLENGTH extra

circle.yml: make travis-install

faster start of containers

join tests into pairs

move MOREFLAGS to circle.yml

Merge pull request #549 from iburinoc/matchoverlenwrite

Fix wildcopy overwriting data still in window

more balanced tests

two groups of tests

improved clangtest

imporved test-zstd

Tests for thread 1 (when CIRCLE_NODE_TOTAL=1) or thread 2

final colon

check CIRCLE_NODE_TOTAL

check $CIRCLE_NODE_INDEX

circle.yml: run only short tests

fix travis.yml

.travis.yml: detect "$TRAVIS_EVENT_TYPE" = "cron"

Fix wildcopy overwriting data still in window

Merge branch 'dev' of github.com:facebook/zstd into dev

updated fse version

feature minor refactoring (removing FSE_abs())
also : fix a few minor issues recently introduced in examples

Merge pull request #545 from terrelln/force-window

[zstdmt] Fix MSAN failure with ZSTD_p_forceWindow

added -I/usr/include/x86_64-linux-gnu for asan32

Merge pull request #547 from inikep/dev11

Avoid fseek()'s 2GiB barrier with MacOS and *BSD

added circle.yml

Merge remote-tracking branch 'refs/remotes/facebook/dev' into gz_compress

preset behavior for gzip, gunzip and gzcat

when zstd is called through a link named gzip, gunzip or gzcat,
provides the same behavior as the related program.
gzip compresses using --format=gz
both gzip and gunzip enable --rm by default

Merge pull request #543 from inikep/gz_compress

Gz compress

Don't run test-pool with QEMU

    > make test -n
    ...
    ./pool
    > make test -n QEMU_SYS=valgrind
    ...
    ./legacy
    # ./pool not run

Merge pull request #544 from ds77/avoid-empty

Portable way to avoid empty unit warning in threading.c

fix LONG_SEEK

Merge pull request #546 from zefanxu/dev

fix memory leak

fixed function name (2)

Avoid fseek()'s 2GiB barrier with MacOS and *BSD

Windows resources updated to v1.1.4

removed UTIL_doesFileExists (replaced with UTIL_isRegFile)

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

fixed function name

fix memory leak

[zstdmt] Fix MSAN failure with ZSTD_p_forceWindow

Reproduction steps:

```
make zstreamtest CC=clang CFLAGS="-O3 -g -fsanitize=memory -fsanitize-memory-track-origins"
./zstreamtest -vv -t4178 -i4178 -s4531
```

How to get to the error in gdb (may be a more efficient way):

* 2 breaks at zstd_compress.c:2418  -- in ZSTD_compressContinue_internal()
* 2 breaks at zstd_compress.c:2276  -- in ZSTD_compressBlock_internal()
* 1 break at zstd_compress.c:1547

Why the error occurred:

When `zc->forceWindow == 1`, after calling `ZSTD_loadDictionaryContent()` we
have `zc->loadedDictEnd == zc->nextToUpdate == 0`. But, we've really loaded up
to `iend` into the dictionary. Then in `ZSTD_compressBlock_internal()` we see
that `current > zc->nextToUpdate + 384`, so we load the last 192 bytes a second
time. In this case the bytes we are loading are a block of all 0s, starting in
the previous block. So when we are loading the last 192 bytes, we find a `match`
in the future, 183 bytes beyond `ip`. Since the block is all 0s, the match
extends to the end of the block. But in `ZSTD_count()` we only check that
`pIn < pInLoopLimit`, but since `pMatch > pIn`, `pMatch` eventually points past
the end of the buffer, causing the MSAN failure.

The fix:

The line changed sets sets `zc->nextToUpdate` to the end of the dictionary.
This is the behavior that existed before `ZSTD_p_forceWindow` was introduced.
This fixes the exposing test case. Since the code doesn't fail without
`zc->forceWindow`, it makes sense that this works. I've run the command
`./zstreamtest -T2mn` 64 times without failures. CI should also verify nothing
obvious broke.

push version and NEWS to v1.1.4

avoid empty translation unit warning without #pragma

fixed unitialized variable warning

Resolve conflict with branch 'refs/remotes/facebook/dev'

# Conflicts:
# programs/fileio.c

Merge pull request #536 from iburinoc/multiframe

Simple API multiframe decoding

limit zlib compression level to Z_BEST_COMPRESSION

Merge pull request #542 from ds77/large-sparse-fix

zstdcli: fix writing 2GB+ sparse files under Windows

Merge remote-tracking branch 'refs/remotes/facebook/dev' into gz_compress

# Conflicts:
# programs/Makefile

MinGW-w64 requires _FILE_OFFSET_BITS 64

__builtin_bswap requires gcc 4.3+

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

fix indentation in previous commit

Merge remote-tracking branch 'refs/remotes/facebook/dev' into dev11

fix seeking 2GB+ files under Windows

Replace fseek() in FIO_fwriteSparse() and FIO_fwriteSparseEnd() with macro expanding to 64-bit fseek version provided by the platform (includes  fallback workaround using Win32 API).

Merge pull request #540 from ds77/dev-stat64-fix

zstdcli: Fix reporting incorrect sizes of large flies on MinGW

Merge pull request #541 from inikep/mingw

fixed "mingw32" AppVeyor target

revert last commit

Expose frameSrcSize to experimental API

fix for original MinGW

Merge branch 'dev' into multiframe

use _stati64() in UTIL_getFileSize() when compiling with mingw, get rid of introduces previously preprocessor checks.

Merge remote-tracking branch 'refs/remotes/facebook/dev' into mingw

# Conflicts:
# programs/platform.h

Merge pull request #537 from terrelln/small-bugs

Fix small bugs

fix previous commit

* struct _stat64 is not defined by (non-w64) MinGW releases, __stat64 should be everywhere
* proper detection of _stat64() availability (as in MinGW sys/stat.h)

appveyor.yml: fixed clang test

Merge pull request #538 from iburinoc/errorstring

Fix ZSTD_getErrorString and add tests

Merge pull request #533 from inikep/dev11

--priority=rt

appveyor.yml: reordering of tests

fix missing "

appveyor.yml: add clang target

fixed "mingw32" AppVeyor target

use _stat64 only when targetting Win2k or later

fix 64-bit file support for MinGW

Improvement from @inikep

use _stat64() on MinGW

On MinGW, use _stat64() and struct _stat64 instead of stat() and struct stat_t. This fixes reporting incorrect sizes for large files.

Documentation updates

Fix failing unit test

Merge branch 'dev' into multiframe

Make pledgedSrcSize meaning clear for other functions

- Added tests
- Moved new size functions to static link only

echo replaced with printf

don't use "echo -e"

Merge branch 'dev' into dev11

Merge pull request #535 from terrelln/tests

Remove test-longmatch from test target and only run it once

Fix deprecation warnings for clang with C++14

Fix ZSTD_getErrorString and add tests

#undef _POSIX_C_SOURCE if already defined

Test multiframe legacy decoding with simple and streaming APIs

Disambiguate pledgedSrcSize == 0

- Modify ZSTD CLI to only set contentSizeFlag if it _knows_ the size
- Change pzstd to stop setting contentSizeFlag without accurate pledgedSrcSize

ZSTD_decompress now handles multiple frames

Decompressed size functions now handle multiframes and distinguish cases

- Add ZSTD_findDecompressedSize
    - Traverses multiple frames to find total output size
- Add ZSTD_getFrameContentSize
    - Gets the decompressed size of a single frame by reading header
- Deprecate ZSTD_getDecompressedSize

remove redundant "ifeq ($(HAVE_ZLIB), 1)"

Remove test-longmatch from test target and only run it once

fixed gcc warnings

.gz suffix for gzip compressed files

added FIO_compressGzFrame

add "--format=gzip" option