updated documentation of *refPrefix()

indicating the equivalence with `diff` operation.

Merge pull request #1321 from bket/non-portable

'head -c BYTES' is non-portable.

Merge pull request #1324 from ko-zu/fixclangcode

Fix largeNbDicts bench for clangbuild

'head -c BYTES' is non-portable.

tests/playTests.sh uses 'head -c' in a couple of tests to truncate the
last byte of a file. The '-c' option is non-portable (not in POSIX).
Instead use a wrapper around dd (truncateLastByte).

Merge pull request #1322 from azat-archive/seekable-fixes-pull

Fixes read write past end of input buffer.

Fix largeNbDicts bench for clangbuild

Remove unsigned to size_t promotion to fix implicit down conversion errors in clangbuild target.

seekable_decompression: support offset greater then UNIT_MAX

zstdseek_decompress: fix decompression with data left in input buffer

Merge pull request #1319 from ko-zu/fixclangbuild

Fix clang build

Fix clang build

Fix dixygen comment
Fix clang binary path

minor code comment update

Merge pull request #1295 from felixhandte/hdr-intro-comment-negative-lvls

Proposed Update to Zstd.h Introduction Comment

Merge pull request #1316 from facebook/coldDict

Cold dictionary mitigation

updated code comments, based on @terrelln review

fixed msan error

cold dictionary is detected through a comparison with dictEnd,
which was not initialized at the beginning of first DCtx usage.

final parameter tuning

clean traces

fixed PREFETCH() macro

for corner cases and platforms without this instruction

Merge pull request #1315 from cmcginty/dev

Add build define to manually enable -rdynamic LD flag

conditional dict content prefetching

based on nbSeq.

Add build define to manually enable -rdynamic LD flag

Merge pull request #1314 from terrelln/cpuid

[libzstd] Fix cpu for MSFT ARM

adjust heuristic decisions

Also allow x86

largeNbDicts : can select a nb of blocks

will automatically truncate or repeat input as needed,
to create the requested nb of blocks.
default: nb of files, eventually increased appropriately if blockSize is set

[libzstd] Fix cpu for MSFT ARM

The `__cpuid()` and `__cpuidex()` intrinsics are only available
on x86 and x86_64.

added conditional prefetch

depending on amount of work to do.

Merge pull request #1311 from cmcginty/dev

Print a stack trace on unexpected term signal (e.g. SIGABRT)

implemented first prefetch

based on dictID.
dictContent is prefetched up to 32 KB
(no contentSize adaptation)

Disable -rdynamic LD option on Windows

Update comments, and LD flag usage in Make

Remove dead code and method name typo

Move ABRThandler func out of internal lib

Refactor abort signal handling

- Print signal name to term
- Add -rdynamic option to generate Linux symbol names in backtrace
- Raise default signal after handler to ensure program termination

Merge pull request #1310 from facebook/Dworkspace

 reduce DDict size by 2KB

added comment about minimum size of FSE tables

required for DDict creation,
which use this space as workspace during Hufman table building stage.

Merge pull request #1307 from facebook/spec

spec clarification

Print a stack trace on unexpected term signal (e.g. SIGABRT)

For OSX and Linux, add a signal handler to SIGABRT, SGIFPE, SIGILL,
SIGSEGV, and SIGBUS. When the program terminates unexpectedly the
handler will print the current stack to the terminal to help determine
the location of the failure.

On OSX the output will look like:

```
Stack trace:
4   zstd                                0x000000010927ed96 main + 16886
5   libdyld.dylib                       0x00007fff767d1015 start + 1
6   ???                                 0x0000000000000001 0x0 + 1
```

On Linux the output will look like:

```
Stack trace:
./zstd() [0x4b8e1b]
./zstd() [0x4b928a]
./zstd() [0x403dc2]
/lib64/libc.so.6(__libc_start_main+0xf5) [0x7f5e0fbb0445]
./zstd() [0x405754]
```

As is, the code does not function on WIN32.

See also: https://oroboro.com/stack-trace-on-crash/

Merge pull request #1309 from facebook/islink

fixed UTIL_isLink() for Mac OS-X

strengthened conditions for using workplace into fse table space

ensure that the structure layout is as expected.
will trigger an error if it changes in the future.

Another solution would be to use a union,
this would be cleaner and get rid of these static asserts.

However, in order to keep the current code unmodified,
it would be necessary to use an un-named unions.
And apparently, un-named unions are only possible on "recent" compilers (C99+).

Merge branch 'islink' into Dworkspace

fixed UTIL_isLink() for Mac OS-X

reduced DDict size, by -2KB

corresponding to the removal of workspace
which is needed while building huffman table
and is now either present in DCtx,
or temporarily borrowed from available FSE table space.

Merge pull request #1308 from facebook/codeofconduct

added code of conduct

added code of conduct

as requested by Facebook OSS program.

Merge pull request #1304 from facebook/largeNbDicts

contrib/largeNbDicts

fixed minor static analyzer warning

spec clarification

following #1305 comments from @ulikunitz

Merge pull request #1306 from jennifermliu/dev

Change default f of FASTCOVER to 20

Change default f to 20

Merge pull request #1302 from jennifermliu/splitpoint

 Always use splitPoint=1.0 for non-optimize cover and fastcover and some minor changes on comments

updated documentation

silenced false-positive scan-build warning

Merge pull request #1303 from cmcginty/dev

Zstandard - better `make list`

Add optional description field support to "list" target

fixed link order for old compilers

minor : createDictionaryBuffer() can create dictionaries of different sizes

fixed minor compatibility issues with older compilers

Update comment about default dictionary builder

Update comment on default steps of cover and fastcover

-std=c99 for largeNbDicts

Always use splitPoint=1.0 for non-optimize cover and fastcover

Merge branch 'dev' of github.com:facebook/zstd into dev

largeNbDicts compatible with multiple source files

splitting is disabled by default, but can be re-enabled using usual command -B#
update commands to look like zstd ones

make all includes contrib/largeNbDicts

added a README

for documentation

increases randomness of ddict ptrs

level, block size and nb dicts can be set on command line

Merge pull request #1301 from terrelln/lit-size

[zstd] Fix seqStore growth

first working test program

measures :
- compression ratio with / without dictionary
- create one dictionary per block
- memory budget for dictionaries
- decompression speed, using one different dictionary per block

current limitations :
- only one file
- 4K blocks only
- automatic dictionary built with 4K size

dictionary can be selected on command line, with -D

Fix decodecorpus

Small test fixes

[zstd] Fix seqStore growth

We could undersize the literals buffer by up to 11 bytes,
due to a combination of 2 bugs:
* The literals buffer didn't have `WILDCOPY_OVERLENGTH` extra
  space, like it is supposed to.
* We didn't check the literals buffer size in `ZSTD_sufficientBuff()`.

[fuzzer] Test growing the seqStore_t

Merge pull request #1298 from facebook/bench

Refactored bench.c

Merge branch 'bench' into largeNbDicts

timedFn : measurement delay is programmable

instead of hard-coded 1 second per measurement

Merge pull request #1299 from modbw/dev

Fixed memory leak detected by cppcheck

Fixed memory leak detected by cppcheck

cppcheck (which is run regularly in our CI environment)  detected a possible memory leak.

paramgrill: removed useless tests

designed to compensate iter_mode,
but since only time_mode is available now,
all tests are guaranteed to last a minimum amount of time.

paramgrill: fixed a bunch of div-by-zero

they were pretty easy to trigger by the way,
just start an extended paramgrill session
to find a compression table based on any sample,
it would necessarily happen at some point.

restored assert() in paramgrill

assert() in paramgrill are not in the benchmark path.
They should remain active, as they don't impact measurements, and their runtime is insignificant.

largeNbDicts can compress and compare dict vs noDict

Merge branch 'bench' into largeNbDicts

bench: minor api update, for consistency

BMK_benchTimedFn()
BMK_isCompleted_TimedFn() uses TimedFnState

first sketch for largeNbDicts test program

fixed minor warnings

valgrind: memory leak of a few bytes in fullbench
static analyzer: uninitialized data passed as result

Merge pull request #1297 from felixhandte/check-offset-table

Fix Missing Offset Table Check

bench: reduce nb of return type

runOutcome is enough
removed timedFnOutcome

fix minor warnings

gcc : prototype with 0 parameter must be labelled (void)
visual : const property must be identical in both declaration and implementation

Mark Repeated Offset Table as Needing Check

Add Failing Test

fixed fullbench behavior

now same as v1.3.5

fixed zstd -b speed result

the benchmark was displaying the speed of last run
instead of the best of all previous runs.

Fix decodecorpus

Fix compiler warning

[zstd] Add note about empty ZSTD_CDict

[zstd] Reuse the ZSTD_CCtx more often with small data.

fixed paramgrill

to work with new bench.c

introduced MB_UNIT

so that all benchmarking programs use the same speed scale