update aarch64 test to xenial

in an attempt to circumvent the `ld` bug

Merge pull request #1466 from facebook/noDictPresent

fixed : better error message

Merge pull request #1467 from terrelln/regression

[regression] Update results.csv

[regression] Update results.csv

added strerror in comment

as suggested by @felixhandte

Merge pull request #1465 from facebook/noFilePresent

 fixed : detection of non-existing file

fixed : better error message when dictionary missing

during benchmark.
Also : refactored ZSTD_fillHashTable(),
just for readability (it does the same thing)

fixed zlibwrapper examples build

Merge pull request #1420 from felixhandte/zstd-decompress-minimal

Various Macros to Allow Building Extremely Minimal Decoder Library

Merge pull request #1463 from yijinfb/getenv

Add support for environment variable ZSTD_CLEVEL in CLI

fixed shadowing of stat variable

some standard lib declares a `stat` variable at global scope
shadowing local declarations ....

fixed shadowing of variable time

some standard lib do define `time` as a global variable
shadowing local declarations ...

fixed wrong assert condition

fixed file identity detection in 32-bit mode

also :
some library decided to use `index` as a global variable declared in standard header
shadowing the ones used in fastcover.c  :(

fixed stdlib implementation of time functions

generated redefinitions

removed strncpy() from `util.c`

as Visual surprisingly complains about their usage.
Replaced by memcpy()

Mask Off Unused Functions When ZSTD_FORCE_DECOMPRESS_SEQUENCES_LONG

Mask Off Unused Functions When ZSTD_FORCE_DECOMPRESS_SEQUENCES_SHORT

Update Travis Jobs to Run Shorter Tests with -Werror

use strerror() to generate error message

as suggested by @terrelln .

also:
- hopefully fixed Windows version
- changed the test, so that it passes on non-english OS stdlib errors.

change function name: _readU32FromChar() -> readU32FromCharChecked()

fixed 1 transitive include

Merge pull request #1464 from facebook/sysErrStr

add more system error strings

fixed : detection of non-existing file

better error message
with test

make init_cLevel(...) static

Merge pull request #1461 from terrelln/regression

[regression] Add more configs

fix the code ahead of declaration issue

Merge pull request #1462 from facebook/btultra2.3

fixed ossfuzz 11849

change int init_cLevel() to int init_cLevel(void)

added system error strings

to more failure cases in fileio.c
as requested by fbpkg

edit README.md

add a section on restricted support of environment variables to README.md

fixed OSSfuzz 11849

The problem was already masked,
due to no longer accepting tiny blocks for statistics.

But in case it could still happen with not-so-tiny blocks,
there is a stricter control which ensures that
nothing was already loaded prior to statistics collection.

refactor readU32FromChar(...), improve init_cLevel(...), and add env var ZSTD_CLEVEL tests

[regression] Add more configs

* Add configs that test multithreading, LDM, and setting explicit
  parameters.
* Update the `compress cctx` method to accept `ZSTD_parameters`.
* Compile against the multithreaded `libzstd.a`.
* Update `results.csv` for the new configs.

Unless you think there are more configs/methods I should test, I think
we have a fairly wide set of configs/methods, so I'll pause adding
more for now.

Merge pull request #1460 from facebook/btultra2.2

fixed: compression ratio discrepancy

added tests case

add support for setting compression level through environment variable ZSTD_CLEVEL

Use Unused Variable in ERR_getErrorString()

Merge pull request #1454 from lzutao/readme

README: Explain a little bit about Meson build

fixed: compression ratio discrepancy

depending on initialization,
the first byte of a new frame was invalidated or not.

As a consequence, one match opportunity was available or not,
resulting in slightly different compressed sizes
(on average, 1 or 2 bytes once every 20 frames).

It impacted ratio comparison between one-shot and streaming modes.

This fix makes the first byte of a new frame always a valid match.
Now compressed size is always the same.
It also improves compressed size by a negligible amount.

README: Explain a bit more about Meson build [skip ci]

- Increase one heading level. Now headings is bigger and prettier.

Merge pull request #1459 from terrelln/destroy

[zstdcli] Refuse to overwrite input file

Also compare device thanks to @felixhandte

[zstdcli] Refuse to overwrite input file

Compare the input and output files by their inode number and
refuse to open the output file if the input file is the same.

This doesn't work when (de)compressing multiple files to a single
file, but that is a very uncommon use case, mostly used for
benchmarking by me.

Fixes #1422.

Merge pull request #1458 from terrelln/estimate

[libzstd] Fix estimate with negative levels

Merge pull request #1457 from facebook/btultra2.1

btultra2 and very small input

[libzstd] Fix estimate with negative levels

* Fix `ZSTD_estimateCCtxSize()` with negative levels.
* Fix `ZSTD_estimateCStreamSize()` with negative levels.
* Add a unit test to test for this error.

fix debug levels

as reported by @terrelln.
2 is reserved for temporary usage only.

Fix Incorrect assert()

Add Logic to Makefile to Convert Make Vars to Defines

Document Macros in README

Add Contbuild Tests

Add Mutual-Exclusion Error

Add HUF_FORCE_DECOMPRESS_X2

Move HUF_DGEN Up Out of X1 Definitions

Refactor Huffman Decompression Away From Ternary Tree in ZSTD_decodeLiteralsBlock

Rename HUF_DECOMPRESS_MINIMAL -> HUF_FORCE_DECOMPRESS_X1

Add ZSTD_FORCE_DECOMPRESS_SEQUENCES_LONG

This macro forces behavior in the opposite direction.

Rename ZSTD_DECOMPRESS_MINIMAL -> ZSTD_FORCE_DECOMPRESS_SEQUENCES_SHORT

Remove Error Strings with ZSTD_STRIP_ERROR_STRINGS

Add Option to Not Request Inlining with ZSTD_NO_INLINE

Add ZSTD_DECOMPRESS_MINIMAL Macro, Which Reduces Branching of Decompress Variants

Totally Hide/Disable X2 Variants when HUF_DECOMPRESS_MINIMAL is Defined

Load Dictionaries as X1 Tables

Add HUF_DECOMPRESS_MINIMAL Macro, Which Avoids Using X2 Variants

btultra2 and very small srcSize

When srcSize is small,
the nb of symbols produced is likely too small to warrant dedicated probability tables.
In which case, predefined distribution tables will be used instead.

There is a cheap algorithm in btultra initialization :
it presumes default distribution will be used if srcSize <= 1024.

btultra2 now uses the same threshold to shut down probability estimation,
since measured frequencies won't be used at entropy stage,
and therefore relying on them to determine sequence cost is misleading,
resulting in worse compression ratios.

This fixes btultra2 performance issue on very small input.

Note that, a proper way should be
to determine which symbol is going to use predefined probaility
and which symbol is going to use dynamic ones.
But the current algorithm is unable to make a "per-symbol" decision.
So this will require significant modifications.

Merge pull request #1449 from facebook/ovlog_def

overlapLog default values

Merge pull request #1456 from yijinfb/example-ZSTD_compressCCtx

Add multiple_simple_compression.c (demonstrates the use of ZSTD_compressCCtx(...)) to examples directory.

break loadFile_orDie() into 2: loadFile_orDie() loads file into a pre-allocated memory buffer, mallocAndLoadFile_orDie() allocates memory first, then calls loadFile_orDie()

play around with rescale weights

bug fix in loadFile_orDie(): exit with error code if filesize is bigger than provided buffer

comment out printf() to make output terse

edit README.md and remove simple_compressionCCtx.c

add multiple_simple_compression.c

Factor out allocMemory_orDIe(...) in simple_compressionCCtx.c, and amend Makefile to account for dependency on utils.h

formatting

refactor utils.h and implement simple_compressionCCtx.c

Merge pull request #1452 from lzutao/meson_getversion

meson: Remove unused sys import

Merge pull request #1450 from terrelln/no-progress

[zstdcli] Add --no-progress flag

[zstdcli] Add --no-progress flag

The `--no-progress` flag disables zstd's progress bars, but leaves
the summary.

I've added simple tests to `playTests.sh` to make sure the parsing
works.

Merge pull request #1447 from lzutao/meson_symlink_soversion

meson: More accurate Windows build support

WIP

meson: Remove unused sys import

fixed tests

with correct pointer type

fixed default job size

Merge pull request #1446 from terrelln/overflow

[libzstd] Fix infinite loop in decompression

zstdmt parameter getter/setter use `int`

create simple_compressionCCtx.c out of simple_compression.c, to be worked on

[libzstd] Fix infinite loop in decompression

When we switched `ZSTD_SKIPPABLEHEADERSIZE` to a macro, the places where we do:

    MEM_readLE32(ptr) + ZSTD_SKIPPABLEHEADERSIZE

can now overflow `(unsigned)-8` to `0` and we infinite loop. We now check
the frame size and reject sizes that overflow a U32.

Note that this bug never made it into a release, and was only in the dev branch
for a few days.

Credit to OSS-Fuzz

fixed multiple conversions

from 64-bit to 32-bit

Merge pull request #1448 from lzutao/travis_reformat

travis: Use script instead of Cmd env

travis: Use script instead of Cmd env

Simplify logic by setting default value for MESON_INSTALL_DESTDIR_PREFIX

meson: Update man1 extension on meson 0.49.0

meson: Update meson symlink script usage

meson: Correct support for building on Windows

Let soversion base on version if not set. For example, if version is 3.6.0
and soversion is not defined, it is set to 3.

Replace many os.path methods with pathlib one's

Use MESON_INSTALL_DESTDIR_PREFIX variable instead of DESTDIR.

fixed ovlog tests

and updated man page

Merge pull request #1444 from facebook/btultra2

btultra2