added system error strings

to more failure cases in fileio.c
as requested by fbpkg

Merge pull request #1460 from facebook/btultra2.2

fixed: compression ratio discrepancy

added tests case

Merge pull request #1454 from lzutao/readme

README: Explain a little bit about Meson build

fixed: compression ratio discrepancy

depending on initialization,
the first byte of a new frame was invalidated or not.

As a consequence, one match opportunity was available or not,
resulting in slightly different compressed sizes
(on average, 1 or 2 bytes once every 20 frames).

It impacted ratio comparison between one-shot and streaming modes.

This fix makes the first byte of a new frame always a valid match.
Now compressed size is always the same.
It also improves compressed size by a negligible amount.

README: Explain a bit more about Meson build [skip ci]

- Increase one heading level. Now headings is bigger and prettier.

Merge pull request #1459 from terrelln/destroy

[zstdcli] Refuse to overwrite input file

Also compare device thanks to @felixhandte

[zstdcli] Refuse to overwrite input file

Compare the input and output files by their inode number and
refuse to open the output file if the input file is the same.

This doesn't work when (de)compressing multiple files to a single
file, but that is a very uncommon use case, mostly used for
benchmarking by me.

Fixes #1422.

Merge pull request #1458 from terrelln/estimate

[libzstd] Fix estimate with negative levels

Merge pull request #1457 from facebook/btultra2.1

btultra2 and very small input

[libzstd] Fix estimate with negative levels

* Fix `ZSTD_estimateCCtxSize()` with negative levels.
* Fix `ZSTD_estimateCStreamSize()` with negative levels.
* Add a unit test to test for this error.

fix debug levels

as reported by @terrelln.
2 is reserved for temporary usage only.

btultra2 and very small srcSize

When srcSize is small,
the nb of symbols produced is likely too small to warrant dedicated probability tables.
In which case, predefined distribution tables will be used instead.

There is a cheap algorithm in btultra initialization :
it presumes default distribution will be used if srcSize <= 1024.

btultra2 now uses the same threshold to shut down probability estimation,
since measured frequencies won't be used at entropy stage,
and therefore relying on them to determine sequence cost is misleading,
resulting in worse compression ratios.

This fixes btultra2 performance issue on very small input.

Note that, a proper way should be
to determine which symbol is going to use predefined probaility
and which symbol is going to use dynamic ones.
But the current algorithm is unable to make a "per-symbol" decision.
So this will require significant modifications.

Merge pull request #1449 from facebook/ovlog_def

overlapLog default values

Merge pull request #1456 from yijinfb/example-ZSTD_compressCCtx

Add multiple_simple_compression.c (demonstrates the use of ZSTD_compressCCtx(...)) to examples directory.

break loadFile_orDie() into 2: loadFile_orDie() loads file into a pre-allocated memory buffer, mallocAndLoadFile_orDie() allocates memory first, then calls loadFile_orDie()

play around with rescale weights

bug fix in loadFile_orDie(): exit with error code if filesize is bigger than provided buffer

comment out printf() to make output terse

edit README.md and remove simple_compressionCCtx.c

add multiple_simple_compression.c

Factor out allocMemory_orDIe(...) in simple_compressionCCtx.c, and amend Makefile to account for dependency on utils.h

formatting

refactor utils.h and implement simple_compressionCCtx.c

Merge pull request #1452 from lzutao/meson_getversion

meson: Remove unused sys import

Merge pull request #1450 from terrelln/no-progress

[zstdcli] Add --no-progress flag

[zstdcli] Add --no-progress flag

The `--no-progress` flag disables zstd's progress bars, but leaves
the summary.

I've added simple tests to `playTests.sh` to make sure the parsing
works.

Merge pull request #1447 from lzutao/meson_symlink_soversion

meson: More accurate Windows build support

WIP

meson: Remove unused sys import

fixed tests

with correct pointer type

fixed default job size

Merge pull request #1446 from terrelln/overflow

[libzstd] Fix infinite loop in decompression

zstdmt parameter getter/setter use `int`

create simple_compressionCCtx.c out of simple_compression.c, to be worked on

[libzstd] Fix infinite loop in decompression

When we switched `ZSTD_SKIPPABLEHEADERSIZE` to a macro, the places where we do:

    MEM_readLE32(ptr) + ZSTD_SKIPPABLEHEADERSIZE

can now overflow `(unsigned)-8` to `0` and we infinite loop. We now check
the frame size and reject sizes that overflow a U32.

Note that this bug never made it into a release, and was only in the dev branch
for a few days.

Credit to OSS-Fuzz

fixed multiple conversions

from 64-bit to 32-bit

Merge pull request #1448 from lzutao/travis_reformat

travis: Use script instead of Cmd env

travis: Use script instead of Cmd env

Simplify logic by setting default value for MESON_INSTALL_DESTDIR_PREFIX

meson: Update man1 extension on meson 0.49.0

meson: Update meson symlink script usage

meson: Correct support for building on Windows

Let soversion base on version if not set. For example, if version is 3.6.0
and soversion is not defined, it is set to 3.

Replace many os.path methods with pathlib one's

Use MESON_INSTALL_DESTDIR_PREFIX variable instead of DESTDIR.

fixed ovlog tests

and updated man page

Merge pull request #1444 from facebook/btultra2

btultra2

Merge branch 'btultra2' into ovlog_def

updated compression results.csv

and fixed nit

Merge branch 'dev' into btultra2

Merge pull request #1445 from terrelln/regression

[regression] add more methods

removed exception code for overlapLog level 22

CLI used to set overlapLog at value 9 when level == 22.
This is no longer necessary (handled internally within library)

new overlapLog default values

varies between 6 and 9, depending on strategy

continued: changed to overlapLog

in deeper code layer.
for consistency.

changed parameter name to ZSTD_c_overlapLog

from overlapSizeLog.

Reasoning :
`overlapLog` is already used everwhere, in the code, command line and documentation.
`ZSTD_c_overlapSizeLog` feels unnecessarily different.

Reset the cctx for documentation/safety

[regression] add more methods

add clarification for ZSTD_CCtx_setPledgedSrcSize()

as requested in #1391

Merge pull request #1417 from facebook/advancedAPI

Advanced API

fixed btultra2 usage with prefix

notably while using multi-threading

fix assert position within ZSTD_compress2()

clarified experimentalParam

fixed ZSTD_compress2()

as suggested by @terrelln

make test can accept DEBUGLEVEL argument

updated clevel table for large inputs

update clevel table for 256K

update clevel table for 128K

updated clevel table for 16K

to introduce btultra2

paramgrill: add status line

get information on which config is currently tested
so that console get animated during long tests.

added tests for strategy=9 (btultra2)

refactor paramgrill for clarity

restored ability to copy/paste the resulting compression level table into zstd_compress.c .

Merge pull request #1440 from hungptit/dev

Refactor examples to avoid code duplication.

Refactor examples to avoid code duplication.

linked btultra2 as strategy9

and ensure zstdbench detects out-of-bound parameters

updated documentation

introducing ZSTD_btultra2

minor bound refinements

introduced constants ZSTD_STRATEGY_MIN and ZSTD_STRATEGY_MAX

fixed c++ assignment to enum

Merge pull request #1439 from obelisk/buck_readme

Add buck build instructions to README.md

changed ZSTD_c_compressionStrategy into ZSTD_c_strategy

also : fixed paramgrill, and limit conditions

Add buck build instruction to the readme

introduced strategy btultra2

note : not yet applied on any compression level

moved ZSTD_WINDOWLOG_LIMIT_DEFAULT into static-linking-only area

clarified usage of word "job"

only applies in MT / async context now.

changed parameter names from ZSTD_p_* to ZSTD_c_*

for naming consistency

updated API documentation

ZSTD_decompressDCtx() is compatible with sticky parameters

merge dedicated dParam setters

write the switch()case: differently

so that it please both
compilers which warn for dead code after the switch
and
compilers which do not detect that all branches terminate.

fixed silent conversion warning

fixed declaration-after-statement warnings

implemented ZSTD_dParam_getBounds()

and ZSTD_DCtx_setParameter()

advanced decompression function replaces by normal streaming one

advanced parameters compatible with ZSTD_decompressStream().

Merge pull request #1427 from lzutao/minor-fix-meson

Update meson build and add Travis test for it

Merge pull request #1437 from facebook/grep

check availability of --color=never command on grep and egrep

check availability of --color=never command on grep and egrep

before applying them.
Fixes #1436

joined normal streaming API with advanced one

Merge pull request #1434 from terrelln/regression

[regression] Add dictionary support

meson: Update usage of InstallSymlink helper

meson: Update tests timeout to run properly