Zstd 1.5.0 Release

Zstd 1.5.0 Release

Remove deprecate flag for vcx (#2647)

Add source level deprecation warning disabling to certain tests/utils (#2645)

Merge pull request #2644 from facebook/mesonFix

Fixed meson test on travisCI

updated meson test

hopefully, bionic will have a more recent version of python
required to install meson.

Merge pull request #2643 from facebook/workers32

reduce ZSTDMT_NBWORKERS_MAX in 32-bit mode

Update CHANGELOG to include patch from fix (#2642)

Merge branch 'dev' of github.com:facebook/zstd into dev

fileio: clamp value of windowLog in patch-mode (#2637)

With small enough input files, the inferred value of fileWindowLog could
be smaller than ZSTD_WINDOWLOG_MIN.

This can be reproduced like so:
$ echo abc > small
$ echo abcdef > small2
$ zstd --patch-from small small2 -o patch
previously, this would fail with the error "zstd: error 11 : Parameter is out of bound"

reduce Max nb Workers to 64 in 32-bit mode

and restored limit to 256 when in 64-bit mode
(it was reduced to 200 to give more room for 32-bit).

This should fix test instability issues
using lot of threads in 32-bit environments.

Remove const data members in threadpooltest payload (#2639) (#2640)

Remove const data members in threadpooltest payload (#2639)

Add mt lib build to CL, shuffle around bugs section (#2638)

updated generated man pages for v1.5.0 (#2635)

Bump version to 1.5.0, rebuild documentation (#2634)

Merge pull request #2633 from bmwiedemann/issue2632

Avoid SIGBUS on armv6

Avoid SIGBUS on armv6

When running armv6 userspace on armv8 hardware with a 64 bit Linux kernel,
the mode 2 caused SIGBUS (unaligned memory access).
Running all our arm builds in the build farm
only on armv8 simplifies administration a lot.

Depending on compiler and environment, this change might slow down
memory accesses (did not benchmark it). The original analysis is 6 years old.

Fixes #2632

Merge pull request #2630 from facebook/gcc9

improved gcc-9 and gcc-10 decoding speed

Merge pull request #2628 from skitt/libzstd-nomt-flags

Apply flags to libzstd-nomt in libzstd style

improved gcc-9 and gcc-10 decoding speed

the new alignment setting is better for gcc-9 and gcc-10
by about ~+5%.

Unfortunately, it's worse for essentially all other compilers.

Make the new alignment setting conditional to gcc-9+.

Merge pull request #2547 from facebook/d_prefetch_refactor

Refactor prefetching for the decoding loop

update decoder hot loop alignment

This seems to bring an additional ~+1.2% decompression speed
on average across 10 compilers x 6 scenarios.

Merge branch 'd_prefetch_refactor' of github.com:facebook/zstd into d_prefetch_refactor

improve decompression speed of long variant by ~+5%

changed strategy,
now unconditionally prefetch the first 2 cache lines,
instead of cache lines corresponding to the first and last bytes of the match.

This better corresponds to cpu expectation,
which should auto-prefetch following cachelines on detecting the sequential nature of the read.

This is globally positive, by +5%,
though exact gains depend on compiler (from -2% to +15%).
The only negative counter-example is gcc-9.

Add PHONY targets to makefiles (#2629)

Merge pull request #2627 from terrelln/timeout-fix

[lib] Fix fuzzer timeouts by backing off overflow correction

Assert no divison by 0, correct superblocks 0 sequences case (#2592)

Merge branch 'dev' into d_prefetch_refactor

Merge pull request #2623 from facebook/fasterCygwin

attempt to make Appveyor's Cygwin test faster

Add threadPool unit tests to fuzzer.c (#2604)

[1.5.0] Enable multithreading in lib build by default (#2584)

* Update lib Makefile to have new targets

* Update lib/README.md for mt

Apply flags to libzstd-nomt in libzstd style

... for consistency (this doesn't actually change the build flags used
in practice, currently).

Signed-off-by: Stephen Kitt <steve@sk2.org>

[lib] Fix fuzzer timeouts by backing off overflow correction

Linearly back off the frequency of overflow correction based on the
number of times the `ZSTD_window_t` has been overflow corrected. This
will still allow the fuzzer to quickly find overflow correction bugs,
while also keeping good speed for larger inputs.

Additionally, the `nbOverflowCorrections` variable can be useful for
debugging coredumps, since we can inspect the `ZSTD_CCtx` to see if
overflow correction has happened yet.

I've verified this fixes the timeouts in OSS-Fuzz (176 seconds -> 6
seconds). I've also verified that fuzzers and `fuzzer` and `zstreamtest`
still catch the row-hash overflow correction bug.

do not install g++

Merge branch 'dev' into d_prefetch_refactor

Merge pull request #2626 from facebook/codingStyle1

added a paragraph on coding style

Merge pull request #2625 from terrelln/ubsan-failure

[lib] Fix UBSAN warning in ZSTD_decompressSequences()

added a paragraph on coding style

switch to clang

Merge branch 'dev' into fasterCygwin

[lib] Fix UBSAN warning in ZSTD_decompressSequences()

[1.5.0] Deprecate some functions (#2582)

* Add deprecated macro to zstd.h, mark certain functions as deprecated

* Remove ZSTD_compress.c dependencies on deprecated functions

Merge pull request #2600 from nickhutchinson/clang-cl

Fix for excessive compiler warnings when building with clang-cl

Merge pull request #2622 from terrelln/zdict-api

[zdict] Add a FAQ to the top of zdict.h

[zdict] Add a FAQ to the top of zdict.h

The FAQ covers the questions asked in Issue #2566. It first covers why
you would want to use a dictionary, then what a dictionary is, and
finally it tells you how to train a dictionary, and clarifies some of
the parameters.

There is definitely more that could be said about some of the advanced
trainers, but this should be a good start.

Add --progress flag (#2595)

Merge pull request #2620 from facebook/winFilelist

fix --filelist compatibility with Windows cr+lf line ending

Merge pull request #2618 from felixhandte/single-file-build-mv

Move Single-File Build Script from `contrib/` to `build/`

Merge pull request #2616 from terrelln/deterministic-dict

[lib] Add ZSTD_c_deterministicRefPrefix

CMake: fix excessive build warnings when building with clang-cl

Merge pull request #2621 from terrelln/regression-test

[test][regression] Update results.csv

attempt to make Appveyor's Cygwin test faster

Cygwin is the longest Appveyor test
Appveyor is typically the CI which finish last

Add seekable roundtrip fuzzer (#2617)

Merge pull request #2619 from facebook/winbench

improved benchmark experience on Windows

Merge pull request #2615 from terrelln/stack-space

[lib] Move some ZSTD_CCtx_params off the stack

[test][regression] Update results.csv

The LDM change in PR #2602 changed the algorithm slightly.
The compressed size is generally positive, and when it is worse,
it is only a few bytes.

[lib] Add ZSTD_c_deterministicRefPrefix

This flag forces zstd to always load the prefix in ext-dict mode, even
if it happens to be contiguous, to force determinism. It also applies to
dictionaries that are re-processed.

A determinism test case is also added, which fails without
`ZSTD_c_deterministicRefPrefix` and passes with it set.

Question: Should this be the default behavior? It isn't in this PR.

fix --filelist compatibility with Windows cr+lf line ending

Merge pull request #2614 from facebook/dlong8

faster speed for decompressSequencesLong

improved benchmark experience on Windows

benchmark results are not progressively displayed on Windows terminal.
For long benchmark sessions, nothing is displayed,
until the end, where everything is flushed.

Force display to be flushed after each update.
Updates happen roughtly every second, or even less,
so it's not a substantial workload.

Rewrite References to Location

Merge pull request #2525 from felixhandte/fix-file-permissions-again

Improve Setting Permissions of Created Files

[tests] Set `DEBUGLEVEL=2` by default

This allows us to quickly check for compile errors in debug log
messages, which are compiled out when `DEBUGLEVEL < 2`.

[lib] Move some ZSTD_CCtx_params off the stack

* Take `params` by const reference in `ZSTD_resetCCtx_internal()`.
* Add `simpleApiParams` to the CCtx and use them in the simple API
  functions, instead of creating those parameters on the stack.

I think this is a good direction to move in, because we shouldn't need
to worry about adding parameters to `ZSTD_CCtx_params`, since it should
always be on the heap (unless they become absoultely gigantic).

Some `ZSTD_CCtx_params` are still on the stack in the CDict functions,
but I've left them for now, because it was a little more complex, and we
don't use those functions in stack-constrained currently.

Move Single-File Build Script from `contrib/` to `build/`

Attempt to Fix Windows Build Error

Also Pass Mode Bits in on Windows

I think in some unix emulation environments on Windows, (cygwin?) mode bits
are somehow respected. So we might as well pass them in. Can't hurt.

`rm -f` in playTests.sh

Fix Build for Windows

Attempt to Fix `stat` Format for BSDs

Don't Block Removing File on Being Able to Read It

`open()`'s mode bits are only applied to files that are created by the call.
If the output file already exists, but is not readable, the `fopen()` would
fail, preventing us from removing it, which would mean that the file would
not end up with the correct permission bits.

It's not clear to me why the `fopen()` is there at all. `UTIL_isRegularFile()`
should be sufficient, AFAICT.

Create Files with Desired Permissions; Avoid chmod(); Remove UTIL_chmod()

Add Tests Checking File Permissions of Created Files

Merge pull request #2613 from felixhandte/allow-block-device

Allow Reading from Block Devices with `--force`

deeper prefetching pipeline for decompressSequencesLong

pipeline increased from 4 to 8 slots.
This change substantially improves decompression speed when there are long distance offsets.
example with enwik9 compressed at level 22 :
gcc-9 : 947 -> 1039 MB/s
clang-10: 884 -> 946 MB/s

I also checked the "cold dictionary" scenario,
and found a smaller benefit, around ~2%
(measurements are more noisy for this scenario).

Merge branch 'dev' into d_prefetch_refactor

updated documentation regarding minimum job size

seekable decompression fixes (#2594)

* seekable_format: fix from-file reading (not in-memory)

It tries to check the buffer boundary, but there is no buffer for
from-file reading.

* seekable_decompression: break when ZSTD_seekable_decompress() returns zero

* seekable_decompression_mem: break when ZSTD_seekable_decompress() returns zero

* seekable_format: cap the offset+len up to the last dOffset

This will allow to read the whole file w/o gotting corruption error if
the offset is more then the data left in file, i.e.:

    $ ./seekable_compression seekable_compression.c 8192 | head
    $ zstd -cdq seekable_compression.c.zst | wc -c
    4737

Before this patch:

    $ ./seekable_decompression seekable_compression.c.zst 0 10000000 | wc -c
    ZSTD_seekable_decompress() error : Corrupted block detected
    0

After:

    $ ./seekable_decompression seekable_compression.c.zst 0 10000000 | wc -c
    4737

Merge pull request #2611 from facebook/smallerJobs

allow jobSize to be as low as 512 KB

Merge pull request #2602 from terrelln/ldm-opt

[LDM] Speed optimization on repetitive data

Merge pull request #2610 from senhuang42/lazy_underflow_fix

Fix bad integer wraparound in repcode index for fast, dfast, lazy

Merge pull request #2607 from terrelln/deterministic-dict

[lib] Always load the dictionary in one go

[test] Add large dict/data --patch-from test

Dictionary size must be > `ZSTD_CHUNKSIZE_MAX`.

Fix incorrect usages of repIndex across all strategies

[lib] Always load the dictionary in one go

Dictionaries larger than `ZSTD_CHUNKSIZE_MAX` used to have to be loaded
in multiple segments. Instead, when we detect large dictionaries, ensure
that we reset the context's indicies. Then, for dictionaries larger than
`ZSTD_CURRENT_MAX - 1`, only load the suffix of the dictionary. Finally,
enable DDS for large dictionaries, since we no longer load in multiple
segments.

This simplifes the dictionary loading code, and reduces opportunities
for non-determinism to slip in.

fix rsyncable mode

Add Test Case (Behind Flag); Run in GitHub Action

Merge pull request #2612 from terrelln/minor-fix

[easy] Rewrite rowHashLog computation

Allow Reading from Block Devices with `--force`

Merge pull request #2608 from facebook/docMinVer

Documented minimum version numbers

[easy] Rewrite rowHashLog computation

`ZSTD_highbit32(1u << x) == x` when it isn't undefined behavior.

Merge pull request #2597 from terrelln/public-headers

[1.5.0] Move `zstd_errors.h` and `zdict.h` to `lib/` root

Merge pull request #2609 from felixhandte/md5sum-darwin

Detect Presence of `md5` on Darwin

allow jobSize to be as low as 512 KB

previous lower limit was 1 MB.

Note : by default, the lowest job size is 2 MB, achieved at level 1.
Even lower job sizes can be achieved by manipulating this value directly,
or manually modifying window sizes to lower amounts.

Updated unit test to ensure that this new limit works fine
(test would fail with previous 1 MB limit).

[LDM] Speed optimization on repetitive data

LDM does especially poorly on repetitive data when that data's hash happens
to have `(hash & stopMask) == 0`. Either because the `stopMask == 0` or
random chance. Optimize this case by skipping over repetitive patterns.
The detection is very simplistic, but should catch most of the offending
cases.

```
head -c 1G /dev/zero | perf stat -- ./zstd -1 -o /dev/null -v --zstd=ldmHashRateLog=1 --long
      21.187881087 seconds time elapsed

head -c 1G /dev/zero | perf stat -- ./zstd -1 -o /dev/null -v --zstd=ldmHashRateLog=1 --long
       1.149707921 seconds time elapsed

```

Detect Presence of `md5` on Darwin

This fixes #2568.

Documented minimum version numbers

Any stable API entry point introduced after v1.0
should be documented with its minimum version number.

Since PR fixes this requirement
updating mostly new entry points since v1.4.0
and newly introduced ones for future v1.5.0.

Merge pull request #2606 from terrelln/test-memory

[tests] Reduce memory usage of MT CLI tests

Merge pull request #2603 from terrelln/reduce-indices-fuzzer

Bug fix & run overflow correction much more frequently in tests

[tests] Reduce memory usage of MT CLI tests

Switch from `-T0` to the default `-T1` which significantly reduces
memory usage for level 19 when there are many cores. This fixes
32-bit issues of running out of address space.

Fixes #2603.