inform manual users that it's automatically generated

suggested by @Eugeny1

fixed single file library test

copy "zstd_errors.h" alongside "zstd.h" to pass compilation test.

elevated ZSTD_getErrorCode() to stable status

answering #4183

Merge pull request #4180 from facebook/split_param

Block splitter control parameter

change experimental parameter name

from ZSTD_c_useBlockSplitter to ZSTD_c_splitAfterSequences.

changed variable name to ZSTD_c_blockSplitterLevel

suggested by @terrelln

removed trace left over

fixed minor conversion warning

added a test

test both that the new parameter works as intended,
and that the over-split protection works as intended

expose new parameter ZSTD_c_blockSplitter_level

add internal compression parameter preBlockSplitter_level

not yet exposed to the interface.

Also: renames `useBlockSplitter` to `postBlockSplitter`
to better qualify the difference between the 2 settings.

Merge pull request #4178 from facebook/split_fromBorders

Add fastest block-splitter variant

update regression results

update ZSTD_splitBlock() documentation

new block splitting variant _fromBorders

less precise but still suitable for `fast` strategy.

Merge pull request #4176 from facebook/sample11

Added faster block splitter variants for levels 3-7

update regression results

add faster block splitting heuristic, suitable for dfast strategy

fix minor visual conversion warning

added block splitter variant for greedy & lazy (levels 5 to 7)

complete sample11 with reduced fingerprint size

reduce splitBlock arguments

organize specialization at recordFingerprint level

new variant, sampling by 11

Merge pull request #4136 from facebook/preSplit

Block splitter

update regression results

first block is no longer splitted since adding the @savings over-split protection

apply limit conditions for all splitting strategies

instead of just for blind split.

This is in anticipation of adversarial input,
that would intentionally target the sampling pattern of the split detector.

Note that, even without this protection, splitting can never expand beyond ZSTD_COMPRESSBOUND(),
because this upper limit uses a 1KB block size worst case scenario,
and splitting never creates blocks thath small.

The protection is more to ensure that data is not expanded by more than 3-bytes per 128 KB full block,
which is a much stricter limit.

update regression results

stricter limits to ensure expansion factor with blind-split strategy

issue reported by @terrelln

split all full 128 KB blocks

this helps make the streaming behavior more consistent,
since it does no longer depend on having more data presented on the input.

suggested by @terrelln

rewrite fingerprint storage to no longer need 64-bit members

so that it can be stored using standard alignment requirement (sizeof(void*)).

Distance function still requires 64-bit signed multiplication though,
so it won't change the issue regarding the bug in ubsan for clang 32-bit on github ci.

fixed minor strict pedantic C90 issue

fixed extraneous return

strict C90 compliance test

updated compression results

due to integration of `sample5` strategy, leading to better compression ratios on a range of levels

fixes static state allocation check

detected by @felixhandte

rewrote ZSTD_cwksp_initialAllocStart() to be easier to read

following a discussion with @felixhandte

rewrite penalty update

suggested by @terrelln

changed loop exit condition so that there is no need to assert() within the loop.

renamed: FingerPrint => Fingerprint

suggested by @terrelln

conservatively estimate over-splitting in presence of incompressible loss

ensure data can never be expanded by more than 3 bytes per full block.

ensure `lastBlock` is correctly determined

reported by @terrelln

made ZSTD_isPower2() an inline function

added a faster block splitter variant

that samples 1 in 5 positions.

This variant is fast enough for lazy2 and btlazy2,
but it's less good in combination with post-splitter at higher levels (>= btopt).

minor split optimization

let's fill the initial stats directly into target fingerprint

updated regression test results

fixed workspace alignment on non 64-bit systems

splitter workspace is now provided by ZSTD_CCtx*

fix alignment test

for non 64-bit systems

fixed minor conversion warnings on Visual

ZSTD_splitBlock_4k() uses externally provided workspace

ideally, this workspace would be provided from the ZSTD_CCtx* state

replaced uasan32 test by asan32 test

fixing minor formatting issue in 32-bit mode with logs enabled

fixed VS2010 solution

new Makefile target mesonbuild

for easier local testing

fixed meson build

fixed zstreamtest

fixed c90 comment style

fix assert

only split full blocks

short term simplification

fixed single-library build

fixed kernel build

fixed RLE detection test

fix overlap write scenario in presence of incompressible data

more ZSTD_memset() to apply

minor C++-ism

though I really wonder if this is a property worth maintaining.

use ZSTD_memset()

for better portability on Linux kernel

do not use `new` as variable name

fixed strict C90 semantic

XP: add a pre-splitter

instead of ingesting only full blocks, make an analysis of data, and infer where to split.

Merge pull request #4174 from facebook/bench_loadOnce

Modify benchmark to load sources only once

improve man page on benchmark mode

update the man page in troff format,
and the README with latest `--help` content and complementary details about benchmark mode.

also: display level 0 when doing decompression benchmark

Modify benchmark to only load sources once

After a regrettable update,
the benchmark module ended up reloading sources for every compression level.

While the delay itself is likely torelable,
the main issue is that the `--quiet` mode now also displays a loading summary between each compression line.
This wasn't the original intention, which is to produce a compact view of all compressions.

This is fixed in this version,
where sources are loaded only once, for all compression levels,
and loading summary is only displayed once.

Merge pull request #4171 from facebook/lvl3_ratio+

Improve compression ratio of levels 3 & 4

updated regression tests results

enable regression tests at pull request time

was transferred from circleci,
but was only triggered on push into dev,
i.e. after pull request is merged.

rewrite code in the manner suggested by @terrelln

fix test

a margin of 4 is insufficient to guarantee compression success.

slightly improved compression ratio at levels 3 & 4

The compression ratio benefits are small but consistent, i.e. always positive.
On `silesia.tar` corpus, this modification saves ~75 KB at level 3.
The measured speed cost is negligible, i.e. below noise level, between 0 and -1%.

Merge pull request #4170 from facebook/dict_cSpeed

Improve dictionary compression speed

fix test

minor improvement to level 3 dictionary compression ratio

small dictionary compression speed improvement

not as good as small-blocks improvement,
but generally positive.

Merge pull request #4167 from facebook/ci_m32test_faster

attempt to make 32-bit tests faster

attempt parallel test running with -j

measure if -O2 makes the test complete faster

attempt to make 32-bit tests faster

this is the longest CI test, reaching ~40mn on last PR

Merge pull request #4165 from facebook/cspeed_cmov

Improve compression speed on small blocks

rename variable name

findMatch -> matchFound
since it's a test, as opposed to an active search operation.
suggested by @terrelln

fixed parameter ordering in `dfast`

noticed by @terrelln

Merge pull request #4164 from facebook/spec_043

spec update: huffman prefix code paragraph

minor: better variable naming

added ascending order example

make __asm__ a __GNUC__ specific

store dummy bytes within ZSTD_match4Found_cmov()

feels more logical, better contained

introduce memory barrier to force test order

suggested by @terrelln

made search strategy switchable

between cmov and branch
and use a simple heuristic based on wlog to select between them.

note: performance is not good on clang (yet)

refactor search into an inline function

for easier swapping with a parameter

refactor huffman prefix code paragraph

minor refactor zstd_fast

make hot variables more local

Merge pull request #4160 from facebook/fix_nightly

fix dependency for nightly github actions tests