make stableSrc compatible with regular streaming API

including flushStream().

Now the only condition is for `input.size` to continuously grow.

streaming compression : lazy parameter adaptation with stable input

effectively makes ZSTD_c_stableInput compatible ZSTD_compressStream()
and zstd_e_continue operation mode.

minor refactoring

on streaming compression implementation.

fixed backup prototype for POOL_sizeof()

POOL_sizeof() only needs a const read-only reference

Merge pull request #2962 from facebook/seqStore_off

Refactor offset+repcode sumtype

use ZSTD_memcpy(), for proper redirection within Linux Kernel

found a few more places which were dependent on seqStore offcode sumtype numeric representation

Merge pull request #2960 from fwessels/patch-1

Fix mini typo

Merge pull request #2954 from facebook/storeSeq_ml

storeSeq & mlBase : clarity refactoring

regroup all mentions of ZSTD_REP_MOVE within zstd_compress_internal.h

fixed minor conversion warnings

abstracted storeSeq() sumtype numeric representation from zstd_lazy.c

abstracted storeSeq() sumtype numeric representation from zstd_opt.c

abstracted storeSeq() sumtype numeric representation from decodecorpus.c

separate newRep() from updateRep()

the new contracts seems to make more sense :
updateRep() updates an array of repeat offsets _in place_,
while newRep() generates a new structure with the updated repeat-offset array.

Most callers are actually expecting the in-place variant,
and a limited sub-section, in `zstd_opt.c` mainly, prefer `newRep()`.

fixed minor typecast warnings

abstracted usage of offBase sumtype within zstd_lazy.c

fixed regression test assert

optLdm->offset might be == 0 in invalid case.
Only use STORE_OFFSET() after validating it's a correct case.

Fix mini typo

created STORED_*() macros

to act on values stored / expressed in the sumtype numeric representation required by `storedSeq()`.

This makes it possible to abstract away this representation by using the macros to extract these values.

First user : ZSTD_updateRep() .

introduce macros STORE_OFFSET() and STORE_REPCODE()

this meant to abstract the sumtype representation required
to transfert `offcode` to `ZSTD_storeSeq()`.

Unfortunately, the sumtype numeric representation is currently a leaky abstraction
that has permeated many other parts of the code,
especially within `zstd_lazy.c` and also within `zstd_opt.c` and `zstd_compress.c`.

While this PR makes a good job a transfering a large nb of call sites
to using the new macros, there are still a few sites where this transformation is more complex,
or where the numeric representation itself it used "as is".

One of the problematics area is the decision to use the numeric format of the sumtype
within the match finders of `zstd_lazy`.

This commit doesn't change the behavior, it only introduces and employes the macros,
but eventually the resulting code remains identical.

At target, if the numeric representation of the sumtype can be completely abstracted
and no other part of the code depends on it,
it will be possible to move it towards something slightly more efficient.

Merge branch 'dev' into seqStore_off

change seqDef.offset into seqDef.offBase

to better reflect the value stored in this field.

library optimization flag can be selected on command line again

`CFLAGS=-O0 make`
will now use `-O0` instead of enforcing `-O3`
which used to be the behavior before introduction of `libzstd.mk`.

This should result in faster tests,
since a few tests depend on this capability for faster roundtrips.

changed seqDef.matchLength into seqDef.mlBase

since this is effectively what is stored in this field (== matchLength - MINMATCH).
This makes it clearer what needs to be done when reading from / writing to this field.

change ZSTD_storeSeq() interface to accept matchLength

instead of mlBase.

This removes the need to do `- MINMATCH` at every call site.

The new interface contract is checked with an `assert()`.

Merge pull request #2947 from MehdiChinoune/patch-1

Fix zstd-static output name with MINGW/Clang

Fix zstd-static output name with MINGW/Clang

updated manual

update man pages

updated changelog for v1.5.1

Merge pull request #2940 from facebook/revert-2885-limit-level-32bit-systems

Revert "Limit `ZSTD_maxCLevel` to 21 for 32-bit binaries."

Revert "Limit `ZSTD_maxCLevel` to 21 for 32-bit binaries."

Merge pull request #2934 from facebook/lazy_rebalance

rebalance lazy compression levels

Merge branch 'dev' into lazy_rebalance

update regression results

added target update_regressionResults

to automate the creation of updated tests/regression/results.csv

update regression results

update regression results

Merge branch 'dev' into lazy_rebalance

updated regression results.csv

fixed version number for fast modes

forgot the chainlog is effectively a "fake" value with rowHash

the only value which makes sense is `hashlog-1`
as it mimics the real memory usage.

Merge pull request #2931 from facebook/fix_rowlog

fixed incorrect rowlog initialization

updated benchmark for v1.5.1

answers #2764

minor changelog update

minor changelog update

rebalance lazy compression levels

fixed incorrect rowlog initialization

the variable has only very limited usage,
being only used once at the beginning of the block for prefetching only,
hence the error had no impact on compression ratio.

Merge pull request #2925 from embg/dict_training_sample_limit_size

Allow user to specify memory limit for dictionary training

minor changelog update, for clarity

Merge pull request #2929 from facebook/sse_row_lazy

simplify SSE implementation of row_lazy match finder

Merge pull request #2930 from nolange/reduce_tables_to_8bit

Reduce tables to 8bit

Reduce bit tables to 8bit

This saves some 1.7Kb in rodata section (x86_64, zstd tool),
while assembler code stays the same except
the type of a few load/extend instructions.

Should not have negative performance implications.

Add typedefs for 8bit (un)signed

To make code more expressive, add U8 and S8 typedefs

Fix performance degradation with -m32 (#2926)

Allow user to specify memory limit for dictionary training

Merge pull request #2921 from felixhandte/neg-lvl-stagger-step

Stagger Stepping in Negative Levels

roll SSE implementation of row_lazy match finder

mostly for maintenance convenience.

Performance wise, there is very little change,
slightly faster for slog 3 & 4,
neutral or very slightly negative for slot 5 & 6.

Update Regression Tests w/ New Sizes

Increment Step by 1 not 2

I couldn't find a good way to spread `ip0` and `ip1` apart when we accelerate
due to incompressible inputs. (The methods I tried slowed things down quite a
bit.)

Since we aren't splaying ip0 and ip1 apart (which would be like `0_1_2_3_`, as
opposed to the `01__23__` we were actually doing), it's a big ambitious to
increment `step` by 2. Instead, let's increment it by 1, which has the benefit
sliiightly improving compression. Speed remains pretty much unchanged.

Merge pull request #2905 from 15596858998/dev_1205

add test case

Rewrite `step` to Track Increment Between Pairs of Positions

The position updates are rewritten from `ip[N] = ip[N-1] + step` to be
`ip[N] = ip[N-2] + step`. This lets us only deal with the asymmetric spacing
of gaps at setup and then we only have to keep a single `step` variable.

This seems to work quite well on GCC and Clang!

Allow Templating `ZSTD_fast` Matchfinders on Acceleration (Lvl < -1)

Merge pull request #2923 from IAL32/patch-1

typo: Small spelling mistake in example

Update playTests.sh

typo: Small spelling mistake in example

Just a couple of characters:
`main` -> `may`

Merge pull request #2922 from facebook/x32

x32 compatibility

fixed x32 compatibility

added x32 compatibility test

Decompose `step` into Two Variables

This avoids an additional addition, at the cost of an additional variable.

Stagger Application of `stepSize` in ZSTD_fast

This replicates the behavior of @terrelln's `ZSTD_fast` implementation. That
is, it always looks at adjacent pairs of positions, and only applies the
acceleration every other position. This produces a more fine-grained
acceleration.

complete changelog with #2885

Merge pull request #2917 from facebook/change151

Update changelog for v1.5.1

Merge pull request #2910 from felixhandte/reject-irregular-dicts

Reject Irregular Dictionary Files

Update changelog for v1.5.1

Merge pull request #2914 from facebook/xxhash081

updated xxHash to latest v0.8.1

remove offending static assert lines

no idea why visual + clang-cl + appveyor don't like them,
I've not been able to reproduce the issue locally,
but these static assert are very unlikely to deliver a useful signal,
I can't imagine a situation where they will be wrong,
and if they are, then a ton of other things will be broken way before reaching that point.

Merge pull request #2916 from terrelln/issue-2906

Remove possible NULL pointer addition

altered copyright title

Reject Irregular Dictionary Files

I hadn't seen #2890, so I wrote my own version. I like this approach a little
better, since it does an explicit check for a regular file, rather than
passing a magic value.

Addresses #2874.

removed declarations of XXH3 symbols when XXH_NO_XXH3 is defined

on top of implementations, which were already scoped out.

replaces malloc / free / memcpy by Zstandard's version

Remove possible NULL pointer addition

Refactor `ZSTDMT_isOverlapped()` to do NULL checks before computing the
end pointer.

Fixes #2906.

Merge pull request #2915 from terrelln/oss-fuzz-build-fix

Fix oss-fuzz build

Merge pull request #2912 from felixhandte/pkg-config-fix

Fix Up #2659; Build libzstd.pc Whenever Building the Lib on Unix

Fix oss-fuzz build

Disable assembly when dataflow sanitizer is enabled.

This regressed in PR #2893, which accidentally removed the check for
dataflow sanitizer.

fixed very minor cast warning under cygwin

Fix Up #2659; Build libzstd.pc Whenever Building the Lib on Unix

updated xxHash to latest v0.8.1

with minor modifications directly embedded in source :
- does not compile XXH3
- namespace emulation (ZSTD_ prefix)

Incidentally fix #2824

Imply -q when stderr is not a tty (#2884)

* Imply -q when stderr is not a tty

Merge pull request #2659 from ericonr/pc

[lib] Fix libzstd.pc for lib-mt builds

Merge pull request #2907 from Hello71/armv6-fix-legacy

Apply FORCE_MEMORY_ACCESS=1 to legacy

Merge pull request #2890 from 15596858998/dec_1201

fixbug CLI's -D fails when the argument is not a regular file

Apply FORCE_MEMORY_ACCESS=1 to legacy

See #2633, #2881.

add test case

Merge pull request #2893 from terrelln/issue-2789

[asm] Share portability macros and restrict ASM further

Merge pull request #2897 from felixhandte/zstd-deprecated-avoid-deprecated

Avoid Using Deprecated Functions in Deprecated Code

Merge pull request #2899 from felixhandte/cmake-disable-multithreading-android

Disable Multithreading in CMake Builds for Android