Merge branch 'dev' into lazy_rebalance

update regression results

added target update_regressionResults

to automate the creation of updated tests/regression/results.csv

update regression results

update regression results

Merge branch 'dev' into lazy_rebalance

updated regression results.csv

fixed version number for fast modes

forgot the chainlog is effectively a "fake" value with rowHash

the only value which makes sense is `hashlog-1`
as it mimics the real memory usage.

Merge pull request #2931 from facebook/fix_rowlog

fixed incorrect rowlog initialization

updated benchmark for v1.5.1

answers #2764

minor changelog update

minor changelog update

rebalance lazy compression levels

fixed incorrect rowlog initialization

the variable has only very limited usage,
being only used once at the beginning of the block for prefetching only,
hence the error had no impact on compression ratio.

Merge pull request #2925 from embg/dict_training_sample_limit_size

Allow user to specify memory limit for dictionary training

minor changelog update, for clarity

Merge pull request #2929 from facebook/sse_row_lazy

simplify SSE implementation of row_lazy match finder

Merge pull request #2930 from nolange/reduce_tables_to_8bit

Reduce tables to 8bit

Reduce bit tables to 8bit

This saves some 1.7Kb in rodata section (x86_64, zstd tool),
while assembler code stays the same except
the type of a few load/extend instructions.

Should not have negative performance implications.

Add typedefs for 8bit (un)signed

To make code more expressive, add U8 and S8 typedefs

Fix performance degradation with -m32 (#2926)

Allow user to specify memory limit for dictionary training

Merge pull request #2921 from felixhandte/neg-lvl-stagger-step

Stagger Stepping in Negative Levels

roll SSE implementation of row_lazy match finder

mostly for maintenance convenience.

Performance wise, there is very little change,
slightly faster for slog 3 & 4,
neutral or very slightly negative for slot 5 & 6.

Update Regression Tests w/ New Sizes

Increment Step by 1 not 2

I couldn't find a good way to spread `ip0` and `ip1` apart when we accelerate
due to incompressible inputs. (The methods I tried slowed things down quite a
bit.)

Since we aren't splaying ip0 and ip1 apart (which would be like `0_1_2_3_`, as
opposed to the `01__23__` we were actually doing), it's a big ambitious to
increment `step` by 2. Instead, let's increment it by 1, which has the benefit
sliiightly improving compression. Speed remains pretty much unchanged.

Merge pull request #2905 from 15596858998/dev_1205

add test case

Rewrite `step` to Track Increment Between Pairs of Positions

The position updates are rewritten from `ip[N] = ip[N-1] + step` to be
`ip[N] = ip[N-2] + step`. This lets us only deal with the asymmetric spacing
of gaps at setup and then we only have to keep a single `step` variable.

This seems to work quite well on GCC and Clang!

Allow Templating `ZSTD_fast` Matchfinders on Acceleration (Lvl < -1)

Merge pull request #2923 from IAL32/patch-1

typo: Small spelling mistake in example

Update playTests.sh

typo: Small spelling mistake in example

Just a couple of characters:
`main` -> `may`

Merge pull request #2922 from facebook/x32

x32 compatibility

fixed x32 compatibility

added x32 compatibility test

Decompose `step` into Two Variables

This avoids an additional addition, at the cost of an additional variable.

Stagger Application of `stepSize` in ZSTD_fast

This replicates the behavior of @terrelln's `ZSTD_fast` implementation. That
is, it always looks at adjacent pairs of positions, and only applies the
acceleration every other position. This produces a more fine-grained
acceleration.

complete changelog with #2885

Merge pull request #2917 from facebook/change151

Update changelog for v1.5.1

Merge pull request #2910 from felixhandte/reject-irregular-dicts

Reject Irregular Dictionary Files

Update changelog for v1.5.1

Merge pull request #2914 from facebook/xxhash081

updated xxHash to latest v0.8.1

remove offending static assert lines

no idea why visual + clang-cl + appveyor don't like them,
I've not been able to reproduce the issue locally,
but these static assert are very unlikely to deliver a useful signal,
I can't imagine a situation where they will be wrong,
and if they are, then a ton of other things will be broken way before reaching that point.

Merge pull request #2916 from terrelln/issue-2906

Remove possible NULL pointer addition

altered copyright title

Reject Irregular Dictionary Files

I hadn't seen #2890, so I wrote my own version. I like this approach a little
better, since it does an explicit check for a regular file, rather than
passing a magic value.

Addresses #2874.

removed declarations of XXH3 symbols when XXH_NO_XXH3 is defined

on top of implementations, which were already scoped out.

replaces malloc / free / memcpy by Zstandard's version

Remove possible NULL pointer addition

Refactor `ZSTDMT_isOverlapped()` to do NULL checks before computing the
end pointer.

Fixes #2906.

Merge pull request #2915 from terrelln/oss-fuzz-build-fix

Fix oss-fuzz build

Merge pull request #2912 from felixhandte/pkg-config-fix

Fix Up #2659; Build libzstd.pc Whenever Building the Lib on Unix

Fix oss-fuzz build

Disable assembly when dataflow sanitizer is enabled.

This regressed in PR #2893, which accidentally removed the check for
dataflow sanitizer.

fixed very minor cast warning under cygwin

Fix Up #2659; Build libzstd.pc Whenever Building the Lib on Unix

updated xxHash to latest v0.8.1

with minor modifications directly embedded in source :
- does not compile XXH3
- namespace emulation (ZSTD_ prefix)

Incidentally fix #2824

Imply -q when stderr is not a tty (#2884)

* Imply -q when stderr is not a tty

Merge pull request #2659 from ericonr/pc

[lib] Fix libzstd.pc for lib-mt builds

Merge pull request #2907 from Hello71/armv6-fix-legacy

Apply FORCE_MEMORY_ACCESS=1 to legacy

Merge pull request #2890 from 15596858998/dec_1201

fixbug CLI's -D fails when the argument is not a regular file

Apply FORCE_MEMORY_ACCESS=1 to legacy

See #2633, #2881.

add test case

Merge pull request #2893 from terrelln/issue-2789

[asm] Share portability macros and restrict ASM further

Merge pull request #2897 from felixhandte/zstd-deprecated-avoid-deprecated

Avoid Using Deprecated Functions in Deprecated Code

Merge pull request #2899 from felixhandte/cmake-disable-multithreading-android

Disable Multithreading in CMake Builds for Android

[asm] Share portability macros and restrict ASM further

Move portability macros to `lib/common/portability_macros.h`. This file
only contains platform/feature detection (e.g. 0/1 macros). This file is
shared between C and ASM code, so it cannot include any C code.

Rename `HUF_` ASM macros to be `ZSTD_` prefixed, and move to the new
header.

Restrict `ZSTD_ASM_SUPPORTED` to `__GNUC__`, because we need the GAS
assembler.

Finally, only include the ASM code if we are actually going to use it.
This disables it on all Windows platforms, which should resolve the
problem brought up in Issue #2789.

Merge pull request #2900 from terrelln/issue-2893-test

[CI] Add cmake windows build

Merge pull request #2898 from terrelln/issue-2862

Improve zstd_opt build speed and size

[CI] Add cmake windows build

Build on windows with cmake to ensure everything compiles.

Merge pull request #2896 from facebook/m68k

Zstandard compiles and run on m68k cpus

Disable Multithreading in CMake Builds for Android

Improve zstd_opt build speed and size

Use the same trick as we did for zstd_lazy in PR #2828:
* Create one search function specialization for each (dictMode, mls).
* Select the search function pointer at the top of the match finder.

Additionally, we no longer inline `ZSTD_compressBlock_opt_generic` into
every function, since `dictMode` is no longer used as a template. Create
two specializations, for opt levels 0 and 2, and call one of the two
specializations.

Lastly, remove the hack that disabled inlining for zstd_opt for the
Linux Kernel, as we've gotten most of the benefit already.

Compilation time sees a ~4x reduction:

| Compiler | Flags                            | Dev Time (s) | PR Time (s) | Delta |
|----------|----------------------------------|--------------|-------------|-------|
| gcc      | -O3                              |         10.1 |         2.3 |  -77% |
| gcc      | -O3 -fsanitize=address,undefined |         61.1 |        10.2 |  -83% |
| clang    | -O3                              |          9.0 |         2.1 |  -76% |
| clang    | -O3 -fsanitize=address,undefined |         33.5 |         5.1 |  -84% |

Build size is reduced by 150KB - 200KB:

| Compiler | Dev libzstd.a Size (B) | PR libzstd.a Size (B) | Delta |
|----------|------------------------|-----------------------|-------|
| gcc      |                1327476 |               1177108 |  -11% |
| clang    |                1378324 |               1167780 |  -15% |

There is a <2% speed loss in all cases:

| Compiler | Level | Dev Speed (MB/s) | PR Speed (MB/s) | Delta  |
|----------|-------|------------------|-----------------|--------|
| gcc      |    16 |             4.78 |            4.72 | -1.25% |
| gcc      |    17 |             3.49 |            3.46 | -0.85% |
| gcc      |    18 |             2.92 |            2.86 | -2.04% |
| gcc      |    19 |             2.61 |            2.61 |  0.00% |
| clang    |    16 |             4.69 |            4.80 |  2.34% |
| clang    |    17 |             3.53 |            3.49 | -1.13% |
| clang    |    18 |             2.86 |            2.85 | -0.34% |
| clang    |    19 |             2.61 |            2.61 |  0.00% |

Fixes Issue #2862.

Fix Include Path

Merge pull request #2892 from terrelln/issue-2785

[CircleCI] Fix short-tests-0

Migrate to `FORWARD_IF_ERROR`

changed macro name to ZSTD_ALIGNOF

for better consistency

bound alignment backup to sizeof(void*)

Avoid Using Deprecated Functions in Deprecated Code

`lib/deprecated` is no longer built by zstd's bundled build files. However,
users may try to build these files when they import the source tree into
their own build systems. And if they have `-Wdeprecated-declarations` on,
this can produce warnings.

This PR migrates these files away from using deprecated declarations.

This addresses #2767.

move the alignment macro to compiler.h

because mem.h is dropped in the Linux kernel.

Changed macro definition order (gcc/clang/msvc before c11)
due to a limitation in the kernel source builder.

Changed the backup to sizeof(),
reverting to previous behavior when no support of alignof() is detected.

Merge pull request #2891 from supperPants/dev

Fix typos

Merge pull request #2687 from sapiippo/dev

Makefile: fix build for mingw

Merge pull request #2894 from facebook/tomerge2051

merge #2501

m68k CI tests on GA are now compulsory

Merge pull request #2895 from kanavin/fix-repro

Makefile: sort all wildcard file list expansions

Makefile: sort all wildcard file list expansions

Otherwise the order is non-deterministic and breaks
reproducible builds.

fix align conditions for huf_compress

[CircleCI] Fix short-tests-0

short-tests-0 were silently failing. I think because of the && make clean construction. Switch to ; instead.

Also fix all the test failures that were exposed.

`make all` is failing on CircleCI because it is missing Docker. Move that test
to GitHub actions, and switch the pedantic CircleCI test to `make allmost`.

added alignment test

and fix an incorrect alignment check in cwksp which was failing on m68k

removed lib/Makefile preamble

now included from libzstd.mk

Merge branch 'dev' into tomerge2051

Merge pull request #2501 from skitt/hide-static-symbols

Explicitly hide static symbols

Merge pull request #2887 from terrelln/issue-2815

[zdict] Remove ZDICT_CONTENTSIZE_MIN restriction for ZDICT_finalizeDictionary

reduce storage requirement

51 MB seems excessive for CI storate and considering the nature of the test.

(note : maybe we should consider using `/tmp` for files generated during tests,
as tmpfs is typically using RAM, thus preserving storage.)

Merge pull request #2876 from 15596858998/dev

Solve the bug of extra output newline character

Merge pull request #2885 from yoniko/limit-level-32bit-systems

Limit `ZSTD_maxCLevel` to 21 for 32-bit binaries.

Merge pull request #2886 from terrelln/issue-2865

[test] Test that the exec-stack bit isn't set on libzstd.so

Merge pull request #2888 from terrelln/issue-2814

[bmi2] Add lzcnt and bmi target attributes

Merge pull request #2889 from terrelln/issue-2811

[contrib][pzstd] Fix build issue with gcc-5

Merge https://github.com/facebook/zstd into dev

Fix typos.