Use unsigned long instead to help with some tests

human_size() should use size_t

Convert tabs to spaces

Use human_size() on the "multiple files compressed" output also

Use human_size() in the benchmark output also

Move the variable declarations to the top

Make the variable types match

Convert names to CamelCase

Put the human_size() function in util.c

Make the CLI output the file sizes in human readable format

Merge pull request #2697 from senhuang42/entropy_repeat_fix

[bug] Fix entropy repeat mode bug

Merge pull request #2704 from facebook/revert-2703-bootcamp

Revert "Add support for --long-param flag, fix #2104"

Revert "Add support for --long-param flag, fix #2104"

Merge pull request #2703 from binhdvo/bootcamp

Add support for --long-param flag, fix #2104

Add support for --long-param flag

Merge pull request #2698 from binhdvo/bootcamp

Fix --progress flag to properly control progress display and default …

Merge pull request #2678 from senhuang42/big_endian_no_intrinsics_fuzztest

Fuzzer test with no intrinsics on S390x (big endian)

Merge pull request #2700 from gauthamkrishna9991/update_readme_travis_link

Update README for Travis CI Badge

Update README for Travis CI Badge

### Updating Badge link to the newTravis CI link.
- Update badge root to `api.travis-ci.com` (new)
  from `travis-ci.org` (old), which was migrated.

Flatten ZSTD_row_getMatchMask (#2681)

* Flatten ZSTD_row_getMatchMask

* Remove the SIMD abstraction layer.
* Add big endian support.
* Align `hashTags` within `tagRow` to a 16-byte boundary.
* Switch SSE2 to use aligned reads.
* Optimize scalar path using SWAR.
* Optimize neon path for `n == 32`
* Work around minor clang issue for NEON (https://bugs.llvm.org/show_bug.cgi?id=49577)

* replace memcpy with MEM_readST

* silence alignment warnings

* fix neon casts

* Update zstd_lazy.c

* unify simd preprocessor detection (#3)

* remove duplicate asserts

* tweak rotates

* improve endian detection

* add cast

there is a fun little catch-22 with gcc: result from pmovmskb has to be cast to uint32_t to avoid a zero-extension
but must be uint16_t to get gcc to generate a rotate instruction..

* more casts

* fix casts

better work-around for the (bogus) warning: unary minus on unsigned

Fix --progress flag to properly control progress display and default progress display on when using -v

Merge pull request #2654 from wolfpld/dev

Initialize "potentially uninitialized" pointers.

Merge pull request #2691 from senhuang42/per_pr_regressiontest

Make regression test run on every PR

Add no intrinsics fuzztest, rowhash compression size test, and S390X to travis

Make regression test run on every PR

Fix entropy repeat mode bug

Merge pull request #2693 from binhdvo/bootcamp

Add documentation for --patch-from

Add documentation for --patch-from

Merge pull request #2684 from senhuang42/old_api_ldm_blocksplit

Add ldm and block splitter auto-enable to old api

Merge pull request #2686 from senhuang42/arm64fuzztest

Add arm64 fuzz test to travis

Add arm64 fuzz test to travis

Merge pull request #2682 from senhuang42/armbuild_fixtest

Make GH Actions CI tests run apt-get update before apt-get install

Update apt-get prior to tests that install packages

Merge pull request #2675 from senhuang42/ci_overhaul

[CI][1/2] Re-do the github actions workflows, migrate various travis and appveyor tests.

Add ldm and block splitter auto-enable to old api

Migrate travis CI tests

Merge pull request #2673 from terrelln/regression

[test][regression] Update results.csv

Merge pull request #2674 from terrelln/trace-aix

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

[trace] Refine the ZSTD_HAVE_WEAK_SYMBOLS detection

* Only enable for ELF on x86-64 or i386.
* Also explicitly disable for AIX.

Fixes #2658.

[test][regression] Update results.csv

Changing the repcode search slightly, and changing when zstd is in
ext-dict vs. prefix mode in edge cases, slightly changes the compressed
results.

Merge pull request #2667 from senhuang42/arm_tests_ci

[CI] Add ARM tests back into CI

Merge pull request #2668 from senhuang42/update_ci_platforms

[CI] Fix zlib-wrapper test

Merge pull request #2649 from felixhandte/circleci-release-job-fix

Fix CircleCI Config to Fully Remove `publish-github-release` Job

Merge pull request #2653 from TrianglesPCT/dev

Enable SSE2 compression path to work on MSVC

Merge pull request #2660 from facebook/diaz

improve tar compatibility

[ci] Add ARM tests back into CI

[ci] Use *-latest for platforms to test on

Merge pull request #2657 from dnelson-1901/dev-typofix

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

improve tar compatibility

This patch is supposed to improve compatibility with less featured tar variants
"when the tar program used does not support historical options (without hyphen) nor the '-z' option."

Patch proposed by Antonio Diaz Diaz

minor mention of RFC8878

more recent update

ZSTD_VecMask_next: fix incorrect variable name in fallback code path

Update zstd_lazy.c

It put the changes back when I tried to make a separate pull request, i don't understand githubs interface at all.

Add files via upload

AVX2

Update zstd_lazy.c

add space

Update zstd_lazy.c

Remove the AVX2 part

Update zstd_lazy.c

Switch to other comment style

Merge pull request #2648 from terrelln/determinism-fuzzer

Add determinism fuzzers and fix rare determinism bugs

Update zstd_lazy.c

switch to unaligned load as I don't know if buffer will always be aligned to 32 bytes, and compilers aside from MSVC might actually use aligned loads

Update zstd_lazy.c

Update zstd_lazy.c

use 8bit

Initialize "potentially uninitialized" pointers.

Add files via upload

Add files via upload

msvc

Add files via upload

msvc suport
avx2 path

Fix CircleCI Config to Fully Remove `publish-github-release` Job

[fuzz] Add determinism fuzzing to simple & dictionary round trip

Compress the input twice in the `simple_round_trip` and
`dictionary_round_trip` fuzzers with exactly the same parameters, but
reusing the context. Then ensure that the compressed output is
identical.

[lib] Fix dictionary invalidation logic

Call `ZSTD_enforceMaxDist()` before each block with the beginning of the
block. This ensures that `lowLimit` is updated to `dictLimit` whenever
the ext-dict is out of range, so we can use prefix mode for speed.

This can cause non-determinism because prefix mode and ext-dict mode
match finders can return different results. It can also hurt speed
because ext-dict match finders are slower.

The scenario is:
1. Compress large data with a dictionary.
2. The dictionary goes out of bounds, so we invalidate it.
3. However, we still have `lowLimit < dictLimit`, since it is
   never updated.
4. We will call the ext-dict match finder instead of the prefix one.

[lib] Fix off-by-one error in repcode checks

The repcode checks disallowed repcodes that are equal to `windowLow`.
This is slightly inefficient, but isn't a problem on its own. Together
with the next commit, it cause non-determinism.

[lib] Fix determinism bug in the optimal parser

`ZSTD_insertBt1()` has a speed optimization that skips the prefix of
very long matches.

https://github.com/facebook/zstd/blob/40def70387f99b239f3f566ba399275a8fd44cde/lib/compress/zstd_opt.c#L476

This optimization is based off the length longest match found. However,
when indices are reset, we only ensure that we can reference the whole
window starting from `ip`. If the previous block ended with a long match
then `nextToUpdate` could be much less than `ip`. It might be far enough
back that `nextToUpdate < maxDist`, so it doesn't have a full window of
data to reference. This can cause non-determinism bugs, because we may
find a match that is beyond `ip - maxDist`, and may sometimes be
un-referencable, and that match triggers the speed optimization.

The fix is to base the `windowLow` off of the `target` of
`ZSTD_updateTree_internal()`, because anything below that value will be
obsolete by the time `ZSTD_updateTree_internal()` completes.

Remove deprecate flag for vcx (#2647)

Add source level deprecation warning disabling to certain tests/utils (#2645)

Merge pull request #2644 from facebook/mesonFix

Fixed meson test on travisCI

updated meson test

hopefully, bionic will have a more recent version of python
required to install meson.

Merge pull request #2643 from facebook/workers32

reduce ZSTDMT_NBWORKERS_MAX in 32-bit mode

Update CHANGELOG to include patch from fix (#2642)

Merge branch 'dev' of github.com:facebook/zstd into dev

fileio: clamp value of windowLog in patch-mode (#2637)

With small enough input files, the inferred value of fileWindowLog could
be smaller than ZSTD_WINDOWLOG_MIN.

This can be reproduced like so:
$ echo abc > small
$ echo abcdef > small2
$ zstd --patch-from small small2 -o patch
previously, this would fail with the error "zstd: error 11 : Parameter is out of bound"

reduce Max nb Workers to 64 in 32-bit mode

and restored limit to 256 when in 64-bit mode
(it was reduced to 200 to give more room for 32-bit).

This should fix test instability issues
using lot of threads in 32-bit environments.

Remove const data members in threadpooltest payload (#2639) (#2640)

Remove const data members in threadpooltest payload (#2639)

Add mt lib build to CL, shuffle around bugs section (#2638)

updated generated man pages for v1.5.0 (#2635)

Bump version to 1.5.0, rebuild documentation (#2634)

Merge pull request #2633 from bmwiedemann/issue2632

Avoid SIGBUS on armv6

Avoid SIGBUS on armv6

When running armv6 userspace on armv8 hardware with a 64 bit Linux kernel,
the mode 2 caused SIGBUS (unaligned memory access).
Running all our arm builds in the build farm
only on armv8 simplifies administration a lot.

Depending on compiler and environment, this change might slow down
memory accesses (did not benchmark it). The original analysis is 6 years old.

Fixes #2632

Merge pull request #2630 from facebook/gcc9

improved gcc-9 and gcc-10 decoding speed

Merge pull request #2628 from skitt/libzstd-nomt-flags

Apply flags to libzstd-nomt in libzstd style

improved gcc-9 and gcc-10 decoding speed

the new alignment setting is better for gcc-9 and gcc-10
by about ~+5%.

Unfortunately, it's worse for essentially all other compilers.

Make the new alignment setting conditional to gcc-9+.

Merge pull request #2547 from facebook/d_prefetch_refactor

Refactor prefetching for the decoding loop

update decoder hot loop alignment

This seems to bring an additional ~+1.2% decompression speed
on average across 10 compilers x 6 scenarios.

Merge branch 'd_prefetch_refactor' of github.com:facebook/zstd into d_prefetch_refactor

improve decompression speed of long variant by ~+5%

changed strategy,
now unconditionally prefetch the first 2 cache lines,
instead of cache lines corresponding to the first and last bytes of the match.

This better corresponds to cpu expectation,
which should auto-prefetch following cachelines on detecting the sequential nature of the read.

This is globally positive, by +5%,
though exact gains depend on compiler (from -2% to +15%).
The only negative counter-example is gcc-9.

Add PHONY targets to makefiles (#2629)

Merge pull request #2627 from terrelln/timeout-fix

[lib] Fix fuzzer timeouts by backing off overflow correction

Assert no divison by 0, correct superblocks 0 sequences case (#2592)

Merge branch 'dev' into d_prefetch_refactor

Merge pull request #2623 from facebook/fasterCygwin

attempt to make Appveyor's Cygwin test faster

Add threadPool unit tests to fuzzer.c (#2604)

[1.5.0] Enable multithreading in lib build by default (#2584)

* Update lib Makefile to have new targets

* Update lib/README.md for mt

Apply flags to libzstd-nomt in libzstd style

... for consistency (this doesn't actually change the build flags used
in practice, currently).

Signed-off-by: Stephen Kitt <steve@sk2.org>