2.1.0 Beta1 release

This release contains two years of development and improvements to zlib-ng,
as well as fixes and changes inherited from zlib.

The 2.1.x version series has new targeted minumum buildsystem versions, as detailed on the Wiki https://github.com/zlib-ng/zlib-ng/wiki

Buildsystem:
- Many improvements to the CMake scripts.
- Improved support for detecting memory alignment functions.
- Improved support for unaligned access by letting the compiler promote code to unaligned if supported by the CPU.
- Remove x86 cpu feature detection for TZCNT, safely fallback to BSF.
- Enable using AVX512 intrinsics with GCC <9.

Optimizations and Enhancements:
- Decompression is a lot faster (56% faster measured on AVX2-capable x86-64)
- Compresson is improved for Level 9, at the cost of a little performance.
- Compression is improved for Level 3, by switching from deflate_fast to deflate_medium.
- Levels 3 and 4 have been reconfigured to provide a better gradual tradeoff for speed/compression between levels 2 and 5.
- Deflate_quick (Level 1) has been improved to default to a bigger windowsize and support changing the window size like the other levels.

New instruction set optimizations:
- Adler32 implementation using AVX512, AVX512-VNNI, VMX.
- CRC32-B implementation using VPCLMULQDQ & IBM-Z.
- Slide hash implementation using VMX.
- Compare256 implementations using SSE2, Neon, & POWER9.
- Inflate chunk copying using SSSE3 & VSX.

Compatibility and Porting:
- CRC-32 computation changes from madler/zlib. zlib-ng/zlib-ng#a6155234
- Compatible and up-to-date with zlib 1.2.13.
- Removed the usage of macros in zlib-ng.h, making life easier for languages that want to call the C functions without having the C preprocessor (Python, etc).

Improved support more environments:
- Apple M1
- vcpkg
- Emscripten

Testing:
- Tests have been converted to use GTest. Many new tests have also been added.
- Gbench support has been added to easily benchmark changes to performance-critical functions.

Misc:
- Several pieces of core code has been restructured or rewritten.
- Too many changes to list here, see the git commit log for the full list of changes.

Deprecations:
- Configure no longer has the full range of tests.
- NMake is no longer actively supported and tested, it is now community supported.
- See the wiki for minimum build system versions and deprecations https://github.com/zlib-ng/zlib-ng/wiki

Fix potential overflow before widening in makecrtc.

Fix use after free in test_deflate_bound.

Assure that inflatePrime() can't shift a 32-bit integer by 32 bits.

The inflate() functions never leave state->bits greater than 24, so
an inflatePrime() call could not cause this. The only way this
could have happened would be by using inflatePrime() to fill the
bit buffer with 32 bits, and then calling inflatePrime() a *second*
time asking to insert zero bits, for some reason. This commit
assures that a shift by 32 bits does not occur even in that case.

Use ZLIB_INCLUDE_DIRS from FindZLIB instead of ZLIB_INCLUDE_DIR.

ZLIB_INCLUDE_DIRS is set by FindZLIB if ZLIB_INCLUDE_DIR is set on the
command line.

Ensure that unaligned compare256 variants are only used on little endian systems

IBM zSystems: Fix calling deflateBound() before deflateInit()

Even though zlib officialy forbids calling deflateBound() before
deflateInit(), Firefox does this anyway, and it happens to work [1],
but unfortunately not with DFLTCC [2], because the DFLTCC code assumes
that the deflate state is allocated, and segfaults when it isn't.

Bow down before Hyrum's Law and add deflateStateCheck() to
DEFLATE_BOUND_ADJUST_COMPLEN().

Extend the deflate_bound test accordingly.

[1] https://searchfox.org/mozilla-esr102/source/dom/script/ScriptCompression.cpp#97
[2] https://bugzilla.suse.com/show_bug.cgi?id=1210593

Rename chunkset_avx to chunkset_avx2

Fix compilation on OpenBSD

Non-POSIX functions (like vasprintf() and swap16()) require
_BSD_SOURCE to be defined.

Signed-off-by: Benjamin Stürz <benni@stuerz.xyz>

Fix CMake check for posix_memalign and aligned_alloc

These two functions were being checked using check_function_exists. This
CMake macro does not check to see if the given function is declared in
any header as it declares its own function prototype and relies on
linking to determine function availability. This causes two issues.

Firstly, it will always succeed when the CMake toolchain file sets
CMAKE_TRY_COMPILE_TARGET_TYPE to STATIC_LIBRARY as no linking will take
place. See: https://gitlab.kitware.com/cmake/cmake/-/issues/18121

Secondly, it will not correctly detect macros or inline functions, or
whether the function is even declared in a header at all.

Switch to check_symbol_exists at CMake's recommendation, the logic of
which actually matches the same checks in the configure script.

Reverted description with Deprecation notice

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix .pc file paths

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Switch to the standard CMake module GNUInstallDirs

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Clean up SSE4.2 detection

Check for attribute aligned compiler support

Check for compiler support in CMake and the configure script. This
allows ALIGNED_ to be defined for more compilers so that more than
just Clang, GCC and MSVC can build the project.

Remove architecture dependent endian header locations

The header locations are OS specific and not architecture specific. The
previous behaviour was to always include machine/endian.h for ARM and
AArch64 architectures on non-Windows and non-Linux OSs, causing build
failures if the OS uses other locations defined further down the
conditional block.

Enable use of _mm_shuffle_epi8 on machines without SSE4.1

Shared libraries on cygwin can be named with their version number

Enable using AVX512 intrinsics with GCC <9

Replace missing '_mm512_set_epi8' with
'_mm512_set_epi32' in test code for configuring;
Add fallback for '-mtune=cascadelake' flag used
when AVX512 is enabled.

Add fallback function for '_mm512_set_epi8' intrinsic

'_mm512_set_epi8' intrinsic is missing in GCC <9.
However, its usage can be easily eliminated in
favor of '_mm512_set_epi32' with no loss in
performance enabling older GCC to benefit from
AVX512-optimized codepaths.

Remove unused PREFETCH macros

Add member to cpu_features struct if empty

When WITH_OPTIM is off, the cpu_features struct is empty. This is not
allowed in standard C and causes a build failure with various compilers,
including MSVC.

This adds a dummy char member to the struct if it would otherwise be
empty.

Fix regex for visibility attribute tests

The previous regex of `not supported` was very specific to a particular
compiler (Clang 3.4+). As Clang isn't the only compiler that throws a
warning (but otherwise succeeds) when a visibility isn't supported, make
the regex more generic to hit all such cases.

Testing on Compiler Explorer shows that looking for the string
`visibility` has a better hit rate. `attribute` is perhaps more
dangerously generic, and `hidden`/`internal` doesn't always show up in
warning messages when the visibility attribute itself isn't available.

Create FUNDING.yml

Adds the required file for enabling the `Sponsor` button to appear when viewing the repo.

IBM zSystems: Use HWCAP_S390_VXRS

glibc defines HWCAP_S390_VX and, since v2.33, its alias
HWCAP_S390_VXRS; musl has only HWCAP_S390_VXRS.

Use the common HWCAP_S390_VXRS, define it as HWCAP_S390_VX if
necessary.

Remove useless assignments

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Replace global CPU feature flag variables with local variable in init_functable

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Replace __WIN__ with X86_FEATURES

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix TEST_CRC32 macro

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Add missing test for crc32_vpclmulqdq

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix CodeQL warnings: This pointer might have type  (size 4), but this pointer arithmetic is done with type __m128i * (size 16)

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix formatting

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Split crc32 pclmulqdq and vpclmulqdq implementations

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Inflate: add fast-path for literals

Inflate: refill unconditionally

Fix definition of z_size_t to match documentation of legacy zlib API.

Fix warning: comparison of integer expressions of different signedness: 'size_t' {aka 'long unsigned int'} and 'int' [-Wsign-compare]

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Use named defines instead of hard coded numbers.

Sort functable alphabetically

Fix CMake not enabling POWER9_FEATURES

Reduce the amount of different defines required for arch-specific optimizations.
Also removed a reference to a nonexistant adler32_sse41 in test/test_adler32.cc.

Add missing compare256_neon activation to functable

Combine some of the checks that were not identical.
Made longest_match and compare256 use the X86_NOCHECK_SSE2 override,
thus now those are also automatically enabled on x86_64.

Simplify functable.c

Narrow down the amount of packages installed for Wine.

[minigzip] Close gzFile before exiting on error.

Fix warnings in benchmarks

1. Initialize len in benchmark_compare256.cc.

    In function ‘typename std::enable_if<(std::is_trivially_copyable<_Tp>::value && (sizeof (Tp) <= sizeof (Tp*)))>::type benchmark::DoNotOptimize(Tp&) [with Tp = unsigned int]’,
        inlined from ‘void compare256::Bench(benchmark::State&, compare256_func)’ at /zlib-ng/test/benchmarks/benchmark_compare256.cc:44:33,
        inlined from ‘virtual void compare256_c_Benchmark::BenchmarkCase(benchmark::State&)’ at /zlib-ng/test/benchmarks/benchmark_compare256.cc:62:1:
    /zlib-ng/_deps/benchmark-src/include/benchmark/benchmark.h:480:3: warning: ‘len’ may be used uninitialized [-Wmaybe-uninitialized]
      480 |   asm volatile("" : "+m,r"(value) : : "memory");
          |   ^~~
    /zlib-ng/test/benchmarks/benchmark_compare256.cc: In member function ‘virtual void compare256_c_Benchmark::BenchmarkCase(benchmark::State&)’:
    /zlib-ng/test/benchmarks/benchmark_compare256.cc:36:18: note: ‘len’ was declared here
       36 |         uint32_t len;
          |                  ^~~

2. Make the loop counter unsigned in benchmark_slidehash.cc.

    /zlib-ng/test/benchmarks/benchmark_slidehash.cc: In member function ‘virtual void slide_hash::SetUp(const benchmark::State&)’:
    /zlib-ng/test/benchmarks/benchmark_slidehash.cc:29:31: warning: comparison of integer expressions of different signedness: ‘int32_t’ {aka ‘int’} and ‘unsigned int’ [-Wsign-compare]
       29 |         for (int32_t i = 0; i < HASH_SIZE; i++) {

Update zlib-ng ABI files.

Adjust thread counts for compiles and tests to avoid under-utilization and congestion.
The free Github Actions VMs have 2 cores, the dedicated s390x VM has 4 cores.

Fix various incorrect name mangling

Fix wrong names and invalid entries in zlib.map and zlib-ng.map

Fix prefixing for internal functions calloc/cfree

Add missing Z_INTERNAL to some functions that should not be exported.

Use memcpy instead of memcmp for unaligned memory comparisons.

Use memcpy because it is better supported for compilers that support unaligned
access than memcmp.

Fixed link fuzzers against zlib when BUILD_SHARED_LIBS=ON.

Simplify linking gtest_zlib with zlib target based on BUILD_SHARED_LIBS.

Since we turn ZLIBNG_ENABLE_TESTS on or off based on BUILD_SHARED_LIBS, then we
don't have to worry about it when linking against zlib.

Disable zlib-ng internal tests when BUILD_SHARED_LIBS=ON.

When BUILD_SHARED_LIBS=ON some zlib-ng internal functions are not exported,
which are used by gtest_zlib and benchmark_zlib. Therefore, we must disable
those tests/projects.

Added CI tests for checking undefined symbols in version scripts.

Correct inflate_fast function signature

Fix ambiguous shift warning in inflateCopy.

Add official Ubuntu mirror list as fallback for Actions caching proxy

Ubuntu 18.04 is being removed shortly, update workflows to use 20.04.
Clang-6.0 is still supported according to Ubuntu package list website.

Update mymindstorm/setup-emsdk

Update ilammy/msvc-dev-cmd

Update release uploader

Update codecov uploader

Update to actions/upload-artifact@v3

Remove x86 cpu feature detection for tzcnt

Remove FORCE_TZCNT/X86_NOCHECK_TZCNT

Replace __builtin_ctz[ll] fallback functions with branchless implementations.
Added debug assert check for value = 0.
Added more details to the comment to avoid future confusion.
Added fallback logic for older MSVC versions, just in case.

Remove unused chunk memory functions from functable.

Use arch-specific versions of inflate_fast.

This should reduce the cost of indirection that occurs when calling functable
chunk copying functions inside inflate_fast. It should also allow the compiler
to optimize the inflate fast path for the specific architecture.

Pin Google Benchmark to v1.7.1 to fix the upstream issue https://github.com/google/benchmark/issues/1454.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Rename local `functable` variable to `ft`

Use local functable variable instead of standalone function pointers

Move initialization of functable to `init_functable` function

Avoid `functable` redefinition in functable.c

`functable` is already declared by functable.h which is included by functable.c

Sync with zlib 1.2.13 and declare compatibility.

Fix crash when gzsetparams() attempted for transparent write.

gzsetparams() now returns a Z_STREAM_ERROR in this case.

Fix bug in deflateBound() for level 0 and memLevel 9.

memLevel 9 would cause deflateBound() to assume the use of fixed
blocks, even if the compression level was 0, which forces stored
blocks. That could result in a bound less than the size of the
compressed data. Now level 0 always uses the stored blocks bound.

Remove redundant check in gz_look().

Remove -pedantic from configure -w compile options.

Add WIN32_LEAN_AND_MEAN for windows.h include.

Fix bug in block type selection when Z_FIXED used.

A fixed block could be chosen when a stored block was smaller. Now
the smaller of the two is always chosen.

Have infback() deliver all of the available output up to any error.

Have build test report library version if it doesn't match zlib.h.

Allow disabling visibility attribute with configure
* Disable visibility check for Cygwin, MinGW and MSYS as the compiler will only issue warning instead of error for unsupported attributes.

Fix missing gzip functions when linking example and minigzip binaries.

Fix building resource files during out-of-tree build with configure

Add support for symbol prefix to linker definition files.

Fix configure to use correct linker definition file when --without-gzfileops is specified.

Fix MinGW build
* Add detection of XSAVE intrinsics

Add assert for tzcnt if building with X86_NOCHECK_TZCNT

Add temporary cmake build dirs/files to gitignore

Fix typo found by codespell

Fix ABI checking...
* Ubuntu 22.04 use different format for ABI files so old ones need to be removed
* Use more recent zlib-ng commit to avoid issues with internal adler32 and crc32 functions

Match __builtin_ctzl/__builtin_ctzll signatures

make sure input/output args match original functions from clang/gcc

Fix MSVC warnings in benchmark code

Use size_t instead of uint64_t for len in all adler32 functions

Use size_t instead of uint64_t for len in all crc32 functions