Add back-and-forth inflateCopy() test

Check that calling inflateCopy() twice does not result in memory
corruption.

Remove unused function dfltcc_alloc_state

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Use actual compressed length

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix a name conflict when compiled with zlib-compat

The benchmarks fail to compile properly when built with ZLIB_COMPAT.
The name of the class cannot have the same name as the function.

Fix illegal instruction usage in Xeon Phi x200 processors

The Xeon Phi x200 family of processors (Knights Landing) supports
AVX512 (F, CD, ER, PF) but does not support AVX512 (VL, DQ, BW).

Because of processors like this, the Intel Software Developer's Manual
suggests the bits AVX512 (DQ,BW,VL) are also tested in EBX together with
AVX512F before deciding to run AVX512 (DQ,BW,VL) instructions.

This also adds a new x86 feature called avx512_common that indicates
that AVX512 (F,DQ,BW,VL) are all available and start using this for both
adler32_avx512 and crc32_vpclmulqdq implementations because they are
both built with -mavx512dq -mavx512bw -mavx512vl.

This has been reported downstream as
https://bugzilla.redhat.com/show_bug.cgi?id=2280347 .

Use windows-2019 for build with toolset v141

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Make lint check ignore *.patch files, as those can legally have trailing
whitespace or end the file with blank lines.

Update llvm version used for MSAN.
Disable unneccessary compilation of tests, benchmarks, docs.

Update s390x CI setup.
- New dockerfile
  - Using native actions-runner instead of relying on qemu.
  - To support s390x, we include patches to actions-runner.
  - Using Almalinux 9 instead of Ubuntu, with functional .Net.
- Update CI workflow.
- Update readme guide.

Add small compress() benchmark

IBM zSystems DFLTCC: Inline DLFTCC states into zlib states

Currently DFLTCC states are allocated using hook macros, complicating
memory management. Inline them into zlib states and remove the hooks.

IBM zSystems DFLTCC: Extend sanitizer checks

Currently the DFLTCC sanitizer instrumentation is limited to
MSAN-unpoisoning the parameter block. Add ASAN and MSAN checks;
also MSAN-unpoison the window.

Introduce the generic instrument_read(), instrument_write() and
instrument_read_write() macros, that are modeled after the repsective
functions in the Linux kernel.

Switch to python venv

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix -std option in configure script

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Update macOS Github Actions

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

.gitattributes: Enforce LF line-endings on all non-binary files

Although Git is able to automatically modify line-endings during checkin
and checkout, this brings a lot of trouble, especially when trying to
use a repository from different platforms (as Windows and Linux). This
is due to the fact that Git consults different local gitconfig settings
and uses problematic defaults if not set.

Therefore, Git should enfoce one type of line-ending (LF) and not
consult the local config, which is what the change from this commit
does.

Signed-off-by: Deniz Bahadir <deniz@code.bahadir.email>

make darwin cross compilation possible

https://github.com/madler/zlib/pull/789

Bump max CMake policy version to 3.29.0

Addresses:

  3.29.0/share/cmake/Modules/CMakeDependentOption.cmake:89 (message):
    Policy CMP0127 is not set: cmake_dependent_option() supports full Condition
    Syntax.  Run "cmake --help-policy CMP0127" for policy details.  Use the
    cmake_policy command to set the policy and suppress this warning.
  Call Stack (most recent call first):
    CMakeLists.txt:107 (cmake_dependent_option)
This warning is for project developers.  Use -Wno-dev to suppress it.

arch/riscv/riscv_features.c: fix uclibc build

Fix the following uclibc build failure raised since version 2.1.4 and
https://github.com/zlib-ng/zlib-ng/commit/6ff8b52cefe56a824fae1d53fdd687bcde2e53c9:

/home/autobuild/autobuild/instance-2/output-1/build/zlib-ng-2.1.6/arch/riscv/riscv_features.c:4:10: fatal error: sys/auxv.h: No such file or directory
    4 | #include <sys/auxv.h>
      |          ^~~~~~~~~~~~

Fixes:
 - http://autobuild.buildroot.org/results/06a7d8e59ec4de7c711d3f4a4624f67b97d78afe

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Update dependencies for 32-bit MinGW CI run.

CMake: Replace ';' by '$<SEMICOLON>' in generator-expression

Note: CMake generator-expressions should not contain semicolons,
especially if they might end up in a CMake list, because a semicolon
would be interpreted as list-item separator and therefore render the
generator-expression invalid. The generator-expression `$<SEMICOLON>`
should be used instead.

Signed-off-by: Deniz Bahadir <deniz@code.bahadir.email>

Clean up insert_match() in deflate_medium

Inserting strings is not slow any longer, remove bypass in deflate_medium().

Optimized rvv slide_hash

Signed-off-by: Alex Chiang <alex.chiang@sifive.com>

Remove obsolete TARGET_OS_MAC check

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Allow disabling runtime CPU features detection in tests and benchmarks

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fix building with NVHPC

Replace conditional call to functable.force_init with macro FUNCTABLE_INIT

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Add native ARM64 build on macOS

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Workaround for MSVC. By default MSVC does not define the __SSE*__ macros. Fix it if AVX is enabled.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Add option to disable runtime CPU detection

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Explicitly indicate functions are conditionally dispatched

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

[ARM] Override Clang x4 NEON intrinsics for Android
* Clang for Android requires 256-bit alignment for x4 loads and stores, which can't be guaranteed and is unnecessary

Rename cpu_functions.h to arch_functions.h in depcheck.cpp

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

[CI] Fix creating list of artifacts for CodeCov.

Add more result variables to the cmake package configuration

Add test for checking if -march=native needs -mfpu=neon for 32-bit ARM.

Cleanup and update NMake Makefiles.
* Add depcheck.exe to validate NMake Makefiles

Move update_hash(), insert_string() and quick_insert_string() out of functable
and remove SSE4.2 and ACLE optimizations. The functable overhead is higher
than the benefit from using optimized functions.

Remove unused 's' parameter from HASH_CALC macro

Remove deflate_state parameter from update_hash functions.

Inline CHUNKCOPY and CHUNKUNROLL

This slightly decreases the shared library size on x86_64 when both SSE2 and SSSE3 are enabled.

Remove mixing of SSE2 and SSSE3 chunkset code

Bump github/codeql-action from 2 to 3

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2 to 3.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/v2...v3)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/upload-artifact from 3 to 4

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 3 to 4.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Don't export git/github-related files in tar/zip archives

Rename cpu_functions.h to arch_functions.h.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Move select for generic functions into generic_functions.h.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Split CPU features checks and CPU-specific function prototypes and reduce include-dependencies.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Add dependabot for github actions

Rename codecov.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Fixed S390X configure builds not running in forks.

Fix PCLMULQDQ support for IntelLLVM.

Disable CodeCov for RISC-V as the toolchain doesn't support generating code coverage.

Update mymindstorm/setup-emsdk to v14.

Upgrade codecov/codecov-action to v4.

Fix include paths

zlb-ng shouldn't require to have arch/generic in the include path

Add missing checks for 64bit arm/intel with msvc compiler

Disable Intel Compiler diagnostic message 10441.

Upgrade ilammy/msvc-dev-cmd to v1.13.0

Fix xsave intrinsic test for clang, and gcc 8.2 or later, and icc.

Allow overwrite NATIVEFLAG value by option NATIVE_ARCH_OVERRIDE.

Signed-off-by: Vladislav Shchapov <vladislav@shchapov.ru>

Increase alignment from 8 to 16 to avoid warnings with ms compiler

Fixing align attribute, makes ms compiler warn: 'internal_state': Alignment specifier is less than actual alignment (16), and will be ignored.
Increasing alignemnt fixes the warning

Fix `deflate_state` alignment with MS or clang-cl compilers

When building with clang-cl, compiler produces the following warning:

zlib-ng/deflate.h(287,3): warning : attribute 'align' is ignored, place it after "struct" to apply attribute to type declaration [-Wignored-attributes]
zlib-ng/zbuild.h(196,34): note: expanded from macro 'ALIGNED_'

Repositioning align attribute after "struct" fixes the warning and aligns `deflate_state` correctly.

Avoid empty function by renaming bi_flush to zng_tr_flush_bits.

Remove branch that is almost impossible to hit in bi_flush().
Add case that handles sizes >=48.

Relocate CMake target export definitions

When exporting a CMake target the `install(TARGETS ${ZLIB_INSTALL_LIBRARIES})` is repeated with an `EXPORT` parameter. On Windows this would install the `.dll` files into the `lib` directory.

Set the `EXPORT_NAME` earlier and unconditionally on the `TARGET`. Then move the `EXPORT` to a single `install(TARGETS)`.

Use zng_alloc_aligned in unit tests to prevent having to use C++17.

alloc_aligned when using in C++ requires C++17 standard. zutil_p.h
include removed from test_crc32 since it was causing the same issue and was
not really needed.

Memory alloc size must be a multiple of alignment for aligned_alloc.

Prefer HAVE_ALIGNED_ALLOC when available in zng_alloc

Added some more helpful comments for people who come across this code.

zlib 1.3.1

madler/zlib#51b7f2abdade71cd9bb0e7a373ef2610ec6f9daf

Remove -w compile option in configure test.

Not all C compilers have a -w option.

madler/zlib#88ec24670e9c484219392def5f2f4b5e3f839db3

Fix cmake build on AIX.

The --version-script linker option is not supported by the linker on AIX systems

madler/zlib#ade6825c4996f73d776b0ffa038360762bd318ae

Remove mentions of an official zlib DLL distribution.

There used to be one, but no more. It is up to the user or vendor
to compile zlib.

madler/zlib#25263462377fa5c569947a40315815bd59e37f4b

Add back gz_intmax for zlib compatibility when linking statically

Make the existence of gz_intmax() unconditional.

gz_intmax() is noted in zlib.map. This assures it's always there.

madler/zlib#01253ecd7e0a01d311670f2d03c61b82fc12d338

Note that the len2 argument of crc_combine*() must be non-negative.

If it is negative, then the code will enter an infinite loop.

madler/zlib#36e369e1a54b35a978dc584496af69a07ec2d71a

Enable LIT_MEM by default expect when WITH_REDUCED_MEM is ON.

Fix the copy of pending_buf in deflateCopy() for the LIT_MEM case.

madler/zlib#60c31985ecdc2b40873564867e1ad2aef0b88697

Fix pending buffer overflow assert with LIT_MEM allocation.

Since each element in s->d_buf is 2 bytes, the sx index should be
multiplied by 2 in the assert.

Fixes madler/zlib#897

madler/zlib#ee474ff2d11715485a87b123edbdd615ba218b88

Add bounds checking to ERR_MSG() macro, used by zError().

madler/zlib#431a9b65eacab7efabf2230ba97ff426c0e07f9d

Add LIT_MEM define to use more memory for a small deflate speedup.

A bug fix in zlib 1.2.12 resulted in a slight slowdown (1-2%) of
deflate. This commit provides the option to #define LIT_MEM, which
uses more memory to reverse most of that slowdown. The memory for
the pending buffer and symbol buffers is increased by 25%, which
increases the total memory usage with the default parameters by
about 6%.

madler/zlib#ac8f12c97d1afd9bafa9c710f827d40a407d3266

Make internal functions static in the test code.

To avoid warnings when building with -Wmissing-prototypes.

madler/zlib#bd9c329c1055a9265812352655ed2eec93f36e92

Fix bug in inflateSync() for data held in bit buffer.

madler/zlib#5af7cef45eeef86ddf6ab00b4e363c1eecaf47b6

Update copyright years in other source files.

Update copyright year in win32 resource files.

madler/zlib#8988e03256e9c80766ac6899e86c3bc57c347efc

Remove unused code in makecrct.c

Add missing clean rule for arch/generic

Rename crc32_braid.c to crc32.c

Add support for handling alignment correction for input buffers down to 16 bytes in crc32_fold_[v]pclmulqdq

Speed up crc32_[v]pclmulqdq on small strings.

Add more fine-grained small-length benchmarking of adler32 and crc32.

Generate CMake package configuration files
* For COMPAT mode, zlib-config.cmake and zlib-config-version.cmake
* For non-COMPAT mode, zlib-ng-config.cmake and zlib-ng-config-version.cmake

Remove extern keyword from cpu_feature function declarations.

Remove type declarations for z_stream/zng_stream from cpu_features.

Split cpu_features.h by architecture.

Fix regression caused by 2fa631e029084b75acd81db5d33fd4aa802fd082
* POWER8/9 feature checks were enabled even if the toolchain didn't support AT_HWCAP2
* Add detection if we need to include <linux/auxvec.h>

Removing some outdated comments

These were left on my part, the inline copy + checksum is the very
thing the function is doing.

Set registers to zero to prevent GCC __get_cpuid bug.

https://gcc.gnu.org/bugzilla/show_bug.cgi?id=77756

Simplify architecture #ifdef in test_crc32.cc.