Fixed unsigned integer overflow ASAN error when hash_head > s->strstart.

  zlib-ng/deflate_medium.c:244:47: runtime error: unsigned integer overflow: 58442 - 58452 cannot be represented in type 'unsigned int'

Co-authored-by: Mika Lindqvist <postmaster@raasu.org>
Co-authored-by: Hans Kristian Rosbach <hk-git@circlestorm.org>

Elevate warnings to errors to trigger failure on static analyzer

Fix switchlevels calling deflateParams() with a stale buffer

Fixes: #776

Fix incorrect inflateSyncPoint() return value with DFLTCC

DFLTCC does not provide the necessary information to implement
inflateSyncPoint() - Incomplete-Function Status and Incomplete-Function
Length are the fields that provide the relevant information, but
unfortunately it's not enough. If DFLTCC is in use, the current code
checks software decompression state and always returns 0. This
(rightfully) confuses rsync, so fix by returning Z_STREAM_ERROR
instead.

Fixed left shift ubsan warning in PULLBYTE.

  infback.c:200:13: runtime error: left shift of 255 by 24 places cannot be represented in type 'int'
  624: SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior /Users/runner/work/zlib-ng/zlib-ng/infback.c:200:13 in

Avoid shifts of negative values inflateMark().

The C standard says that bit shifts of negative integers is
undefined.  This casts to unsigned values to assure a known
result.

Abort CI tests on sanitizer error.

Fix memory leak in gz_compress() and add NULL check.

Fix memory leak in gz_uncompress().

Fixed dereference of possibly null head variable in test_deflate_set_header.

  example.c:920:16: warning: dereference of possibly-NULL ‘head’ [CWE-690] [-Wanalyzer-possible-null-dereference]

  920 |     head->text = 1;
      |     ~~~~~~~~~~~^~~
  ‘test_deflate_set_header’: event 1
    |
    |  906 |     PREFIX(gz_header) *head = calloc(1, sizeof(PREFIX(gz_header)));
    |      |                               ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    |      |                               |
    |      |                               (1) this call could return NULL

Fix constness in DFLTCC code

Use z_const instead of const in order to fix compiler warnings.

Add 'diffoscope' for MacOS in pkgcheck.yml
* Disable ABI check for MacOS as the runner doesn't contain abigail

Add missing 'diffoscope' package to pkgcheck.yml

Fix unsigned integer overflow ASAN error for align_diff in crc_folding.c.

  zlib-ng/arch/x86/crc_folding.c:252:31: runtime error: unsigned integer overflow: 0 - 108370614813184 cannot be represented in type 'unsigned long'

Fixed tab indentation for inffixed_tbl.h.

Remove package caching for Windows since we no longer downgrade to MinGW 7.

Added option to normalize line-endings in CMake run-and-compare script.

Move tests closer to add_executable in CMake to make them easier to find.

Fixed cmake script directory for out of source builds.

Fixed parallel test runs on macOS by always appending unique id, since with corpora repository, multiple tests can have the same output name.

Ignore hidden test files with ctest on macOS.

Use latest stable version of codecov rather that git repo.

Checkout corpora into a separate directory to prevent overwriting.

(cherry picked from commit b25c7202afdbd8e4270908c65598464f31063d51)

Add checks to cmake scripts to see if input files exist.

Turn off compare and gzip verify in GH-536 tests due to switchlevels.

Add ability to turn off compare step in test-compare script.

Check if input variables are defined in cmake scripts.

Check exit code from execute_process in run-and-compare cmake script.

Removed extra whitespace in CMakeLists.txt.

Remove exit code 1 from SUCCESS_EXIT for normal compression tests.

Fixed passing fixed/filtered arguments in TEST_CONFIGS.

Cleanup temporary files before fatal error in test-compress cmake script.

Check exit code from execute_process in test-compare cmake script.

Fixed don't run tests against temporary files.

Fixed compression args for GH-361 unit test.

Remove NIL preprocessor macro which isn't consistently enforced.

Fixed deference null return value in gz_uncompress (CID 301524)

Remove unused F_OPEN preprocessor macro.

Remove gcov-7 install since warnings on gcov-8 no longer occur in Windows CI.

Remove chunkmemset_3 and chunkmemset_6 on ARM/AArch64 as they need 3 chunks...
* Don't unroll distances smaller than chunk size.

Add missing z_const to fuzzers.

Fixed match_byte casting warning in compare256_unaligned_64_static.

  compare258.c(158,36): warning C4244: 'return': conversion from 'uint64_t' to 'uint32_t', possible loss of data

Move gzclose() to gzlib.c. Modern linkers should be smart enough to link it in only if it is used.

Optionally include gzguts.h with WITH_GZFILEOP flag.

Added ubuntu mingw cross-compile CI instances to cmake GHA.

Fixed buf resource leak in gz_compress when USE_MMAP is defined. (CID 298965)

Allocate gzlib/gzread/gzwrite structs and in/out buffers using zng_alloc
instead of malloc, this also enforces data alignment.

Increase zng_alloc alignment to 64-bytes for non-MacOS platforms.

Improve malloc.h handling in zutil.h

Simplify zng_calloc and zng_cfree.
Make new static functions zng_alloc and zng_free available to other parts of the code.
Always request aligned allocations, even if UNALIGNED_OK is set.

Make it possible to disable UNALIGNED[64]_OK in cmake.
Enable testing with -O3 and unaligned reads disabled.

Remove some of the references to the unreleased zlib 1.2.12

Add CI testing of NOT_TWEAK_COMPILER

Improve coverage data accuracy

Enable WITH_GZFILEOP by default in nmake Makefiles.

Add support for ZLIB_COMPÅT in nmake Makefiles for ARM/AArch64.

Fixed description for INSTALL_UTILS in README.md.

Various small changes to README.md

Reorder "Features" block in README.md

Added AVX support to chunkset functions.

Update CI configs to account for gzfileops being on by default.

Enable gzfileops by default when compiling using Cmake or configure.

Remove FORCE_STATIC and FORCE_STORED

Rename variable to correctly indicate register usage,
YMM (256bit) instead of ZMM (512bit) register usage.

test/abicheck.md: document care and feeding of abicheck.sh

test/abicheck.sh: new script to verify abi compatibility with older versions

Verifies that zlib-ng's ABI has not changed since the reference commit
(indicated by variables ABI_URL and ABI_COMMIT in the script).
If --zlib-compat is given, the reference commit is zlib's 1.2.11;
otherwise, it's zlib-ng's 1d2504ddc489 (for now).

Ignores new symbols entirely, as they probably don't break backwards compatibility.

Ignores warnings listed in test/abi/ignore, currently, just those related to internal_state or z_stream*.

If --refresh is given, actually checks out the reference commit,
builds it, and stores its ABI description into an .abi file;
otherwise just uses the .abi file saved in git for that CHOST.
(--refresh_if is similar, but only does the above if the file
is not present.)

Fixes https://github.com/zlib-ng/zlib-ng/issues/699

Known issues:
- pkgcheck.yml skips -m32 abicheck failures loudly until #705 is fixed
- although abicheck.sh supports -m32 (if in both CFLAGS and LDFLAGS), it doesn't yet support -32 in CONFIGURE_ARGS.
- only includes a few abi definitions; the rest can be added in a followon commit (see --refresh).

Clean up if blocks in deflate.c

longest_match optimization

Fix numerous sign-conversion warnings in compare256/compare258 and
longest_match related code.

Minor comments/whitespace cleanup

Reorder s->block_open and s->reproducible.

Remove s->method since it is always set to the same value and never read.

Move and reduce size of s->pending_buf_size

Rename ZEXPORT and ZEXTERN for consistency.

Rename ZLIB_INTERNAL to Z_INTERNAL for consistency.

Rename ZLIB_REGISTER to Z_REGISTER for consistency.

Fix more conversion warnings related to s->bi_valid, stored_len and misc.

Fix some of the old and new conversion warnings in deflate*

Changes to deflate's internal_state struct members:
- Change window_size from unsigned long to unsigned int
- Change block_start from long to int
- Change high_water from unsigned long to unsigned int
- Reorder to promote cache locality in hot code and decrease holes.

On x86_64 this means the struct goes from:
        /* size: 6008, cachelines: 94, members: 57 */
        /* sum members: 5984, holes: 6, sum holes: 24 */
        /* last cacheline: 56 bytes */

To:
        /* size: 5984, cachelines: 94, members: 57 */
        /* sum members: 5972, holes: 3, sum holes: 8 */
        /* padding: 4 */
        /* last cacheline: 32 bytes */

Renamed trees_p.h to trees.h.

Rename table headers with tbl suffix.

Revert "zng_tr_tally_lit: disable -Wtype-limits"

This makes MSVC unhappy:

https://github.com/zlib-ng/zlib-ng/pull/726#issuecomment-681128124

D:\a\zlib-ng\zlib-ng\deflate_p.h(36,9): warning C4068: unknown pragma 'GCC' [D:\a\zlib-ng\zlib-ng\zlib.vcxproj]

This reverts commit 24c442c606d9121da64b25693c9bb1a898b3553f.

Use mainline codecov repository since codecov/codecov-python#169 has been merged.

send_bits_trace: placate -Wformat

value, which can be uint64_t, is printed using %llx, which, strictly
speaking, is not correct, and triggers -Wformat.

Since we don't really know what type value can have (send_bits_trace
is a macro), don't use <inttypes.h>, but rather cast it to long long.
Also cast length to int in order to prevent similar issues in the
future.

zng_tr_tally_lit: disable -Wtype-limits

Some gcc versions complain that parameter c is always less than
MAX_MATCH-MIN_MATCH, and therefore the assertion that checks for this
is useless, but in reality some day MIN_MATCH and MAX_MATCH can change.

So disable the warning around the assertion.

Add optional support for thread local storage. (#733)

Reintroduce support for ZLIB_CONST in compat mode. (#704)

* Reintroduce support for ZLIB_CONST in compat mode.

Increase hash table size from 15 to 16 bits.
This gives a good performance increase, and usually also improves compression.
Make separate define HASH_SLIDE for fallback version of UPDATE_HASH.

Replace hash_bits, hash_size and hash_mask with defines.

Precalculate match+offset pointer similar to fast-zlib.

Check for match length exceeding lookahead each time a new best match is found. This reduces some code complexity in GOTO_NEXT_CHAIN by removing the need for RETURN_BEST_LEN.

Use unaligned 32-bit and 64-bit compare based on best match length when searching for matches.
Move TRIGGER_LEVEL to match_tpl.h since it is only used in longest match.
Use early return inside match loops instead of cont variable.
Added back two variable check for platforms that don't supported unaligned access.

Update SystemZ DFLTCC README

Add DFLTCC to CI

QEMU does not support DFLTCC, but this would still check whether it
builds and gracefully falls back to software.

Fix DFLTCC not writing header bits when avail_out == 0

Fix DFLTCC ignoring flush modes when avail_in == 0

Fix DFLTCC not flushing EOBS when creating raw streams

Implement switching between DFLTCC and software

Fix switching compression levels on older SystemZ machines

When switching to a compression level that is in general supported by
the hardware accelerator, the code doesn't check whether acceleration is
available or enabled.

Use 15-bit window for quick strategy when compiling with DFLTCC

Hardware accelerator does not support 13-bit window.