Fixed conversion warning when calling zng_tr_tally_dist. Signature for dist and len now match zng_emit_dist.

  deflate.c(1575,67): warning C4244: 'function': conversion from 'uint32_t' to 'unsigned char', possible loss of data
  deflate_fast.c(60,94): warning C4244: 'function': conversion from 'uint32_t' to 'unsigned char', possible loss of data
  deflate_medium.c(39,102): warning C4244: 'function': conversion from 'int' to 'unsigned char', possible loss of data
  deflate_slow.c(75,101): warning C4244: 'function': conversion from 'unsigned int' to 'unsigned char', possible loss of data

Fixed str uint32_t to uint16_t casting warnings in inflate_string_tpl.h

  insert_string_tpl.h(50,26): warning C4244: '=': conversion from 'const uint32_t' to 'Pos', possible loss of data
  insert_string_tpl.h(67,1): warning C4244: 'initializing': conversion from 'const uint32_t' to 'Pos', possible loss of data

Fixed match_start uint32_t to uint16_t casting warnings in deflate_medium.c

  deflate_medium.c(204,49): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(217,59): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(238,46): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(250,56): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data

Fixed ubsan warning in gzfread due to size_t overflow. #783

gzread.c:398:18: runtime error: unsigned integer overflow: 2 * 18446744073709551615 cannot be represented in type 'unsigned long'
    #0 0x10009d31e in zng_gzfread gzread.c:398
    #1 0x100005b1a in test_gzio example.c:213
    #2 0x10001093b in main example.c:1034
    #3 0x7fff71f57cc8 in start+0x0 (libdyld.dylib:x86_64+0x1acc8)

Fixed format specifier warning in build_tree call to Tracev.

  Format specifies type 'unsigned long' but the argument has type 'uint32_t' (aka 'unsigned int')

Fixed minigzip_fuzzer not compiling on latest macOS due to missing _POSIX_C_SOURCE.

Remove unnecessary name array from matrix.

Combine option and add_feature_info in CMake.

Small formatting changes in inflate.c, inflate.h and inffast.c

inflate: add SET_BAD macro, to make inflate.c a little cleaner.

Fixed formatting in check_c_source_compiles checks for consistency.

Fixed ptrdiff_t redefined static analysis warning on GCC. Failing ptrdiff_t detection due to variable unused warning combined with -Werror.

  In file included from zlib-ng/zlib-ng.h:33,
                   from zlib-ng/zutil.h:38,
                   from zlib-ng/adler32.c:7:
  zlib-ng/zconf-ng.h:118:18: error: conflicting types for ‘ptrdiff_t’
    118 | typedef uint64_t ptrdiff_t;
        |                  ^~~~~~~~~
  In file included from zlib-ng/zutil.h:31,
                   from zlib-ng/adler32.c:7:
  stddef.h:143:26: note: previous declaration of ‘ptrdiff_t’ was here
    143 | typedef __PTRDIFF_TYPE__ ptrdiff_t;
        |                          ^~~~~~~~~

Added verbose flag to CI to see sanitizer output.

Fixed unsigned integer overflow ASAN error when hash_head > s->strstart.

  zlib-ng/deflate_medium.c:244:47: runtime error: unsigned integer overflow: 58442 - 58452 cannot be represented in type 'unsigned int'

Co-authored-by: Mika Lindqvist <postmaster@raasu.org>
Co-authored-by: Hans Kristian Rosbach <hk-git@circlestorm.org>

Elevate warnings to errors to trigger failure on static analyzer

Fix switchlevels calling deflateParams() with a stale buffer

Fixes: #776

Fix incorrect inflateSyncPoint() return value with DFLTCC

DFLTCC does not provide the necessary information to implement
inflateSyncPoint() - Incomplete-Function Status and Incomplete-Function
Length are the fields that provide the relevant information, but
unfortunately it's not enough. If DFLTCC is in use, the current code
checks software decompression state and always returns 0. This
(rightfully) confuses rsync, so fix by returning Z_STREAM_ERROR
instead.

Fixed left shift ubsan warning in PULLBYTE.

  infback.c:200:13: runtime error: left shift of 255 by 24 places cannot be represented in type 'int'
  624: SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior /Users/runner/work/zlib-ng/zlib-ng/infback.c:200:13 in

Avoid shifts of negative values inflateMark().

The C standard says that bit shifts of negative integers is
undefined.  This casts to unsigned values to assure a known
result.

Abort CI tests on sanitizer error.

Fix memory leak in gz_compress() and add NULL check.

Fix memory leak in gz_uncompress().

Fixed dereference of possibly null head variable in test_deflate_set_header.

  example.c:920:16: warning: dereference of possibly-NULL ‘head’ [CWE-690] [-Wanalyzer-possible-null-dereference]

  920 |     head->text = 1;
      |     ~~~~~~~~~~~^~~
  ‘test_deflate_set_header’: event 1
    |
    |  906 |     PREFIX(gz_header) *head = calloc(1, sizeof(PREFIX(gz_header)));
    |      |                               ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    |      |                               |
    |      |                               (1) this call could return NULL

Fix constness in DFLTCC code

Use z_const instead of const in order to fix compiler warnings.

Add 'diffoscope' for MacOS in pkgcheck.yml
* Disable ABI check for MacOS as the runner doesn't contain abigail

Add missing 'diffoscope' package to pkgcheck.yml

Fix unsigned integer overflow ASAN error for align_diff in crc_folding.c.

  zlib-ng/arch/x86/crc_folding.c:252:31: runtime error: unsigned integer overflow: 0 - 108370614813184 cannot be represented in type 'unsigned long'

Fixed tab indentation for inffixed_tbl.h.

Remove package caching for Windows since we no longer downgrade to MinGW 7.

Added option to normalize line-endings in CMake run-and-compare script.

Move tests closer to add_executable in CMake to make them easier to find.

Fixed cmake script directory for out of source builds.

Fixed parallel test runs on macOS by always appending unique id, since with corpora repository, multiple tests can have the same output name.

Ignore hidden test files with ctest on macOS.

Use latest stable version of codecov rather that git repo.

Checkout corpora into a separate directory to prevent overwriting.

(cherry picked from commit b25c7202afdbd8e4270908c65598464f31063d51)

Add checks to cmake scripts to see if input files exist.

Turn off compare and gzip verify in GH-536 tests due to switchlevels.

Add ability to turn off compare step in test-compare script.

Check if input variables are defined in cmake scripts.

Check exit code from execute_process in run-and-compare cmake script.

Removed extra whitespace in CMakeLists.txt.

Remove exit code 1 from SUCCESS_EXIT for normal compression tests.

Fixed passing fixed/filtered arguments in TEST_CONFIGS.

Cleanup temporary files before fatal error in test-compress cmake script.

Check exit code from execute_process in test-compare cmake script.

Fixed don't run tests against temporary files.

Fixed compression args for GH-361 unit test.

Remove NIL preprocessor macro which isn't consistently enforced.

Fixed deference null return value in gz_uncompress (CID 301524)

Remove unused F_OPEN preprocessor macro.

Remove gcov-7 install since warnings on gcov-8 no longer occur in Windows CI.

Remove chunkmemset_3 and chunkmemset_6 on ARM/AArch64 as they need 3 chunks...
* Don't unroll distances smaller than chunk size.

Add missing z_const to fuzzers.

Fixed match_byte casting warning in compare256_unaligned_64_static.

  compare258.c(158,36): warning C4244: 'return': conversion from 'uint64_t' to 'uint32_t', possible loss of data

Move gzclose() to gzlib.c. Modern linkers should be smart enough to link it in only if it is used.

Optionally include gzguts.h with WITH_GZFILEOP flag.

Added ubuntu mingw cross-compile CI instances to cmake GHA.

Fixed buf resource leak in gz_compress when USE_MMAP is defined. (CID 298965)

Allocate gzlib/gzread/gzwrite structs and in/out buffers using zng_alloc
instead of malloc, this also enforces data alignment.

Increase zng_alloc alignment to 64-bytes for non-MacOS platforms.

Improve malloc.h handling in zutil.h

Simplify zng_calloc and zng_cfree.
Make new static functions zng_alloc and zng_free available to other parts of the code.
Always request aligned allocations, even if UNALIGNED_OK is set.

Make it possible to disable UNALIGNED[64]_OK in cmake.
Enable testing with -O3 and unaligned reads disabled.

Remove some of the references to the unreleased zlib 1.2.12

Add CI testing of NOT_TWEAK_COMPILER

Improve coverage data accuracy

Enable WITH_GZFILEOP by default in nmake Makefiles.

Add support for ZLIB_COMPÅT in nmake Makefiles for ARM/AArch64.

Fixed description for INSTALL_UTILS in README.md.

Various small changes to README.md

Reorder "Features" block in README.md

Added AVX support to chunkset functions.

Update CI configs to account for gzfileops being on by default.

Enable gzfileops by default when compiling using Cmake or configure.

Remove FORCE_STATIC and FORCE_STORED

Rename variable to correctly indicate register usage,
YMM (256bit) instead of ZMM (512bit) register usage.

test/abicheck.md: document care and feeding of abicheck.sh

test/abicheck.sh: new script to verify abi compatibility with older versions

Verifies that zlib-ng's ABI has not changed since the reference commit
(indicated by variables ABI_URL and ABI_COMMIT in the script).
If --zlib-compat is given, the reference commit is zlib's 1.2.11;
otherwise, it's zlib-ng's 1d2504ddc489 (for now).

Ignores new symbols entirely, as they probably don't break backwards compatibility.

Ignores warnings listed in test/abi/ignore, currently, just those related to internal_state or z_stream*.

If --refresh is given, actually checks out the reference commit,
builds it, and stores its ABI description into an .abi file;
otherwise just uses the .abi file saved in git for that CHOST.
(--refresh_if is similar, but only does the above if the file
is not present.)

Fixes https://github.com/zlib-ng/zlib-ng/issues/699

Known issues:
- pkgcheck.yml skips -m32 abicheck failures loudly until #705 is fixed
- although abicheck.sh supports -m32 (if in both CFLAGS and LDFLAGS), it doesn't yet support -32 in CONFIGURE_ARGS.
- only includes a few abi definitions; the rest can be added in a followon commit (see --refresh).

Clean up if blocks in deflate.c

longest_match optimization

Fix numerous sign-conversion warnings in compare256/compare258 and
longest_match related code.

Minor comments/whitespace cleanup

Reorder s->block_open and s->reproducible.

Remove s->method since it is always set to the same value and never read.

Move and reduce size of s->pending_buf_size

Rename ZEXPORT and ZEXTERN for consistency.

Rename ZLIB_INTERNAL to Z_INTERNAL for consistency.

Rename ZLIB_REGISTER to Z_REGISTER for consistency.

Fix more conversion warnings related to s->bi_valid, stored_len and misc.

Fix some of the old and new conversion warnings in deflate*

Changes to deflate's internal_state struct members:
- Change window_size from unsigned long to unsigned int
- Change block_start from long to int
- Change high_water from unsigned long to unsigned int
- Reorder to promote cache locality in hot code and decrease holes.

On x86_64 this means the struct goes from:
        /* size: 6008, cachelines: 94, members: 57 */
        /* sum members: 5984, holes: 6, sum holes: 24 */
        /* last cacheline: 56 bytes */

To:
        /* size: 5984, cachelines: 94, members: 57 */
        /* sum members: 5972, holes: 3, sum holes: 8 */
        /* padding: 4 */
        /* last cacheline: 32 bytes */

Renamed trees_p.h to trees.h.

Rename table headers with tbl suffix.

Revert "zng_tr_tally_lit: disable -Wtype-limits"

This makes MSVC unhappy:

https://github.com/zlib-ng/zlib-ng/pull/726#issuecomment-681128124

D:\a\zlib-ng\zlib-ng\deflate_p.h(36,9): warning C4068: unknown pragma 'GCC' [D:\a\zlib-ng\zlib-ng\zlib.vcxproj]

This reverts commit 24c442c606d9121da64b25693c9bb1a898b3553f.

Use mainline codecov repository since codecov/codecov-python#169 has been merged.

send_bits_trace: placate -Wformat

value, which can be uint64_t, is printed using %llx, which, strictly
speaking, is not correct, and triggers -Wformat.

Since we don't really know what type value can have (send_bits_trace
is a macro), don't use <inttypes.h>, but rather cast it to long long.
Also cast length to int in order to prevent similar issues in the
future.

zng_tr_tally_lit: disable -Wtype-limits

Some gcc versions complain that parameter c is always less than
MAX_MATCH-MIN_MATCH, and therefore the assertion that checks for this
is useless, but in reality some day MIN_MATCH and MAX_MATCH can change.

So disable the warning around the assertion.

Add optional support for thread local storage. (#733)

Reintroduce support for ZLIB_CONST in compat mode. (#704)

* Reintroduce support for ZLIB_CONST in compat mode.