Disallow semantic interposition in ELF shared libraries if supported by the compiler.
This disallows calls to our own exported functions being replaced by LD_PRELOAD, thus
avoiding the potential bugs and allowing the compiler to optimize better.

Fixed previous match length not reset when match start reset.
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=24294

Add check in check_match for invalid match position.

Improve check_match output to print hex values of mismatch characters and character index.

docs: fix simple typo, stragety -> strategy

There is a small typo in INDEX.md.

Should read `strategy` rather than `stragety`.

Fixed macOS CI instance to use GCC

darwin ios/mac m1 cpu features detection update proposal

Separate sanitizers so they can be run independently.

Set verbosity to 0 to limit CI log output.

Disable codecov in MinGW i686 due to gcov locking error when multiple tests run at the same time.

  profiling:gzlib.c.gcda:Data file mismatch - some data files may have been concurrently updated without locking support

Add check that tests UNALIGNED_OK without UNALIGNED64_OK.

Co-authored-by: Nathan Moinvaziri <nathan@nathanm.com>

Separate crc32 and crc32_combine tables so the crc32_combine tables are not included when not used if statically linking. Reduces code size by 4k.

Add AArch64 feature detection support for FreeBSD

CMake: fix 'ALDER32' typo in feature info message

Fixed coverity dereference after null check in gz_compress CID 303796.

Fixed ubsan error when building tree with no symbols. #782

When there are no symbols in the tree we skip build_tree calculations and emit a block using static tree with no codes.

trees.c:357:19: runtime error: unsigned integer overflow: 0 - 1 cannot be represented in type 'unsigned long'
    #0 0x1000ed79b in build_tree trees.c:357
    #1 0x1000ea3f5 in zng_tr_flush_block trees.c:649
    #2 0x100090ab0 in deflate_slow deflate_slow.c:131
    #3 0x1000572bc in zng_deflate deflate.c:990
    #4 0x1000aecd3 in gz_comp gzwrite.c:125
    #5 0x1000b05df in zng_gzclose_w gzwrite.c:511
    #6 0x1000967a4 in zng_gzclose gzlib.c:253
    #7 0x100004f70 in test_gzio example.c:133
    #8 0x100010c5b in main example.c:1034
    #9 0x7fff71f57cc8 in start+0x0 (libdyld.dylib:x86_64+0x1acc8)

Fixed conditional expression is constant maintainer warnings.

  chunkset_tpl.h(42,47): warning C4127: conditional expression is constant
  functable.c(381,44): warning C4127: conditional expression is constant

Fixed casting warnings when comparing MAX_DIST.

  deflate_medium.c(127,76): warning C4244: '=': conversion from 'unsigned int' to 'Pos', possible loss of data

Fixed conversion warning when assigning wsize to Pos variable.

  deflate.c(218,1): warning C4244: 'initializing': conversion from 'unsigned int' to 'Pos', possible loss of data
  deflate.c(241,1): warning C4244: 'initializing': conversion from 'unsigned int' to 'Pos', possible loss of data

Fixed conversion warning when calling zng_tr_tally_dist. Signature for dist and len now match zng_emit_dist.

  deflate.c(1575,67): warning C4244: 'function': conversion from 'uint32_t' to 'unsigned char', possible loss of data
  deflate_fast.c(60,94): warning C4244: 'function': conversion from 'uint32_t' to 'unsigned char', possible loss of data
  deflate_medium.c(39,102): warning C4244: 'function': conversion from 'int' to 'unsigned char', possible loss of data
  deflate_slow.c(75,101): warning C4244: 'function': conversion from 'unsigned int' to 'unsigned char', possible loss of data

Fixed str uint32_t to uint16_t casting warnings in inflate_string_tpl.h

  insert_string_tpl.h(50,26): warning C4244: '=': conversion from 'const uint32_t' to 'Pos', possible loss of data
  insert_string_tpl.h(67,1): warning C4244: 'initializing': conversion from 'const uint32_t' to 'Pos', possible loss of data

Fixed match_start uint32_t to uint16_t casting warnings in deflate_medium.c

  deflate_medium.c(204,49): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(217,59): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(238,46): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data
  deflate_medium.c(250,56): warning C4244: '=': conversion from 'unsigned int' to 'uint16_t', possible loss of data

Fixed ubsan warning in gzfread due to size_t overflow. #783

gzread.c:398:18: runtime error: unsigned integer overflow: 2 * 18446744073709551615 cannot be represented in type 'unsigned long'
    #0 0x10009d31e in zng_gzfread gzread.c:398
    #1 0x100005b1a in test_gzio example.c:213
    #2 0x10001093b in main example.c:1034
    #3 0x7fff71f57cc8 in start+0x0 (libdyld.dylib:x86_64+0x1acc8)

Fixed format specifier warning in build_tree call to Tracev.

  Format specifies type 'unsigned long' but the argument has type 'uint32_t' (aka 'unsigned int')

Fixed minigzip_fuzzer not compiling on latest macOS due to missing _POSIX_C_SOURCE.

Remove unnecessary name array from matrix.

Combine option and add_feature_info in CMake.

Small formatting changes in inflate.c, inflate.h and inffast.c

inflate: add SET_BAD macro, to make inflate.c a little cleaner.

Fixed formatting in check_c_source_compiles checks for consistency.

Fixed ptrdiff_t redefined static analysis warning on GCC. Failing ptrdiff_t detection due to variable unused warning combined with -Werror.

  In file included from zlib-ng/zlib-ng.h:33,
                   from zlib-ng/zutil.h:38,
                   from zlib-ng/adler32.c:7:
  zlib-ng/zconf-ng.h:118:18: error: conflicting types for ‘ptrdiff_t’
    118 | typedef uint64_t ptrdiff_t;
        |                  ^~~~~~~~~
  In file included from zlib-ng/zutil.h:31,
                   from zlib-ng/adler32.c:7:
  stddef.h:143:26: note: previous declaration of ‘ptrdiff_t’ was here
    143 | typedef __PTRDIFF_TYPE__ ptrdiff_t;
        |                          ^~~~~~~~~

Added verbose flag to CI to see sanitizer output.

Fixed unsigned integer overflow ASAN error when hash_head > s->strstart.

  zlib-ng/deflate_medium.c:244:47: runtime error: unsigned integer overflow: 58442 - 58452 cannot be represented in type 'unsigned int'

Co-authored-by: Mika Lindqvist <postmaster@raasu.org>
Co-authored-by: Hans Kristian Rosbach <hk-git@circlestorm.org>

Elevate warnings to errors to trigger failure on static analyzer

Fix switchlevels calling deflateParams() with a stale buffer

Fixes: #776

Fix incorrect inflateSyncPoint() return value with DFLTCC

DFLTCC does not provide the necessary information to implement
inflateSyncPoint() - Incomplete-Function Status and Incomplete-Function
Length are the fields that provide the relevant information, but
unfortunately it's not enough. If DFLTCC is in use, the current code
checks software decompression state and always returns 0. This
(rightfully) confuses rsync, so fix by returning Z_STREAM_ERROR
instead.

Fixed left shift ubsan warning in PULLBYTE.

  infback.c:200:13: runtime error: left shift of 255 by 24 places cannot be represented in type 'int'
  624: SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior /Users/runner/work/zlib-ng/zlib-ng/infback.c:200:13 in

Avoid shifts of negative values inflateMark().

The C standard says that bit shifts of negative integers is
undefined.  This casts to unsigned values to assure a known
result.

Abort CI tests on sanitizer error.

Fix memory leak in gz_compress() and add NULL check.

Fix memory leak in gz_uncompress().

Fixed dereference of possibly null head variable in test_deflate_set_header.

  example.c:920:16: warning: dereference of possibly-NULL ‘head’ [CWE-690] [-Wanalyzer-possible-null-dereference]

  920 |     head->text = 1;
      |     ~~~~~~~~~~~^~~
  ‘test_deflate_set_header’: event 1
    |
    |  906 |     PREFIX(gz_header) *head = calloc(1, sizeof(PREFIX(gz_header)));
    |      |                               ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    |      |                               |
    |      |                               (1) this call could return NULL

Fix constness in DFLTCC code

Use z_const instead of const in order to fix compiler warnings.

Add 'diffoscope' for MacOS in pkgcheck.yml
* Disable ABI check for MacOS as the runner doesn't contain abigail

Add missing 'diffoscope' package to pkgcheck.yml

Fix unsigned integer overflow ASAN error for align_diff in crc_folding.c.

  zlib-ng/arch/x86/crc_folding.c:252:31: runtime error: unsigned integer overflow: 0 - 108370614813184 cannot be represented in type 'unsigned long'

Fixed tab indentation for inffixed_tbl.h.

Remove package caching for Windows since we no longer downgrade to MinGW 7.

Added option to normalize line-endings in CMake run-and-compare script.

Move tests closer to add_executable in CMake to make them easier to find.

Fixed cmake script directory for out of source builds.

Fixed parallel test runs on macOS by always appending unique id, since with corpora repository, multiple tests can have the same output name.

Ignore hidden test files with ctest on macOS.

Use latest stable version of codecov rather that git repo.

Checkout corpora into a separate directory to prevent overwriting.

(cherry picked from commit b25c7202afdbd8e4270908c65598464f31063d51)

Add checks to cmake scripts to see if input files exist.

Turn off compare and gzip verify in GH-536 tests due to switchlevels.

Add ability to turn off compare step in test-compare script.

Check if input variables are defined in cmake scripts.

Check exit code from execute_process in run-and-compare cmake script.

Removed extra whitespace in CMakeLists.txt.

Remove exit code 1 from SUCCESS_EXIT for normal compression tests.

Fixed passing fixed/filtered arguments in TEST_CONFIGS.

Cleanup temporary files before fatal error in test-compress cmake script.

Check exit code from execute_process in test-compare cmake script.

Fixed don't run tests against temporary files.

Fixed compression args for GH-361 unit test.

Remove NIL preprocessor macro which isn't consistently enforced.

Fixed deference null return value in gz_uncompress (CID 301524)

Remove unused F_OPEN preprocessor macro.

Remove gcov-7 install since warnings on gcov-8 no longer occur in Windows CI.

Remove chunkmemset_3 and chunkmemset_6 on ARM/AArch64 as they need 3 chunks...
* Don't unroll distances smaller than chunk size.

Add missing z_const to fuzzers.

Fixed match_byte casting warning in compare256_unaligned_64_static.

  compare258.c(158,36): warning C4244: 'return': conversion from 'uint64_t' to 'uint32_t', possible loss of data

Move gzclose() to gzlib.c. Modern linkers should be smart enough to link it in only if it is used.

Optionally include gzguts.h with WITH_GZFILEOP flag.

Added ubuntu mingw cross-compile CI instances to cmake GHA.

Fixed buf resource leak in gz_compress when USE_MMAP is defined. (CID 298965)

Allocate gzlib/gzread/gzwrite structs and in/out buffers using zng_alloc
instead of malloc, this also enforces data alignment.

Increase zng_alloc alignment to 64-bytes for non-MacOS platforms.

Improve malloc.h handling in zutil.h

Simplify zng_calloc and zng_cfree.
Make new static functions zng_alloc and zng_free available to other parts of the code.
Always request aligned allocations, even if UNALIGNED_OK is set.

Make it possible to disable UNALIGNED[64]_OK in cmake.
Enable testing with -O3 and unaligned reads disabled.

Remove some of the references to the unreleased zlib 1.2.12

Add CI testing of NOT_TWEAK_COMPILER

Improve coverage data accuracy

Enable WITH_GZFILEOP by default in nmake Makefiles.

Add support for ZLIB_COMPÅT in nmake Makefiles for ARM/AArch64.

Fixed description for INSTALL_UTILS in README.md.

Various small changes to README.md

Reorder "Features" block in README.md

Added AVX support to chunkset functions.

Update CI configs to account for gzfileops being on by default.

Enable gzfileops by default when compiling using Cmake or configure.

Remove FORCE_STATIC and FORCE_STORED

Rename variable to correctly indicate register usage,
YMM (256bit) instead of ZMM (512bit) register usage.

test/abicheck.md: document care and feeding of abicheck.sh

test/abicheck.sh: new script to verify abi compatibility with older versions

Verifies that zlib-ng's ABI has not changed since the reference commit
(indicated by variables ABI_URL and ABI_COMMIT in the script).
If --zlib-compat is given, the reference commit is zlib's 1.2.11;
otherwise, it's zlib-ng's 1d2504ddc489 (for now).

Ignores new symbols entirely, as they probably don't break backwards compatibility.

Ignores warnings listed in test/abi/ignore, currently, just those related to internal_state or z_stream*.

If --refresh is given, actually checks out the reference commit,
builds it, and stores its ABI description into an .abi file;
otherwise just uses the .abi file saved in git for that CHOST.
(--refresh_if is similar, but only does the above if the file
is not present.)

Fixes https://github.com/zlib-ng/zlib-ng/issues/699

Known issues:
- pkgcheck.yml skips -m32 abicheck failures loudly until #705 is fixed
- although abicheck.sh supports -m32 (if in both CFLAGS and LDFLAGS), it doesn't yet support -32 in CONFIGURE_ARGS.
- only includes a few abi definitions; the rest can be added in a followon commit (see --refresh).

Clean up if blocks in deflate.c

longest_match optimization