Do not define __builtin_ctzl for Clang on MSVC

Clang targeting MSVC and Clang/C2 provide __builtin_ctzl.

Only run tests requiring zlib-compat if zlib-ng was compiled with it.

This also reveals that minigzip without zlib-compat is vulnerable
to one or more of the tests.

Fix spelling in travis config

Make travis test --without-optimizations and --without-new-strategies codepaths as well.

Both travis builds using configure should do zlib-compat

Travis should compile and test the zlib-compat code as well

Fix the remaining warnings due to conflicting defines of ZLIB_INTERNAL

Add test for CVE-2004-0797

CVE-2004-0797[0] occured when an error was detected but no action
was taken --- that is, execution was allowed to continue.

One of the tests for CVE-2005-2096 actually hit the code path that
was fixed in the patch for CVE-2004-0797.

This occured because all the fuzzing was done on zlib 1.2.1, and
zlib 1.2.2 fixed this bug but not the 2005 CVEs. It was detected by
running the test cases against zlib 1.2.2.

The relevant bits of the zlib 1.2.2 patch are [1] and [2].

[0] http://www.kb.cert.org/vuls/id/238678
[1] https://github.com/madler/zlib/commit/7a6955760ba950eb82f57929f8f6c9847c65f0af?diff=unified#diff-154f1240658ec1e9f5c90024002d749aR437
[2] https://github.com/madler/zlib/commit/7a6955760ba950eb82f57929f8f6c9847c65f0af?diff=unified#diff-327188edf18799ffbb5a51cc69f797e8R864

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add test cases for CVE-2005-1849 and CVE-2005-2096

CVE-2005-1849[0] is an overflow of a fixed size buffer defined in
inftrees.h

CVE-2005-2096[1] is an overflow caused by insufficient input
validation of code trees[2].

This makes sure we don't accidentally reintroduce them.

zlib-1.2.1 was download and fuzz tested using AFL[3].  The crashing
cases were discovered. A patch for 1849 was then applied, and used to
determine which cases hit only that bug, and which ones hit 2096.

[0] http://seclists.org/bugtraq/2005/Jul/451
[1] http://seclists.org/bugtraq/2005/Jul/53
[2] https://bug299445.bugzilla.mozilla.org/attachment.cgi?id=188021
[3] http://lcamtuf.coredump.cx/afl/

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add test for CVE-2002-0059

CVE-2002-0059 was a double free in inflation. [0]

This makes sure we don't accidentally reintroduce it.

zlib-1.1.3 was download and fuzz tested using AFL[1].
This crashing case (test.gz) was discovered, and using gdb it was
confirmed to be a double free in the expected place.

The test script looks for a normal error exit (status code 1),
and fails if any other code is returned.

[0] http://www.cvedetails.com/cve/CVE-2002-0059/
[1] http://lcamtuf.coredump.cx/afl/

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add test for CVE-2003-0107

CVE-2003-0107[0] was a bug where zlib 1.1.4 failed to validate whether
arguments to gzprintf() fit within an internal buffer.

We should make sure that in refactoring we don't regress. Therefore,
build the sample code supplied in the original report [1], and check
if it crashes.

[0] http://www.cvedetails.com/cve/CVE-2003-0107/
[1] http://www.securityfocus.com/archive/1/312869

Signed-off-by: Daniel Axtens <dja@axtens.net>

Properly bail out when a test fails.

At an earlier point in development, shared libs were failing on Travis
but the overall build was succeeding. Stop that from happening by
bailing out harder.

Signed-off-by: Daniel Axtens <dja@axtens.net>

Move Makefile.in test-related parts into test/Makefile.in

Update configure to create test/Makefile.
Update /Makefile.in to call [dist]clean in test/

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add support for internal attribute, the advantage of this over hidden
is for example that the compiler can safely assume that pointers to
functions declared internal can never be passed externally.
This allows the compiler to consider optimizations otherwise impossible.

Fix endianness-detection code on Solaris 11.

Solaris doesn't have sys/endian.h or endian.h, it has sys/byteorder.h,
which doesn't define BYTE_ORDER, it defines either _LITTLE_ENDIAN or
_BIG_ENDIAN.

Fix spelling of __DragonFly__ in crc32.c, found by @nemequ

Merge pull request #66 from mtl1979/mingw

Fixes for MinGW w64 and MSYS2.

Merge pull request #68 from mtl1979/import

Loop on write() calls in gzwrite.c in case of non-blocking I/O.

Merge pull request #67 from mtl1979/coverity

Fix Coverity warnings.

Loop on write() calls in gzwrite.c in case of non-blocking I/O.

Fix Coverity warnings.

Fix build under MSYS2.

Fix gzseek() problem on MinGW due to buggy _lseeki64 there.

Merge pull request #60 from mtl1979/cleanup

Cleanup

Use size_t for total_in and total_out.

Type cleanup.

Merge pull request #59 from Dead2/hacknslash2

Mix of fixes and improvements

Merge pull request #58 from mtl1979/import

Fix bug that accepted invalid zlib header when windowBits is zero.

Fix bug that accepted invalid zlib header when windowBits is zero.

When windowBits is zero, the size of the sliding window comes from
the zlib header.  The allowed values of the four-bit field are
0..7, but when windowBits is zero, values greater than 7 are
permitted and acted upon, resulting in large, mostly unused memory
allocations.  This fix rejects such invalid zlib headers.

Type cleanup.

Fix creating shared library under MSYS64.

Fix compilation on BSD

The endianness functions are in <sys/endian.h>, not <endian.h> as
they are in Linux.

minigzip: Use bigger buffer for writing.

Merge pull request #56 from Dead2/hacknslash2

Improvements for MSVC and backport fixes from zlib upstream and intel's fork

Remove inline and extern from function declaration.

Merge pull request #55 from jibsen/fix-uninitialized-var

Fix uninitialized variable

Fix uninitialized variable

Split insert_string_sse into separate file in arch folder.

Enable deflate_quick under MSVC.

minigzip: restructure gzread() to get rid of unnecessary temporary variables.

Fix for intels zlib fork, fixes their issues #2 and #3

Fix merge errors.

Fix typo.

Use a consistent and more modern approach to not use a parameter.

A remarkably creative and diverse set of approaches to letting the
compiler know that opaque was being used when it wasn't is changed
by this commit to the more standard (void)opaque.

 Conflicts:
zutil.c

Use UTF-8 for non-ASCII characters in ChangeLog.

Clean up portability for shifts and integer sizes.

Use const for static tree descriptions in deflate.

This is in order to permit shared memory for these structures.

 Conflicts:
deflate.h

Compile the gzopen_w() function when __CYGWIN__ defined.

 Conflicts:
gzlib.c
zlib.h

Assure that gzoffset() is correct when appending.

An open() with O_APPEND followed by an lseek() to determine the
position will return zero for a non-empty file, even though the
next write will start at the end of the file.  This commit works
around that by doing an lseek() to the end when appending.

Note in zlib.h that compress() uses Z_DEFAULT_COMPRESSION.

Do not initialize unsigned with -1 in compress.c uncompr.c.

Sun compiler complained.  Use (unsigned)0 - 1 instead.

Fix uncompress() to work on lengths more than a maximum unsigned.

 Conflicts:
uncompr.c

Fix compress() to work on lengths more than a maximum unsigned.

 Conflicts:
compress.c

Align deflateParams() and its documentation in zlib.h.

This updates the documentation to reflect the behavior of
deflateParams() when it is not able to compress all of the input
data provided so far due to insufficient output space.  It also
assures that data provided is compressed before the parameter
changes, even if at the beginning of the stream.

 Conflicts:
deflate.c

Improve speed of gzprintf() in transparent mode.

A few minor modifications done to help with conflicts.

Fix MSVC build and clean up unneccessary BSDLIBS leftovers

Clarify deflateReset() documentation.

It previously could have been misinterpreted to mean that parameter
changes after deflateInit2() would be reversed, which is not the
case.

(cherry picked from commit 5701f48cf5178355b1ec51614d44aa14251250e5)

Avoid uninitialized access by gzclose_w().

(cherry picked from commit c901a34c92c4aa74028f541a9773df726ce2b769)

 Conflicts:
deflate.c

Apply Mark Adlers fix to remove the need for -lbsd for reallocf, and
remove our detection of reallocf.

Fix inflateInit2() bug when windowBits is 16 or 32.

A windowBits value of 0, 16, or 32 gets the window bits from the
zlib header.  However there is no zlib header for 16, or for 32
when the input is gzip.  This commit sets the window bits for
inflate to 15 if a gzip stream is detected and windowBits was 16
or 32.

(cherry picked from commit 0db8fd371477f42c280ddeee29e6de092fabf948)

Add comment about not using windowBits of 8 for deflate().

(cherry picked from commit b56d1c62ee1ff9705026c94a780dd6e4577cda02)

Follow manpage update from zlib, adding licence to manpage.

Remedy Coverity warning. [Randers-Pehrson]

 Conflicts:
inflate.c

Clean up

Avoid left shift of a negative value in flush rank calculation.

The C standard permits an undefined result for a left shift of a
negative value.

Add support for std3_longest_match with MSVC
Based on patch by Mat Berchtold.

Enable optimizations for MSVC and fix compiler warnings.

Clean up x86.c a bit

Add support for MSVC crc32 intrinsic

separated cpuid from up x86_check_features
new cpuid functions for different compilers

cpuid for msvc

fix macro for msvc

Add-ALIGNED_-macro-to-support-MSVC

Merge pull request #54 from matbech/patch-1

Replace define Byte with typedef

Merge pull request #53 from Dead2/hacknslash2

Deflate cleanup and optimizations

fix for preprocessor namespace pollution

Do not pollute the namespace with a define for byte. This breaks various things. Instead use typedef which was also used in the original version of zlib.conf:

#if !defined(__MACTYPES__)
typedef unsigned char  Byte;  /* 8 bits */
#endif
typedef unsigned int   uInt;  /* 16 bits or more */
typedef unsigned long  uLong; /* 32 bits or more */

#ifdef SMALL_MEDIUM
   /* Borland C/C++ and some old MSC versions ignore FAR inside typedef */
#  define Bytef Byte FAR
#else
   typedef Byte  FAR Bytef;
#endif

Merge pull request #47 from mtl1979/configure

Extend logic of multilib handling to work on 64-bit hosts too.

Merge pull request #49 from tbeu/patch-1

Remove now obsolete snprintf comment

Remove now obsolete comment

... about snprintf() being not available in MSVC

Extend logic of multilib handling to work on 64-bit hosts too.

Whitespace cleanup

Make bulk_insert implementation of insert_match behave more like
the original code, this also lets us optimize the match_length=1 case.

No need to update hash_head.
Plus a single style change to match the other deflate algorithms.

Make insert_string_sse more similar to insert_string_c.

Use bulk_insert_str() in deflate_medium.c too.

Split deflate.c
* Separate common inlines and macros to deflate_p.h
* Separate deflate_fast related code to deflate_fast.c
* Separate deflate_medium related code to deflate_medium.c
* Separate deflate_slow related code to deflate_slow.c

Optimize insert_str() and bulk_insert_str().
Co-authored with Mika Lindqvist.

Optimize deflate_fast by using bulk_insert_str()
Co-authored with Mika Lindqvist.

Improve dictionary handling.
Based on commit e07ac7d8 from Cloudflare's fork, by Vlad Krasnov.

Allow building on OS X

Merge branch 'codestyle' into develop

Revert "Replace 'unsigned long' with most suitable fixed-size type."

This commit was cherry-picked and was not done, resulting in a few
problems with gcc on 64bit windows.

This reverts commit edd7a72e056b994458ff040d4740b16b35336b60.

Conflicts:
arch/x86/crc_folding.c
arch/x86/fill_window_sse.c
deflate.c
deflate.h
match.c
trees.c

Merge pull request #39 from mtl1979/minigzip

minigzip: allocate temporary buffer inside gzopen.

This fixes the abysmally slow minigzip decompression when compiling without --zlib-compat

minigzip: allocate temporary buffer inside gzopen.

Merge pull request #37 from Dead2/codestyle

Clean up the code to more closely match the Google styleguide

Merge pull request #38 from mtl1979/vc14

Improve support for Visual Studio 2015.

Fix detecting Windows in zconf.h(.in)

snprintf() was added to Visual Studio 2015.

Fix compile errors in trees.c after style cleanup

Style cleanup for trees.*