Replace remaining Z_NULL instances with NULL.

Move Visual C++ workaround for CTZL to arch/x86.

MSVC: Use _tzcnt_u32() if available.

Move instruction set specific crc32 code to arch directories.

CMakeLists.txt: Cleanup.

Add support for internal attribute
The advantage of this over hidden is for example that the compiler can
safely assume that pointers to functions declared internal can never be
passed externally. This allows the compiler to consider optimizations
otherwise impossible.

Require cmake 2.8.4.
* Add duplicate check to add_intrinsics_option().

CMakeLists.txt: use check_c_source_runs instead of check_c_source_compiles
to try to avoid using intrinsics and an instruction set the compiler
knows but the host CPU doesn't support.

CMakeLists.txt : preliminary support for MSVC and ICC

- select the CMAKE_BUILD_TYPE "Release" by default if none has been set,
  to ensure maximum generic optimisation possible on the host platform
- add WITH_NATIVE_INSTRUCTIONS to build with -march=native or its equivalent
  option with other compilers (when we identify those alternatives)
- NATIVEFLAG (-march=native) will be used instead of -msseN/-mpclmul when
  defined/requested

TODO: discuss whether -msseN/-mpclmul should be used only for the files that
need them instead of globally, while NATIVEFLAG can (is supposed to) be used
globally.

CMakeLists.txt: better checking for Intel intrinsics.

The checks currently assume that instructions that build also execute.
This is not necessarily true: building with -msse4 on an AMD CPU (a C60)
that only has SSE4a leads to a crash in deflateInit2 when the compiler
apparently uses an unsupported instruction to set
s->hash_bits = memLevel + 7;

architecture checks translated from configure to cmake; initial draft

Initialize block_open state

On deflation context creation, initialize the block_open state to 0 to
ensure that no uninitialized values are used.

Add block_open state for deflate_quick

By storing whether or not a block has been opened (or terminated), the
static trees used for the block and the end block markers can be emitted
appropriately.

Fix Partial Symbol Generation for QUICK deflate

When using deflate_quick() in a streaming fashion and the output buffer
runs out of space while the input buffer still has data, deflate_quick()
would emit partial symbols. Force the deflate_quick() loop to terminate
for a flush before any further processing is done, returning to the main
deflate() routine to do its thing.

zlib 1.2.11

Permit immediate deflateParams changes before any deflate input.

This permits deflateParams to change the strategy and level right
after deflateInit, without having to wait until a header has been
written. The parameters can be changed immediately up until the
first deflate call that consumes any input data.

Update high water mark in deflate_stored.

This avoids unnecessary filling of bytes in the sliding window
buffer when switching from level zero to a non-zero level. This
also provides a consistent indication of deflate having taken
input for a later commit ...

Update vestigial comment from very old Info-ZIP deflate.

Fix deflate stored bug when pulling last block from window.

And some cosmetic cleanups.

Remove files to be installed before copying them in Makefile.in.
Based on upstream commit c7d77756d01210790b6d87442eba83dcc586a305

Fix bug in gzwrite.c that produced corrupt gzip files.

Fix bug in deflate_stored() for zero-length input.

Minor edits and clarifications of comments.

Avoid warnings on snprintf() return value.

zlib 1.2.9

Add crc32_z() and adler32_z() functions with size_t lengths.

Use a uniform approach for the largest value of an unsigned type.

Avoid some random compiler warnings on various platforms.

Fix typo from 'Add deflateGetDictionary() function' causing compilation failure.

Detect clang in cc version.

Add deflateGetDictionary() function.

Per request, but its utility is likely to be very limited. See the
comments in zlib.h.

Based on upstream ee7d7b5dda25c111e61e19ac7b476c26aa6f3020

No need to check for NULL argument to free().

Avoid use of DEBUG macro -- change to ZLIB_DEBUG.

Add gzfwrite(), duplicating the interface of fwrite().

Add gzfread(), duplicating the interface of fread().

Based on upstream commit 44dfd831d24f9b627ab666cf0973b0dce98fabba

Don't need to emit an empty fixed block when changing parameters.

gzsetparams() was using Z_PARTIAL_FLUSH when it could use Z_BLOCK
instead. This commit uses Z_BLOCK, which avoids emitting an
unnecessary ten bits into the stream.

Clean up gz* function return values.

In some cases the return values did not match the documentation,
or the documentation did not document all of the return values.
gzprintf() now consistently returns negative values on error,
which matches the behavior of the stdio fprintf() function.

Speed up deflation for level 0 (storing).

The previous code slid the window and the hash table and copied
every input byte three times in order to just write the data as
stored blocks with no compression. This commit minimizes sliding
and copying, especially for large input and output buffers.

Level 0 compression is now more than 20 times faster than before
the commit.

Most of the speedup is due to deferring hash table slides until
deflateParams() is called to change the compression level away
from 0. More speedup is due to copying directly from next_in to
next_out when the amounts of available input data and output space
permit it, avoiding the intermediate pending buffer. Additionally,
only the last 32K of the used input data is copied back to the
sliding window when large input buffers are provided.

Assure that deflateParams() will not switch functions mid-block.

This alters the specification in zlib.h, so that deflateParams()
will not change any parameters if there is not enough output space
in the event that a block is emitted in order to allow switching
the compression function.

Explicitly ignore a return value in gzwrite.c.

Add uncompress2() function, which returns the input size used.

Minor edits to the documentation in source file contents.

Fix crc corruption when using x86 PCLMULQDQ optimized crc.
We need to use crc_reset() instead of crc32() to do the reset.

Fix bugs in creating a very large gzip header.

Add --debug (-d) option to ./configure to define ZLIB_DEBUG.

Use memcpy for stored blocks.

This speeds up level 0 by about a factor of three, as compared to
the previous byte-at-a-time loop. We can do much better though. A
later commit avoids this copy for level 0 with large buffers,
instead copying directly from the input to the output. This commit
still speeds up storing incompressible data found when compressing
normally.

Fix some typos.

Make a noble effort at setting OS_CODE correctly.

Based on upstream commit ce12c5cd00628bf8f680c98123a369974d32df15

Original patch notes:
This updates the OS_CODE determination at compile time to match as
closely as possible the operating system mappings documented in
the PKWare APPNOTE.TXT version 6.3.4, section 4.4.2.2. That byte
in the gzip header is used by nobody for anything, as far as I can
tell. However we might as well try to set it appropriately.

Do a more thorough check of the state for every stream call.

This verifies that the state has been initialized, that it is the
expected type of state, deflate or inflate, and that at least the
first several bytes of the internal state have not been clobbered.

Document the rejection of 256-byte window requests in zlib.h.

Reject a window size of 256 bytes if not using the zlib wrapper.

There is a bug in deflate for windowBits == 8 (256-byte window).
As a result, zlib silently changes a request for 8 to a request
for 9 (512-byte window), and sets the zlib header accordingly so
that the decompressor knows to use a 512-byte window. However if
deflateInit2() is used for raw deflate or gzip streams, then there
is no indication that the request was not honored, and the
application might assume that it can use a 256-byte window when
decompressing. This commit returns an error if the user requests
a 256-byte window when using raw deflate or gzip encoding.

Avoid obfuscating use of default case in inftrees.c.

Move macro definition in deflate.c to where it is used.

This avoid defining a macro that is never used when not debugging.

Avoid recursive gzgetc() macro call.

Recursive macro calls are normally caught by the preprocessor and
avoided. This commit avoids the possibility of a problem entirely.

Make globals in examples local to compilation unit.

Add --warn option to ./configure, instead of environment variable.

Add inflateCodesUsed() function
Based on upstream commit 5370d99a2affe0b040550cffbc0ba8fa790594b3

Clean up type conversions.

Based on upstream 7096424f23df1b1813237fb5f8bc8f34cfcedd0c, but
modified heavily to match zlib-ng.

Note the violation of the strict aliasing rule in crc32.c.

See the comment for more details. This is in response to an issue
raised as a result of a security audit of the zlib code by Trail
of Bits and TrustInSoft, in support of the Mozilla Foundation.

Avoid pre-decrement of pointer in big-endian CRC calculation.

There was a small optimization for PowerPCs to pre-increment a
pointer when accessing a word, instead of post-incrementing. This
required prefacing the loop with a decrement of the pointer,
possibly pointing before the object passed. This is not compliant
with the C standard, for which decrementing a pointer before its
allocated memory is undefined. When tested on a modern PowerPC
with a modern compiler, the optimization no longer has any effect.
Due to all that, and per the recommendation of a security audit of
the zlib code by Trail of Bits and TrustInSoft, in support of the
Mozilla Foundation, this "optimization" was removed, in order to
avoid the possibility of undefined behavior.

Remove offset pointer optimization in inftrees.c.

inftrees.c was subtracting an offset from a pointer to an array,
in order to provide a pointer that allowed indexing starting at
the offset. This is not compliant with the C standard, for which
the behavior of a pointer decremented before its allocated memory
is undefined. Per the recommendation of a security audit of the
zlib code by Trail of Bits and TrustInSoft, in support of the
Mozilla Foundation, this tiny optimization was removed, in order
to avoid the possibility of undefined behavior.

Use post-increment only in inffast.c.

An old inffast.c optimization turns out to not be optimal anymore
with modern compilers, and furthermore was not compliant with the
C standard, for which decrementing a pointer before its allocated
memory is undefined. Per the recommendation of a security audit of
the zlib code by Trail of Bits and TrustInSoft, in support of the
Mozilla Foundation, this "optimization" was removed, in order to
avoid the possibility of undefined behavior.

Add option to not compute or check check values.

The undocumented (except in these commit comments) function
inflateValidate(strm, check) can be called after an inflateInit(),
inflateInit2(), or inflateReset2() with check equal to zero to
turn off the check value (CRC-32 or Adler-32) computation and
comparison. Calling with check not equal to zero turns checking
back on. This should only be called immediately after the init or
reset function. inflateReset() does not change the state, so a
previous inflateValidate() setting will remain in effect.

This also turns off validation of the gzip header CRC when
present.

This should only be used when a zlib or gzip stream has already
been checked, and repeated decompressions of the same stream no
longer need to be validated.

Correct the size of the inflate state in the comments.

Use TRIGGER_LEVEL in sse optimization too.

Fix _off64_t check for clang.

Remove dead code.

Fix shift of negative value in inflateMark().

Instruct make not to remove intermediate files.

Replace Z_NULL with NULL. Fix incorrect uses of NULL/Z_NULL.

Fix 'depend' target.

Fix debug build.

Update -DGEN_TREES_H output to match trees.h

Update dependency information for zutil.c

Variable h was initialized twice on first iteration.

Revert "Loop on write() calls in gzwrite.c in case of non-blocking I/O."

This reverts commit 4811aa74806df01ac7e5a28c7a6b42bc6795b7a4.

Reverted because the code returns incorrect data.
Needs to be investigated and re-implemented.

Fix missing insert_string change from merge conflict

Merge insert_string and bulk_insert_str.

** Partial merge of this commit, based on a8c94e9f5a3b9d3c62182bcf84e72304a3c1a6e5
Excludes changes to fill_window_sse.c, changes to fill_window_c() in deflate.c
and several unrelated changes in the commit.

Use bulk_insert_str when adding more than one byte.

** Partial merge of this commit, based on f8ad48ab17571c730b743c925f0e13ff83cf487f
Excluding changes to fill_window_sse.c, deflate.c and deflate_p.h

Use TRIGGER_LEVEL instead of hard-coded '6'.

** Only merged part of this commit, based on 9460967fcfde4d83574f82eabe2a2bc91a9c351a

Update .gitignore

ignore KDevelop statefiles

cpuid for msvc

Add a.exe to cleanup list.

local -> static

* local -> static
* Normalize and cleanup line-endings
* Fix warnings under Visual Studio.
* Whitespace cleanup

***
This patch has been edited to merge cleanly and to exclude type changes.
Based on 8d7a7c3b82c6e38734bd504dac800b148ab410d0 "Type Cleanup"

Merge pull request #74 from Majlen/develop

Using correct format specifiers

Using correct format specifiers

Fixes bug #73

Merge pull request #72 from mtl1979/duphead

Don't update prev if old head is same as new.

Don't update prev if old head is same as new.

Merge pull request #70 from jibsen/fix-win-clang

Do not define __builtin_ctzl for Clang on MSVC

Do not define __builtin_ctzl for Clang on MSVC

Clang targeting MSVC and Clang/C2 provide __builtin_ctzl.

Only run tests requiring zlib-compat if zlib-ng was compiled with it.

This also reveals that minigzip without zlib-compat is vulnerable
to one or more of the tests.

Fix spelling in travis config

Make travis test --without-optimizations and --without-new-strategies codepaths as well.

Both travis builds using configure should do zlib-compat

Travis should compile and test the zlib-compat code as well

Fix the remaining warnings due to conflicting defines of ZLIB_INTERNAL

Add test for CVE-2004-0797

CVE-2004-0797[0] occured when an error was detected but no action
was taken --- that is, execution was allowed to continue.

One of the tests for CVE-2005-2096 actually hit the code path that
was fixed in the patch for CVE-2004-0797.

This occured because all the fuzzing was done on zlib 1.2.1, and
zlib 1.2.2 fixed this bug but not the 2005 CVEs. It was detected by
running the test cases against zlib 1.2.2.

The relevant bits of the zlib 1.2.2 patch are [1] and [2].

[0] http://www.kb.cert.org/vuls/id/238678
[1] https://github.com/madler/zlib/commit/7a6955760ba950eb82f57929f8f6c9847c65f0af?diff=unified#diff-154f1240658ec1e9f5c90024002d749aR437
[2] https://github.com/madler/zlib/commit/7a6955760ba950eb82f57929f8f6c9847c65f0af?diff=unified#diff-327188edf18799ffbb5a51cc69f797e8R864

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add test cases for CVE-2005-1849 and CVE-2005-2096

CVE-2005-1849[0] is an overflow of a fixed size buffer defined in
inftrees.h

CVE-2005-2096[1] is an overflow caused by insufficient input
validation of code trees[2].

This makes sure we don't accidentally reintroduce them.

zlib-1.2.1 was download and fuzz tested using AFL[3].  The crashing
cases were discovered. A patch for 1849 was then applied, and used to
determine which cases hit only that bug, and which ones hit 2096.

[0] http://seclists.org/bugtraq/2005/Jul/451
[1] http://seclists.org/bugtraq/2005/Jul/53
[2] https://bug299445.bugzilla.mozilla.org/attachment.cgi?id=188021
[3] http://lcamtuf.coredump.cx/afl/

Signed-off-by: Daniel Axtens <dja@axtens.net>

Add test for CVE-2002-0059

CVE-2002-0059 was a double free in inflation. [0]

This makes sure we don't accidentally reintroduce it.

zlib-1.1.3 was download and fuzz tested using AFL[1].
This crashing case (test.gz) was discovered, and using gdb it was
confirmed to be a double free in the expected place.

The test script looks for a normal error exit (status code 1),
and fails if any other code is returned.

[0] http://www.cvedetails.com/cve/CVE-2002-0059/
[1] http://lcamtuf.coredump.cx/afl/

Signed-off-by: Daniel Axtens <dja@axtens.net>