Prevent unnecessary linking against deflate code

In _archive_write_disk_free, the call to deflateEnd was compiled if HAVE_ZLIB_H
was defined. However, all other calls to deflate functions were only compiled
if __APPLE__, UF_COMPRESSED and HAVE_SYS_XATTR_H were also defined. So if one of
these macros was not defined but HAVE_ZLIB_H was defined, the call the
deflateEnd would be unnecessary as deflateInit could never have been called.

In statically linked applications which don't use deflate functions elsewhere
this was causing unnecessary linking of the deflate code from zlib, adding at
least 20k of object code to the final executable size.

This patch fixes the above issue by surrounding the call to deflateEnd with the
same conditional compilation checks as surround the call to deflateInit.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #71 from betafive/pbarker/extract

Split archive_read_extract.c into two source files

Split archive_read_extract2 from archive_read_extract

The function archive_read_extract requires a call to
archive_write_disk_set_standard_lookup but the functions archive_read_extract2
and archive_read_extract_set_progress_callback do not. Therefore, the latter
pair of functions, the internal function __archive_read_get_extract and the
static function copy_data are moved out of archive_read_extract.c into the new
file archive_read_extract2.c.

This ensures that when statically linking, the standard user and group lookup
functions will not be linked into a program unless they are really needed.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Refactor archive_read_extract

The initialisation of the archive_write_disk object and the call to
archive_write_disk_set_standard_lookup are only needed in the
archive_read_extract function, not in archive_read_extract2 or other related
functions. Therefore this initialisation is merged into archive_read_extract.

The static function get_extract is renamed to __archive_read_get_extract so that
is can be made non-static. The struct extract is renamed to archive_read_extract
so that it can be placed in a header file without risk of namespace clashes.
Both these declarations are then moved to the archive_read_private.h header.
This preparation is necessary so that the contents of archive_read_extract.c can
be split between two source files.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #68 from guidefloripa/master

Fix memory leak for 7zip/xz

Update xz compatibility for reading xz.

Update xz compatibility for reading 7zip.

Merge pull request #63 from sergiud/master

Do not redefine _WIN32_WINNT and WINVER

Merge pull request #61 from kevinoid/ignore_zeros

Add --ignore-zeros option to bsdtar

Merge pull request #55 from NiLuJe/cmake-pkgconfig

Make the CMake build more pkg-config friendly

Merge pull request #67 from jmalak/master

fixes to build by Open Watcom toolchain

fixes for test programs to be buildable by Open Watcom

correct buffers to be realy local for each test as expected by logic

rest of changes to be buildable by Open Watcom

fixes to build by Open Watcom toolchain

Merge pull request #65 from Bluewind/working

mtree: Make reading additional information from the fs optional

mtree: Make reading additional information from the fs optional

This feature is not needed if users just want to read in the content of
an mtree file and do validation against the file system themselves.

It is needed for `bsdtar cvf out.tar @input.mtree` which is why the
option is enabled in bsdtar.

Since the mtree tests rely on this feature, this patch also enables it
there.

Signed-off-by: Florian Pritz <bluewind@xinu.at>

Return correct error when multiple modules match an option spec

streaming zip reader does not support mac extensions

Enable mac extensions for mac extension test

Fix: process directory entries even when mac extensions are turned off

Zip: Make Mac extension handling optional with "mac-ext" option for Zip, default true on Mac OS"

Merge remote-tracking branch 'upstream/master' into cmake-pkgconfig

Merge pull request #64 from NiLuJe/fix-warning

Fix a couple of minor warnings.

Do not redefine _WIN32_WINNT and WINVER

Fix a couple of minor warnings.

Just so that the build passes w/ -Werror

Merge remote-tracking branch 'upstream/master' into cmake-pkgconfig

Make the backslash line continuations more consistent for automatic updating; update the libarchive test data

Fix the zip tests that were inadvertently disabled (and hence broken).

Extend them to verify with/without forcing zip64 and with/without 'el' extension.

Include missing test in cmake build, sort the file list.

Include tests for new zip64 functionality in autoconf-based build.

Fix out-of-tree build

When building outside the source tree, the directories 'libarchive/test',
'tar/test' and 'cpio/test' need to be created before the commands in Makefile.am
are executed which create list.h files in these directories.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #62 from kientzle/master

Zip64 refactoring

Add --ignore-zeros option to bsdtar

This option is an alias for --options read_concatenated_archive
introduced for compatibility with GNU tar.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Do not require LibXml2 to configure

In commit 033fc31e (Allow fine grained control over dependancies,
2013-05-16, committed 2013-12-12) the find_package(LibXml2) line was
accidentally given a REQUIRED specifier.  Remove it now.

Merge pull request #59 from NiLuJe/fix-warning

Fix a minor sign issue.

Add a test for read_concatenated_archives

Make sure that we are reading the concatenated contents when requested
and only when requested.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

[PATCH v3] Add read_concatenated_archives

As discussed in http://code.google.com/p/libarchive/issues/detail?id=348
the read_concatenated_archives option provides functionality similar to
the GNUtar --ignore-zeros option in order to support reading from
archives which have been concatenated together.

Changes in v2:
 * Replace recursion with looping for reading concatenated archives.

Changes in v3:
 * Improve comments about archive format detection and looping when
   reading concatenated archives.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Verify that Zip writer rejects too-large files when Zip64 is disabled.

Interestingly, this found a bug in the write core:  if the
writer rejects a file, the write core would erroneously transition to
state DATA.

Verify the end-of-archive information as part of the large zip test.

Fix a bug that breaks compat with Info-Zip 'unzip' program.

Merge branch 'master' of github.com:kientzle/libarchive-zip64

Only consume a second all-null record

Currently any record following an all-null record will be consumed.
This is probably not the intended behavior, as it does not match the
comment and consumes/ignores unexpected and unrecognized data.  In
particular, for the read_concatenated_archives case, it could
incorrectly consume a non-null header.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Only enable the still-experimental 'el' extra block
if option 'zip:experimental' is specified.
This should limit the use of this option until the
final format is actually nailed down.

Issue #329: https://code.google.com/p/libarchive/issues/detail?id=329

Fix POSIX.1e draft ACL handling on Linux systems that lack NFSv4 ACL libraries.

Fix a minor sign issue.

archive_read_support_format_tar.c:802:16: error: comparison between
signed and unsigned integer expressions [-Werror=sign-compare]

Merge remote-tracking branch 'upstream/master' into cmake-pkgconfig

Change new extra block from 'LA' to 'el' to follow updated draft spec

Add a bitmap to indicate which fields are included for compression and for future expansion

Change the first field of the 'LA' extra block to the full 'version made by'

Improve memory management in the large zip test

Only write the new 'LA' experimental extra block if it's explicitly enabled.
Enable it in the appropriate tests.

E.g.,

$ bsdtar cf - --format=zip --option zip:experimental .

The syntax supports multiple experiments;
use --option zip:experiment_la to enable just the 'LA' experiment.

A couple of changes to the experimental new extra block, as suggested by Steven Schweda.

 * Name changed from 'at' to 'LA' (Local Attributes)
 * Trimmed 'version made by' down to just 1 byte system code

Be stricter about the checksum field; reduce false-positives on the bid

Support experimental "at" extra block for better streaming.

The writer now writes this extra block with every local
file header; the reader recognizes it and uses it.
This allows streaming extraction to properly restore
file permissions and symlinks.

Without this, streaming extraction of Zip archives is
somewhat hobbled by the lack of full information in
the local file header.

Here's a detailed description of the new extra block.
The details here are subject to change at any time.

   -Extended Local File Header Extra Field (0x7461):

      The following is the layout of the extended local file
      header "extra" block.  This allows information to be
      included with the local file header that could previously
      only be stored with the central directory file header.

      Note: all fields stored in Intel low-byte/high-byte order.

        Value      Size       Description
        -----      ----       -----------
        0x7461     2 bytes    Tag for this "extra" block type
        Size       2 bytes    Size of this "extra" block
        Version
        Made By    2 bytes    See "Version Made By" above
        Internal File
        Attributes 2 bytes    See "Internal File Attributes" above
        External File
        Attributes 4 bytes    See "External File Attributes" above

      This extra block should only be used with the local
      file header.  The values stored should exactly match
      the corresponding values in the central directory
      file header.

Comment the definitive Zip documentation for future maintainers; note the history of this code.

Convert some booleans into more compact bitfields

More code rearranging

Update some comments, fine-tune the streaming bid

Remove some redundant vars; more code reorg

Optimize skipping entries in seeking mode

Clarify the wording.

Move a 1MB buffer off the stack and onto the heap.

Eliminate zip reader's redundant tracking of file position (the archive already does this).

Make zip->offset tracking more consistent.

Fix large zip test in streaming mode.

Return uncompressed size if it's known, even if compressed size and/or CRC are deferred.

Skip stored data quickly when size is known at beginning even when CRC is at end

Update some comments

Extend large zip test to cover streaming reader as well.

Expand the large zip test a bit

Parse out the extra data before trying to insert into the tree.

Since the tree is organized by offset, we
need the full offset from the extra data
(in the case of 64-bit offsets) before we do the
insertion.

While here, fix an obvious blooper: initialize the CRC function.

Test for large Zip archives, following code for large Tar test.
Fix several bugs:
 * comparison function for ordering entries in reader was wrong
 * writer wasn't including 64-bit sizes for entries of exactly 0xffffffff bytes
Also, add options to suppress CRC calculations and checks
(otherwise, this test spends a *lot* of time in CRC routines).

Read Zip64 EOCD; work around an Info-Zip bug.

Fix whitespace

Finish the detailed verification of zip archive with single entry for both zip64 and non-zip64 cases.
Fix a few minor issues this uncovers.

Test detailed zip format for regular file entry.
Fix tests when built w/o zlib.

Don't try to verify deflated data if zlib is unavailable.

Rename write/read round-trip test.

Comment this test a little bit.

Test that we can read the Zip64 extensions that we write.

Be more careful about enabling zip64 (fixes zip_compression_store test)
Add test for empty zip64 file
Fix reader to read empty zip64 files

More error reporting on these assertions.

Adjust expected permissions; zip code has slightly tightened
the default permissions used when extracting files.

Fix all current tests:
 * When searching for start of Central directory, DTRT if there are no entries.
 * Find end-of-archive marker when it is exactly at end of file
 * Recognize zip64 central directory locator (not yet fully parsed)
 * Don't return entry size if length-at-end, even if size looks reasonable

Out-of-range seeks should fail, not truncate the seek.

Set compiler flags for Clang.

Break Zip compatibility test into 5 separate tests.

Fix mismatched sign warning

Fix warnings:  mismatched signs, unused variables.

Merge branch 'master' of github.com:kientzle/libarchive-zip64

Merge branch 'master' into cmake-pkgconfig

Fix typo

Merge recent changes from libarchive master repository.

Cleanups for zip64 support

Move the strsep() implementation to the mtree reader, which is
the only place it's used.

Harmless typo in a comment.

Merge branch 'master' into fix-mingw

Merge branch 'master' into cmake-pkgconfig

Move .pc generation to a dedicated script (#55).

Merge pull request #57 from NiLuJe/fix-has_encrypted_entries

Make sure has_encrypted_entries is a signed int

Merge pull request #54 from NiLuJe/fix-autotools-build

Fix autotools build.