Silently ignore lchmod failure in when not supported

lchmod might be defined but not supported by the platform,
(this is the case with musl implementation of fchmodat) in
this case we can safely ignore the error.

Merge pull request #81 from hroptatyr/feat/format-warc

Feat/format warc

Check for legal HTTP but illegal unix filenames in WARCs archives.

This changeset will refuse to extract WARCs that contain filenames
a la http://example.com/implicit/content/

There is a todo note in archive_read_support_format_warc.c discussing
possible archive options to extract filenames like those either by
explicit user input or by some sort of heuristic as used in wget
for example.

Set archive format, and archive format name.

This changeset adheres to the previously imported read test.
The archive format is hard-set to ARCHIVE_FORMAT_WARC, while the
format name is the stringified WARC/x.y version designator, which
for performance reasons will be cached between calls to the header
reader _warc_rdhdr().

Tests, provide known-good archive read test.

Hygiene, set unconsumed slot exactly once for each branch

in _warc_read().  Also kick __archive_read_consume() because the writer
will consume the bytes for us.  So for the EOF case, set unconsumed to 0,
for the non-EOF case set unconsumed to the minimum of the number of bytes
read and the content length.

Hygiene, always use xmemmem() because memmem() is a GNU extension

Hygiene, use FALLTHROUGH instead of lint's @fallthrough@

Hygiene, trust __archive_read_ahead() and kick superfluous check.

Heeding Tim's advice, a non-NULL from __archive_read_ahead() is
guaranteed to be of at least the minimum size, therefore no need to
check for this condition again.

Hygiene, protect against NULL filenames in _warc_header()

Return ARCHIVE_WARN immediately.

Fix, an empty WARC archive needs a bit more than 256 bytes.

Tests, heed Tim's advice and emit ARCHIVE_FAILED for entries ...

that cannot be stored (natively) in WARC format.

Fix compilation on Tru64 with F_SETTIMES

The parent commit left a typo in the conditional code path for Tru64.
Add the missing '.'.

Fix compilation on newer HP-UX versions

Newer HP-UX versions (e.g. 11.31) also offers F_SETTIMES, but with a
different struct for the timing information.

Suggested-by: Eric Berge <ericmberge@gmail.com>

Issue #359:  Rar drops file if previous filename is a prefix

Hygiene, clean up xmemmem() code a little, use xor sums.

Signed-off-by: Sebastian Freundt <freundt@ga-group.nl>

Store and read back mtimes through Last-Modified custom header

Signed-off-by: Sebastian Freundt <freundt@ga-group.nl>

Fix, actually consume data between calls to _warc_read()

Obey gcc warnings,

in particular: Don't compare integers of different signedness,
always initialise all members of a struct explicitly.

fix, WARC files urgently need the filesize to be known when the header is written

fix, request just the bare minimum for a WARC header

Moreover, assume a response of less than the bare minimum header
length to be the archive's EOF.

fix, never write more bytes in _warc_data() than ...

previously announce in _warc_header().

The test suite (as is) is one offender.  It populates a 9-byte string, mimicking an IFREG file
but by the time the header makes it into the archive, the size changes from 0 to 9.

Provide WARC read/write tests

Implant WARC support in tar's get_format_code()

Provide ISO 28500:2009 reader (aka warc, aka web archive)

Provide ISO 28500:2009 writer (aka warc, aka web archive)

Merge pull request #80 from sergiud/master

Check whether file handle is valid

check handle validity when closing a file

This eliminates an assertion under Windows that occurs when an archive cannot be
opened.

Zip: Adjust streaming extension field to match the final spec worked out with Info-Zip folks

Merge pull request #79 from maksqwe/duplicate_expression_fix

Remove duplicate expressions

remove duplicate expressions in file_information()

remove duplicate expressions in entry_copy_bhfi()

Merge pull request #77 from biometrics/additional_libs_scope

just link the archive_static with ADDITIONAL_LIBS

just link the archive_static with ADDITIONAL_LIBS

Merge pull request #76 from biometrics/additional_libs_scope

fixed 'current scope has no parent' warning

fixed 'current scope has no parent' warning

Add lafe files to cat project

Add missing file.

Merge pull request #69 from ice799/fix_shadowing

Fix shadowing warning for identifier symlink

Merge pull request #74 from mk-fg/add_bsdcat_tests

Add bsdcat tests

Merge pull request #75 from biometrics/additional_libs_scope

Expose ADDITIONAL_LIBS

Expose ADDITIONAL_LIBS for projects using libarchive as a subdirectory and linking against archive_static.

Add basic tests for bsdcat.

Exit with error status from bsdcat if any errors occurred.

Return success exit code from "bsdcat --help" and print usage to stdout.

Add missing backslash before bsdcat_EXTRA_DIST.

Sort .gitignore, add cat deps/dirstamp files.

Merge pull request #73 from betafive/pbarker/deflate

Prevent unnecessary linking against deflate code

Merge pull request #72 from betafive/pbarker/fix-zip

Fix intermittent segfault when reading zip files

Merge pull request #70 from mk-fg/add_bsdcat_tool

Add optional bsdcat tool

Minor style correction in bsdcat.

Use snprintf to print to zip->format_name

zip->format_name is a fixed size character array so ensure that the number of
characters written to the array is appropriately limited.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Fix intermittent segfault when reading zip files

When looking up the compression name for a zip file the index variable was being
incremented too soon. Thus element zero ("uncompressed") was never checked and
reads could be made past the end of the array. This was causing intermittent
segfaults in the call to sprintf in zip_read_local_file_header.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Prevent unnecessary linking against deflate code

In _archive_write_disk_free, the call to deflateEnd was compiled if HAVE_ZLIB_H
was defined. However, all other calls to deflate functions were only compiled
if __APPLE__, UF_COMPRESSED and HAVE_SYS_XATTR_H were also defined. So if one of
these macros was not defined but HAVE_ZLIB_H was defined, the call the
deflateEnd would be unnecessary as deflateInit could never have been called.

In statically linked applications which don't use deflate functions elsewhere
this was causing unnecessary linking of the deflate code from zlib, adding at
least 20k of object code to the final executable size.

This patch fixes the above issue by surrounding the call to deflateEnd with the
same conditional compilation checks as surround the call to deflateInit.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #71 from betafive/pbarker/extract

Split archive_read_extract.c into two source files

Split archive_read_extract2 from archive_read_extract

The function archive_read_extract requires a call to
archive_write_disk_set_standard_lookup but the functions archive_read_extract2
and archive_read_extract_set_progress_callback do not. Therefore, the latter
pair of functions, the internal function __archive_read_get_extract and the
static function copy_data are moved out of archive_read_extract.c into the new
file archive_read_extract2.c.

This ensures that when statically linking, the standard user and group lookup
functions will not be linked into a program unless they are really needed.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Refactor archive_read_extract

The initialisation of the archive_write_disk object and the call to
archive_write_disk_set_standard_lookup are only needed in the
archive_read_extract function, not in archive_read_extract2 or other related
functions. Therefore this initialisation is merged into archive_read_extract.

The static function get_extract is renamed to __archive_read_get_extract so that
is can be made non-static. The struct extract is renamed to archive_read_extract
so that it can be placed in a header file without risk of namespace clashes.
Both these declarations are then moved to the archive_read_private.h header.
This preparation is necessary so that the contents of archive_read_extract.c can
be split between two source files.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Minor cleanup of a redundant check in bsdcat cli parsing.

Change bsdcat behavior to process as many files as possible.

Change is to match "cat" behavior of printing any errors (e.g. "unable to
open file") and continue to the next file instead of exiting on first error
encountered.

Use getopt() instead of getopt_long() in bsdcat for compatibility reasons.

Add optional bsdcat tool.

bsdcat works like zcat, bzcat, xzcat and similar tools, but auto-detects
source data format, which can also vary between multiple input files.

Fix shadowing warning for identifier symlink

Merge pull request #68 from guidefloripa/master

Fix memory leak for 7zip/xz

Update xz compatibility for reading xz.

Update xz compatibility for reading 7zip.

Merge pull request #63 from sergiud/master

Do not redefine _WIN32_WINNT and WINVER

Merge pull request #61 from kevinoid/ignore_zeros

Add --ignore-zeros option to bsdtar

Merge pull request #55 from NiLuJe/cmake-pkgconfig

Make the CMake build more pkg-config friendly

Merge pull request #67 from jmalak/master

fixes to build by Open Watcom toolchain

fixes for test programs to be buildable by Open Watcom

correct buffers to be realy local for each test as expected by logic

rest of changes to be buildable by Open Watcom

fixes to build by Open Watcom toolchain

Merge pull request #65 from Bluewind/working

mtree: Make reading additional information from the fs optional

mtree: Make reading additional information from the fs optional

This feature is not needed if users just want to read in the content of
an mtree file and do validation against the file system themselves.

It is needed for `bsdtar cvf out.tar @input.mtree` which is why the
option is enabled in bsdtar.

Since the mtree tests rely on this feature, this patch also enables it
there.

Signed-off-by: Florian Pritz <bluewind@xinu.at>

Return correct error when multiple modules match an option spec

streaming zip reader does not support mac extensions

Enable mac extensions for mac extension test

Fix: process directory entries even when mac extensions are turned off

Zip: Make Mac extension handling optional with "mac-ext" option for Zip, default true on Mac OS"

Merge remote-tracking branch 'upstream/master' into cmake-pkgconfig

Merge pull request #64 from NiLuJe/fix-warning

Fix a couple of minor warnings.

Do not redefine _WIN32_WINNT and WINVER

Fix a couple of minor warnings.

Just so that the build passes w/ -Werror

Merge remote-tracking branch 'upstream/master' into cmake-pkgconfig

Make the backslash line continuations more consistent for automatic updating; update the libarchive test data

Fix the zip tests that were inadvertently disabled (and hence broken).

Extend them to verify with/without forcing zip64 and with/without 'el' extension.

Include missing test in cmake build, sort the file list.

Include tests for new zip64 functionality in autoconf-based build.

Fix out-of-tree build

When building outside the source tree, the directories 'libarchive/test',
'tar/test' and 'cpio/test' need to be created before the commands in Makefile.am
are executed which create list.h files in these directories.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #62 from kientzle/master

Zip64 refactoring

Add --ignore-zeros option to bsdtar

This option is an alias for --options read_concatenated_archive
introduced for compatibility with GNU tar.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Do not require LibXml2 to configure

In commit 033fc31e (Allow fine grained control over dependancies,
2013-05-16, committed 2013-12-12) the find_package(LibXml2) line was
accidentally given a REQUIRED specifier.  Remove it now.

Merge pull request #59 from NiLuJe/fix-warning

Fix a minor sign issue.

Add a test for read_concatenated_archives

Make sure that we are reading the concatenated contents when requested
and only when requested.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

[PATCH v3] Add read_concatenated_archives

As discussed in http://code.google.com/p/libarchive/issues/detail?id=348
the read_concatenated_archives option provides functionality similar to
the GNUtar --ignore-zeros option in order to support reading from
archives which have been concatenated together.

Changes in v2:
 * Replace recursion with looping for reading concatenated archives.

Changes in v3:
 * Improve comments about archive format detection and looping when
   reading concatenated archives.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Verify that Zip writer rejects too-large files when Zip64 is disabled.

Interestingly, this found a bug in the write core:  if the
writer rejects a file, the write core would erroneously transition to
state DATA.

Verify the end-of-archive information as part of the large zip test.

Fix a bug that breaks compat with Info-Zip 'unzip' program.

Merge branch 'master' of github.com:kientzle/libarchive-zip64

Only consume a second all-null record

Currently any record following an all-null record will be consumed.
This is probably not the intended behavior, as it does not match the
comment and consumes/ignores unexpected and unrecognized data.  In
particular, for the read_concatenated_archives case, it could
incorrectly consume a non-null header.

Signed-off-by: Kevin Locke <kevin@kevinlocke.name>

Only enable the still-experimental 'el' extra block
if option 'zip:experimental' is specified.
This should limit the use of this option until the
final format is actually nailed down.