test_write_format_gnutar_filenames: use AE_IFLNK instead of S_IFLNK

Since S_IFLNK will fail on windows.

https://github.com/libarchive/libarchive/issues/769

Merge pull request #778 from mmatuska/acl_error_handling

Handle all possible errors from ACL functions

ACL error handling

Fill in checks and support for acl_get_fd_np

Merge branch 'fix_acls_inside_subdirs' of https://github.com/mmatuska/libarchive into mmatuska-fix_acls_inside_subdirs

Test for PR#777: verify ACL reading during directory walks

This verifies the issue mentioned in Pull Request #777:
When using archive_read_disk to read a directory tree,
libarchive would attempt to read ACLs with the wrong
directory.

Fix FreeBSD build:  prefer struct xvfsconf to struct vfsconf

Multiple bugfixes for setup_acls()

Convert README to markdown

Convert README to markdown

Convert README to markdown

Convert README to markdown

Convert README to markdown

Issue #731:  Reject tar entries >= INT64_MAX

Note that the code that parses file sizes returns INT64_MAX on
overflow.

Issue #744 (part of Issue #743): Enforce sandbox with very long pathnames

Because check_symlinks is handled separately from the deep-directory
support, very long pathnames cause problems.  Previously, the code
ignored most failures to lstat() a path component.  In particular,
this led to check_symlinks always passing for very long paths, which
in turn provides a way to evade the symlink checks in the sandboxing
code.

We now fail on unrecognized lstat() failures, which plugs this
hole at the cost of disabling deep directory support when the
user requests sandboxing.

TODO:  This probably cannot be completely fixed without
entirely reimplementing the deep directory support to
integrate the symlink checks.  I want to reimplement the
deep directory hanlding someday anyway; openat() and
related system calls now provide a much cleaner way to
handle deep directories than the chdir approach used by this
code.

Issue #748: Zip decompression failure with highly-compressed data

Previously, we stopped driving the decompressor as soon as
we hit end of input, but in some cases, the decompressor
has internal state that can continue generating output
even when there is no more input.  So we now feed zero-length
blocks into the decompressor until the decompressor tells us
it is finished.

Issue #767:  Buffer overflow printing a filename

The safe_fprintf function attempts to ensure clean output for an
arbitrary sequence of bytes by doing a trial conversion of the
multibyte characters to wide characters -- if the resulting wide
character is printable then we pass through the corresponding bytes
unaltered, otherwise, we convert them to C-style ASCII escapes.

The stack trace in Issue #767 suggest that the 20-byte buffer
was getting overflowed trying to format a non-printable multibyte
character.  This should only happen if there is a valid multibyte
character of more than 5 bytes that was unprintable.  (Each byte
would get expanded to a four-charcter octal-style escape of the form
"\123" resulting in >20 characters for the >5 byte multibyte character.)

I've not been able to reproduce this, but have expanded the conversion
buffer to 128 bytes on the belief that no multibyte character set
has a single character of more than 32 bytes.

Issue #770:  Be more careful about extra_length

Hanno Böck pointed out that the loop here computes
extra_length - 4 without first checking for possible underflow.

In addition to fixing this, I also added a bunch of error
checks so Zip parsing will fail if any Zip extra field
is malformed.  Among other things, this uncovered an
old bug that would skip a trailing extra field with
zero-sized data.

Note that we still simply ignore well-formed
extra fields that we don't understand.

Merge pull request #768 from hannob/master

Remove unused variable to avoid compiler warning.

conditionally declare r on ACL_TYPE_NFS4

Remove unused variable to avoid compiler warning.

Merge pull request #755 from mmatuska/fix_acl_get_flagset_np

fix use of acl_get_flagset_np() on FreeBSD

Correct the usage of PATH_MAX as reported in Issue #744.

Merge branch 'master' of github.com:libarchive/libarchive

Test cases for Github Issue #744, #745, and #746.

Merge pull request #757 from Tarsnap/compile-test-zip-high

Add test_..._zip_high_compression.c to automake

Add test_..._zip_high_compression.c to automake

Sponsored by: Tarsnap Backup Inc.

fix use of acl_get_flagset_np() on FreeBSD

Merge pull request #751 from aahancoc/patch-1

Fixed build error in test_read_format_zip_high_compression.c

Fixed build error in test_read_format_zip_high_compression.c

C89 (what this library is compiled in) requires for loop iterators to be initialized outside the for loop.

Issue 748: Regression test

Merge pull request #750 from cpatulea/master

ustar: fix out of bounds read on empty string ("") filename.

ustar: fix out of bounds read on empty string ("") filename.

Issue 720: Allow dashes in third-party version numbers

Issue 695:  Check return value of fwrite/fclose

Merge pull request #739 from ppentchev/roam-cppcheck

Fix two minor complaints by cppcheck.

Merge branch 'master' of github.com:libarchive/libarchive

Fix check for GCC >= 4.8

Merge pull request #737 from ppentchev/roam-typo-candidate

Fix a typographical error in a struct member: candiate -> candidate

Merge pull request #736 from ppentchev/roam-typos

Fix a couple of typographical errors.

Fix two minor complaints by cppcheck.

Fix a typo in a struct member: candiate -> candidate.

Fix a couple of typographical errors.

Merge LZMA MP detection from configure.

Merge struct vfsconf detection from configure for DragonFly.

Merge pull request #733 from tpgxyz/master

Support GNU tar --blocking-factor and GNU cpio --dereference

sort it

add GNU compatible blocking-factor alias, add cpio long alias for dereference

Merge pull request #727 from jcfr/use-cmake-builtin-module-CheckStructHasMember

Use CMake module "CheckStructHasMember" and remove custom "CheckStructMember"

FreeBSD bug 204157:  If filesystem does not support birthtime, then make all birthtime comparisons succeed.

This is a bit of a hack:  We should also have tests that verify
different birthtimes.  When/if that happens, we'll need to add
a real system probe to determine whether birthtime is actually
supported on this particular filesystem and skip tests accordingly.

Issue 686: Keep retrying until buffer is big enough

@duy-github pointed out that commit 9134c3a fixed
one place where this mistake occurred, but left three
other places.

For getvfsbyname on DragonFly, struct vfsconf has to be used and not
struct xvfsconf as on FreeBSD.

Avoid use of C99 for-scope declarations to fix issue #729.

Ignore the MT encoder in XZ 5.2 prerelease versions.

Older Solaris at least has no _PATH_TTY, so provide a fallback.

Use CMake module "CheckStructHasMember" and remove custom "CheckStructMember"

Dummy out copy_acls if sys/acl.h is missing or ACL support is disabled.

Merge pull request #726 from mmatuska/cpio_version

Fix test for cpio version dash fix

SIGRTMAX doesn't exist on all systems, so compute the largest used
signal number. Don't bother with dynamically allocating the array, just
use a static array instead. Fix ctype use.

In the past, OpenSSL was not needed by the main libarchive when the hash
functions were provided by libc, e.g. on NetBSD. With the introduction
of the de-/encryption support, this is no longer the case. As such,
explicitly check for the necessary EVP routines as well to make sure
that -lcrypto is added as necessary.

Many systems have bswap16 in system headers, so undef it first to avoid
compiler warnings.

Fix ctype use. Avoid empty loop bodies.

Fix argument range of ctype functions.

Support maintainer mode

The time stamp checks for configure and Makefile.in are sometimes problematic, so allow disabling them.

Fix test for cpio version dash fix

Merge pull request #725 from mmatuska/cpio_version

Report cpio version string with one dash only

Report cpio version string with one dash only

Libarchive 3.2.1

Add missing reference file to distribution

Fix array overflow in test suite

Fix filename spelling

Issue 719:  Refuse to allocate a too-small PPMD7 context

Other parts of the PPMD7 code assume that the dictionary is
at least UNIT_SIZE (12 bytes).  Enforce that assumption here
to avoid potential buffer under- and over-runs.

This was pointed out in a review of the original fix for Issue 719.

Issue 521:  Properly check reading from lzss decompression buffer

Prior code could be tricked into trying to copy data
from beyond the end of the internal decompression buffer.

Thanks to Hanno Böck for his ongoing fuzz-testing work with libarchive.

Issue 717:  Fix integer overflow when computing location of volume descriptor

The multiplication here defaulted to 'int' but calculations
of file positions should always use int64_t.  A simple cast
suffices to fix this since the base location is always 32 bits
for ISO, so multiplying by the sector size will never overflow
a 64-bit integer.

Issue 719:  Fix for TALOS-CAN-154

A RAR file with an invalid zero dictionary size was not being
rejected, leading to a zero-sized allocation for the dictionary
storage which was then overwritten during the dictionary initialization.

Thanks to the Open Source and Threat Intelligence project at Cisco for
reporting this.

Issue #718: Fix TALOS-CAN-152

If a 7-Zip archive declares a rediculously large number of substreams,
it can overflow an internal counter, leading a subsequent memory
allocation to be too small for the substream data.

Thanks to the Open Source and Threat Intelligence project at Cisco
for reporting this issue.

Issue 553: Fix broken decryption for ZIP files.

Sometimes, decompressing was failing due to miscalculation of buffer
offsets, and hence causing a silent buffer overflow.

When a previous chunk decompression left some bytes in the decryption
buffer, it was not taken into account in determining space left in the
decompression buffer.

So, it could happen, that the decryption buffer is completely full,
but some bytes are not used yet. In such case, even though the buffer
is full, the code tried to decrypt more bytes behind it's boundary.

This CL resolves this issue by properly calculating the amount of
space left in the decompression buffer.

(This is an edited version of Tomasz Mikolajewski's pull request.)

Merge pull request #716 from Tarsnap/remove-dead-code

Remove dead code in archive_entry_xattr_add_entry()

Remove dead code in archive_entry_xattr_add_entry()

The code seems to be walking through the linked list beginning at
entry->xattr_head, but then it immediately sets xp to be something different.

This is 10-year old code; it was added in the first "POSIX.1e-style Extended
Attribute support" commit, on March 21 2006:
https://svnweb.freebsd.org/base/head/lib/libarchive/archive_entry.c?annotate=156961&pathrev=156961#l1387

Merge pull request #715 from mfont-ws/fix_archive_read_support_format_mtree.c_1388_11

Fix libarchive/archive_read_support_format_mtree.c:1388:11: error: ar…

Fix libarchive/archive_read_support_format_mtree.c:1388:11: error: array subscript is above array bounds

Merge pull request #714 from finetjul/support-extended-path-in-permissive_name_w

Do not preppend \\?\ if it is already there

Do not preppend \\?\ if it is already there

If GetCurrentDirectory() returns \\?\C\a\path or
\\?\UNC\server\a\path, then adding \\?\ would not work.

Merge pull request #713 from abhinav-upadhyay/fix-man-page

Remove .Pp before .Bl

Remove .Pp before .Bl

Merge pull request #603 from Tarsnap/add-entry-allocation-failure-error-xattr

Add entry allocation failure error xattr

Fix the broken test name

Merge pull request #712 from maxinbjohn/master

configure.ac: check acl/libacl.h and sys/acl.h based on requirement

Makefile.am: Remove non-existing file

Fixes this build error:

CC       libarchive/archive_write_set_format_gnutar.lo
make[1]: *** No rule to make target
'libarchive/archive_write_set_format_gnutar_filenames.c', needed by
'libarchive/archive_write_set_format_gnutar_filenames.lo'.  Stop.
make[1]: Leaving directory '/home/maxin/clone/libarchive'
Makefile:2866: recipe for target 'all' failed
make: *** [all] Error 2

Signed-off-by: Maxin B. John <maxin.john@intel.com>

configure.ac: check acl/libacl.h and sys/acl.h based on requirement

acl/libacl.h and sys/acl.h check should not happen when we explicitly
disable it with --disable-acl.

Similarly, update attr/xattr.h for --disable-xattr option.

Update the help texts to reflect what it really does.

Signed-off-by: Maxin B. John <maxin.john@intel.com>

Issue 657: Allow up to 8k for the test root directory name

Issue 682: Correctly write gnutar filenames of exactly 512 bytes

Previous code omitted the final zero byte for filenames and
linknames.  This is usually okay since the final block is
padded with zero bytes, but if the filename exactly filled
the block, there would be no zero byte.

Issue 708: tar should fail if a named input file is missing

Tar was exiting with success if an input file named on the command
line was not present.

Includes tests for both bsdtar and bsdcpio to ensure this does
not regress.

Issue 711:  Be more careful about verifying filename lengths when writing ISO9660 archives

* Don't cast size_t to int, since this can lead to overflow
  on machines where sizeof(int) < sizeof(size_t)
* Check a + b > limit by writing it as
    a > limit || b > limit || a + b > limit
  to avoid problems when a + b wraps around.

Typo

Add short description of the manpage.

Fix man page syntax to include a description.

Merge pull request #709 from mmatuska/bsdcpio_passthrough

Disable ARCHIVE_EXTRACT_SECURE_NOABSOLUTEPATHS in bsdcpio p mode

Disable ARCHIVE_EXTRACT_SECURE_NOABSOLUTEPATHS in bsdcpio p mode

Reject cpio symlinks that exceed 1MB