Fixes for VS2012 Compile

Updated includes in bsdtar_windows.h to bring in _setmode and _O_BINARY via io.h and fcntl.h
Explicitly cast a few void * to their structs to suppress Intellisense warnings
Moved variable in read_archive - VS2012 needs variables declared at the top of the block (does not support C99)

Fixes for VS2012 Compile

Fixes for VS2012 Compile

Added headers needed when compiling in Win32 without Cygwin
Some pointers needed to be explicitly cast
VS had a lot of trouble with storing the result of
archive_entry_pathname in a local variable
The only way I could get it to compile was to call the function twice

More wording changes

Expand CONTRIBUTING

Fix markdown typos

Merge branch 'master' of github.com:libarchive/libarchive

Add a CONTRIBUTING file.  Github shows a link to this in the Issues tracker.

Merge pull request #108 from maksqwe/zip_encryption

Fix check for ZIP_ENTRY_FLAG_ENCRYPTED

Update iconv.m4

Reword this warning message.

Nudge the Zip64 cutoff a little higher.

A simple test (feeding /dev/random through gzip) suggests
that deflate will only expand the data by 0.03% in the worst case.
So allow a 0.4% margin instead of the 6.25% I had here earlier.

Github Issue #522: Detect cycles in the ISO directory tree

Issue #522: Dir loop in malformed ISO causes segfault

Github Issue #522 revealed that we could blow the stack
when recursing to assemble ISO paths.  I saw this happen
at 130,000 dir levels.  This patch addresses this by limiting
the directory recursion to 1,000 elements.

TODO:  It would be even better to track and detect the dir loop
directly.

Select Zip64 extensions a little more aggressively.

 * Compressed files close to 4GiB (in case compression makes file larger)

 * Include encryption overhead when checking whether file is too big.

 * Clarify comments

Suggested by a conversation on info-zip-dev mailing list.

Merge pull request #112 from ngladitz/gnutar-large-id

Fall back to base-256 encoding for UID/GID like GNU tar does.

README: Update issue tracker link to refer to GitHub issues

Also mention this in the NEWS file.

INSTALL: Update Wiki link to refer to GitHub wiki

Fall back to base-256 encoding for UID/GID like GNU tar does.

Merge pull request #111 from andreasstieger/xattr

Fix a subtle wrong library check that caused libarchive to depend on lib...

Fix a subtle wrong library check that caused libarchive to depend on libattr when it should be using glibc.

If lzma_cputhreads() is unavailable, default the number of threads to 1.

Merge pull request #101 from chenxiaolong/install

Allow library installation to be disabled in CMake

Merge pull request #107 from rpaulo/master

libarchive: use lzma_stream_encoder_mt() if it's available.

Merge pull request #110 from ghedo/traversal

Fix directory traversal in bsdcpio

Add ARCHIVE_EXTRACT_SECURE_NOABSOLUTEPATHS option

This fixes a directory traversal in the cpio tool.

Issue 270:  Correct spelling of 'archive_write_header'

Split out the compiler flags to make it easier to adjust locally.

Read_open_memory does not alter the data passed to it, so should accept const void * arguments

Issue 410: Segfault on invalid rar archive

Libarchive's API passes a void ** which is set by the format
to the address of the entry data that was just read.

In one particular case, the RAR decompression logic uses a
non-NULL value here to indicate that the internal 128k decompression
buffer has been filled.  But the RAR code took no steps to ensure
that the value was set NULL on entry.  As a result, a crafted RAR
file can trick libarchive into returning to the caller a 128k block
of data starting at whatever value was previously in the caller's
variable.

The fix is simply to set *buff = NULL on entry to the RAR
decompression logic.

Remove mentions of a required signature.  This was added
by libarchive but never caught on with other mtree implementations.

Issue 408: Fix escaped newline parsing

Issue 407: Tar reader tries to examine last character of an empty filename

Of interest:  While working on this, I noted that we have
an existing test for tar files with empty filenames.
That test asserts that the correct behavior here is for the
format handler to return the entry with the empty filename
and a status of ARCHIVE_OK.  Clients need to be robust against
empty filenames.

Issue 412: Use uint64_t throughout for file sizes

Issue 412: Be more careful about symlink length before trying to read it

Issue 412: Visual Studio 2008 does not support C99

xz: add the xz:threads option.

It's now possible to chose the number of threads used by the lzma
multi-threaded compressor using tar ... --xz --option xz:threads=N where
N is the number of threads.  When N is 0, it will create threads based
on the number of CPUs (following the xz(1) model).

CMakeLists.txt: Make libxml2 and expat optional

Issue 409: archive_read_extract object leaked

Register the cleanup function for the object at the point
where the object is actually allocated to ensure that
it always gets cleaned up.

Fix check for ZIP_ENTRY_FLAG_ENCRYPTED

"zip->entry_flags | ZIP_ENTRY_FLAG_ENCRYPTED" is always true.

libarchive: use lzma_stream_encoder_mt() if it's available.

This is the multi-threaded stream encoder version of lzma that brings
significant speed improvements.  libarchive is using all the available
threads when lzma_stream_encoder_mt() is present.

Issue 405: segfault on malformed 7z archive

Reject a couple of nonsensical cases.

Issue 406: Segfault on malformed Zip archive

Issue here was reading a size field as a signed number
and then using that as an offset.  Fixed by correctly
masking the size value to an unsigned result.

Includes test based on the archive provided in the issue report.

A correct fix for Issue 404: Read past end of string parsing fflags

The previous fix actually broke the fflag parsing.  We
cannot use strcmp() here because we're comparing a null-terminated
string to a part of another string.

This fix explicitly tracks the various string lengths and
checks that they match before calling memcmp() or wmemcmp().
That avoids any buffer overrun without breaking the parser.

Issue 402: Failed to recognize empty dir name in lha/lzh file

When parsing a directory name, we checked for the name
length being zero, but not for the first byte being a
null byte.  Add a similar check for the file case.

Correct the spelling of 'wcscmp'.

Issue 404: Read past end of string parsing fflags

Issue 403: Buffer underflow parsing 'ar' header

While pruning trailing text from ar filenames, we did not
check for an empty filename.  This results in reading the byte
before the filename on the stack.

While here, change a number of ar format issues from WARN to FATAL.
It's better to abort on a damaged file than risk reading garbage.
No doubt, this will require additional tuning in the future.

Issue 400: Crash reading malformed compress (.Z) input

The KwKwK case can never validly appear as the first token
after a reset.

Thanks to the afl-gcc folks for finding this.

Issue 398: Overlapping memcpy

Some of the pathname edits parse a part of the pathname
in the entry, then try to set the pathname from that part.
This leads the text routines to memcpy() from within the
string buffer.

Avoid this by simply using memmove() for low-level string append
operations.

Issues 396, 397: Ignore entries with empty filenames.

Bugs in the rar and cab readers lead to returning entries
with empty filenames.  Make bsdtar resistant to this.

Of course, we should also fix the rar and cab
readers to handle these cases correctly and either
return correctly-populated entries or fail cleanly.

Set a proper error message if we hit end-of-file when
trying to read a cpio header.

Suggested by Issue #395, although the actual problem there
seems to have been the same as Issue #394.

Merge pull request #104 from snarkmaster/improve_skips

Do not request 0-length skips; sanity-check return.

Do not request 0-length skips; sanity-check return.

I noticed that my skip callback was always being invoked with a request of
0.  This is a bit wasteful since skip callbacks commonly involve a syscall
like lseek().

Also, it seems good to error out when the skip callback is buggy, and claims
to skip more than requested.

Test Plan:

```
autoreconf -ivf && ./configure && make && make check
```

The same tests fail as before, with the same error messages. If interested,
both failure logs are here:

https://github.com/snarkmaster/libarchive/commit/00c9751cde6cc888fb844b7a1fcc0f82dbaaedb1

These are on Ubuntu 14.04.

Add a check to archive_read_filter_consume to reject any
attempts to move the file pointer by a negative amount.

Note:  Either this or commit 3865cf2 provides a fix for
Issue 394.

Issue 394: Segfault when reading malformed old-style cpio archives

Root cause here was an implicit cast that resulted in
reading very large file sizes as negative numbers.

Extend the fuzz test to fuzz more bytes in small files;
add the sample cpio_bin_le file to the test.

Duplicate the cpio_bin_be test to build a basic cpio_bin_le test.

Merge pull request #103 from sevan/patch-1

Update tar.5

Update tar.5

Joerg Shilling's star is CDDL with some components in GPL (autoconf files) (see COPYING file in star source archive)

A couple of stray files that should be cleaned by the clean script.

Missing .El at end of list.

Skip the --lz4 test if libarchive was compiled without the library
and this platform does not have an lz4 executable.

It seems there should be a better way to handle this.... <sigh>

Expand verbose output with -x.

After this change:
  -xvv emits the detailed format used by -tv.
  -xv uses the SUSv2 format.
  -x without -v doesn't emit anything.

Force binary output when extracting to stdout on Windows.

Merge branch 'master' of github.com:libarchive/libarchive

Allow library installation to be disabled in CMake

Merge pull request #97 from alkino/master

Add a support for utf-8 in archive_entry fields

Merge pull request #83 from kjk/master

speed up new_node() by reallocating more than one node at a time

Merge pull request #99 from sikoragmbh/fix-windows-includes

fix capitalized windows includes

Merge pull request #98 from sikoragmbh/master

Fix CMake CMP0054 warnings

Merge pull request #100 from jcfr/fix-cmp0054-warnings

Fix warnings for CMake Policy CMP0054

Fix warnings for CMake Policy CMP0054

This commit ensures the variables CMAKE_C_COMPILER_ID and
CMAKE_C_COMPILER_ID will always be interpreted by removing
the double quotes.

It fixes warnings like this one:

CMake Warning (dev) at CMakeLists.txt:91 (IF):
  Policy CMP0054 is not set: Only interpret if() arguments as variables or
  keywords when unquoted.  Run "cmake --help-policy CMP0054" for policy
  details.  Use the cmake_policy command to set the policy and suppress this
  warning.

  Quoted variables like "CMAKE_C_COMPILER_ID" will no longer be dereferenced
  when the policy is set to NEW.  Since the policy is not set the OLD
  behavior will be used.
This warning is for project developers.  Use -Wno-dev to suppress it.

fix capitalized windows includes

fix CMake CMP0054 warnings

Fix a potential crash issue discovered by Alexander Cherepanov:

It seems bsdtar automatically handles stacked compression. This is a
nice feature but it could be problematic when it's completely
unlimited.  Most clearly it's illustrated with quines:

$ curl -sRO http://www.maximumcompression.com/selfgz.gz
$ (ulimit -v 10000000 && bsdtar -tvf selfgz.gz)
bsdtar: Error opening archive: Can't allocate data for gzip decompression

Without ulimit, bsdtar will eat all available memory. This could also
be a problem for other applications using libarchive.

Issue #131: Implement tar --no-xattr

This option suppresses both archiving and
restoring xattrs.  The latter relies on existing
machinery; for the former, I've added a
ARCHIVE_READDISK_NO_XATTR flag to archive_read_disk.

Caveat: I've not implemented any tests for these new features.

Issue 327:  tar should accept zero-sized exclude files with -X

Key problem:  We were using archive_read_format_raw() to read
the exclude file which does not accept empty files.
Enabling archive_read_format_empty() and reworking the
end-of-input handling fixed this.

Also add a test for this case to prevent it from regressing.

Pass the correct pointer when checking the Zip64 end-of-central-directory
locator.

This fixes a bug introduced in 94bab9f when I reworked the
EOCD scan.

Issue 379: Zip containing another Zip misparsed

The revised code now scans backwards from the end
of the file to ensure we always pick the last end-of-central-directory
record in case there is more than one.

Issue 379: Zip containing another Zip is misparsed

Fix typos in archive_pathmatch logic.

This was explored in pull request #78 by github user maksqwe.
After considering the alternatives, I think the existing
behavior was correct (but the comments were wrong and there was
extraneous code).  Extended tests to cover this case and some
other cases that were not fully exercised.

Merge branch 'vlovich-patch-1'

Merge branch 'patch-1' of https://github.com/vlovich/libarchive into vlovich-patch-1

Conflicts:
libarchive/archive_write_set_format_zip.c

This was originally submitted as:
   https://github.com/libarchive/libarchive/pull/84

I've made the following corrections:
   * Added a new variable for the deflate compression level (the submitted patch mis-used the requested_compression variable)
   * Extended the Zip store format test to also verify correct results with compression-level=0

TODO: This really needs a new test to exercises non-zero compression-level options.

Merge pull request #96 from trevd/master

Add Android AOSP Build System Makefile fragments and config files

Use binary mode when opening files.

Add Android AOSP Build System Makefile fragments and config files

add def guard for S_IRGRP which is defined in the AndroidConfig.h
system header

Add a support for utf-8 in archive_entry fields

Merge pull request #94 from DimitryAndric/master

Fix time_t related warning from clang 3.5 in cpio/cpio.c

Fix the following -Werror warning from clang 3.5.0, while building cpio.c on amd64 (or any arch with 64-bit time_t):

libarchive/cpio/cpio.c:1143:6: error: absolute value function 'abs' given an argument of type 'long' but has parameter of type 'int' which may cause truncation of value [-Werror,-Wabsolute-value]
        if (abs(mtime - now) > (365/2)*86400)
            ^
libarchive/cpio/cpio.c:1143:6: note: use function 'labs' instead
        if (abs(mtime - now) > (365/2)*86400)
            ^~~
            labs
1 error generated.

This is because time_t is a long on amd64. To avoid the warning, just copy the equivalent test from a few lines before, which is used in the Windows case, and which is type safe.

Obtained from: https://reviews.freebsd.org/D1198

Issue 382: Move variables to top of function for non-C99 compilers.

This should address an issue compiling with older versions
of Visual Studio.

Fix handling of leading slashes for hardlinks

Fix a lack of definitions for OpenSSL library on CMake build system.

Fix build failure without cryptography library.

Fix build failure with gcc.

Fix CMake warnings on Mac OS X.

Avoid CMake Warning that used GET_TARGET_PROPERTY with LOCATION property,
so we should use $<TARGET_FILE> expression instead.

Merge pull request #85 from purpleKarrot/master

Fix int32_t in config.h.in

Use archive_random() function instead of rand() function.

Fix test failure without zlib.

Fix build failure without zlib.