Store encryption info in single char of entry

Instead of two chars the information about encryption is now stored in
one single char inside of an archive_entry struct.

Detect encrypted archive entries (ZIP, RAR, 7Zip)

With this change you can detect if an archive entry is encrypted. The
archive formats covered with this change are: ZIP, RAR, and 7zip. Other
formats can be added quite simply by looking at the already supported
formats. For all the already supported formats we have tests that check
if:

* an archive entries's data is encryped (data test)
* an archive entries's metadata is encrypted (header test)
* one file is encrypted while another is not (partially test)

These new functions are introduced.

int archive_read_format_capabilities(struct archive*)

Returns a bitmask of capabilities that are supported by the archive
format reader. If the reader has no special capabilities,
ARCHIVE_READ_FORMAT_CAPS_NONE is returned; otherwise 0 is returned.

You can call this function even before reading the first header from
an archive.

Return Values:
* ARCHIVE_READ_FORMAT_CAPS_ENCRYPT_DATA
The reader supports detection of encrypted data.
* ARCHIVE_READ_FORMAT_CAPS_ENCRYPT_METADATA
The reader supports detection of encrypted metadata (e.g.
filename, modification time, size, etc.)
* ARCHIVE_READ_FORMAT_CAPS_NONE
None of the above capabilities. If this value is returned, this
doesn't mean that the format itself doesn't support any type of
encryption it simply means that the reader is not capable of
detecting it.

int archive_read_has_encrypted_entries(struct archive *)

Returns "true" (non-zero) if the archive contains at least one
encrypted entry, no matter which encryption type (data or metadata)
is used; otherwise 0 is returned.

You should only call this function after reading the first header
from an archive.

NOTE: I'm not sure that this function will stay in for long.

int archive_entry_is_data_encrypted(struct archive_entry*)

Returns "true" (non-zero) if the archive entry's data is encrypted;
otherwise 0 is returned. You can call this function after calling
archive_read_next_header().

int archive_entry_is_metadata_encrypted(struct archive_entry*)

Returns "true" (non-zero) if the archive entry's metadata is
encrypted; otherwise 0 is returned. You can call this function after
calling archive_read_next_header().

int archive_entry_is_encrypted(struct archive_entry*)

Returns "true" (non-zero) if either the archive entry's data and/or
it's metadata is encrypted; otherwise 0 is returned. You can call
this function after calling archive_read_next_header().

If you use archive_read_format_capabilities() in combination with one of
the archive_entry_is_[data|metadata]_encrypted() functions, you can be
sure that you've encountered an encrypted entry. This allows you to
react differently depending on libarchive's return codes. For instance,
you might want to skip encrypted files from being extracted until
decryption support has been implemented.

Here's how I generated the 7zip test files:
-------------------------------------------

With header encrpytion (-mhe=on):

    $ rm -f test_read_format_7zip_encryption_header.7z
    $ echo "foo" > bar.txt && 7z a -mhe=on -p12345678 \
    test_read_format_7zip_encryption_header.7z bar.txt

    $ uuencode test_read_format_7zip_encryption_header.7z \
    test_read_format_7zip_encryption_header.7z > \
    test_read_format_7zip_encryption_header.7z.uu

Without header encrpytion (-mhe=off):

    $ rm -f test_read_format_7zip_encryption.7z
    $ echo "foo" > bar.txt && 7z a -mhe=off -p12345678 \
    test_read_format_7zip_encryption.7z bar.txt

    $ uuencode test_read_format_7zip_encryption.7z \
    test_read_format_7zip_encryption.7z > \
    test_read_format_7zip_encryption.7z.uu

Partially encrypted archive:

$ rm -f test_read_format_7zip_encryption_partially.7z
$ echo "foo" > bar_unencrypted.txt && 7z a \
test_read_format_7zip_encryption_partially.7z bar_unencrypted.txt
$ echo "foo" > bar_encrypted.txt && 7z a -mhe=off -p12345678 \
test_read_format_7zip_encryption_partially.7z bar_encrypted.txt

$ uuencode test_read_format_7zip_encryption_partially.7z \
test_read_format_7zip_encryption_partially.7z > \
test_read_format_7zip_encryption_partially.7z.uu

Here's how I generated the RAR test files:
------------------------------------------

These are the files we can will add to the archives:

    echo "data of foo.txt" > foo.txt
    echo "data of bar.txt" > bar.txt

 With header encrpytion (-hp):

    rm -f test_read_format_rar_encryption_header.rar
    rar a -hp12345678 test_read_format_rar_encryption_header.rar \
    foo.txt bar.txt

    uuencode test_read_format_rar_encryption_header.rar \
    test_read_format_rar_encryption_header.rar > \
    test_read_format_rar_encryption_header.rar.uu

Without header encrpytion (-p):

    rm -f test_read_format_rar_encryption_data.rar
    rar a -p12345678 test_read_format_rar_encryption_data.rar \
    foo.txt bar.txt

    uuencode test_read_format_rar_encryption_data.rar \
    test_read_format_rar_encryption_data.rar > \
    test_read_format_rar_encryption_data.rar.uu

Partially encrypted archive (-p on "foo.txt" and no password on "bar.txt"):

    rm -f test_read_format_rar_encryption_partially.rar
    rar a -p12345678 test_read_format_rar_encryption_partially.rar foo.txt
    rar a test_read_format_rar_encryption_partially.rar bar.txt

    uuencode test_read_format_rar_encryption_partially.rar \
    test_read_format_rar_encryption_partially.rar > \
    test_read_format_rar_encryption_partially.rar.uu

Here's how I generated the ZIP test files:
------------------------------------------

This is how I've created the test files:

These are the files we will add to the archives:
  On Windows:
    echo "data of foo.txt" > foo.txt
    echo "data of bar.txt" > bar.txt

For the creation of the Zip archives I've used the
PKZIP Command Line Add-On available from here:

http://comm.pkware.com/pkzip-cli-download.html

With header (aka central directory) encrpytion (-cd):

  On Windows:
    del /F test_read_format_zip_encryption_header.zip
    pkzipc.exe -add -cryptalgorithm=AES,256 -passphrase=12345678 -cd test_read_format_zip_encryption_header.zip foo.txt bar.txt

  On Linux:
    uuencode test_read_format_zip_encryption_header.zip \
    test_read_format_zip_encryption_header.zip > \
    test_read_format_zip_encryption_header.zip.uu

Without header encrpytion:

  On Windows:
    del /F test_read_format_zip_encryption_data.zip
    pkzipc.exe -add -cryptalgorithm=AES,256 -passphrase=12345678 test_read_format_zip_encryption_data.zip foo.txt bar.txt

  On Linux:
    uuencode test_read_format_zip_encryption_data.zip \
    test_read_format_zip_encryption_data.zip > \
    test_read_format_zip_encryption_data.zip.uu

Partially encrypted archive ("foo.txt" is encrypted and "bar.txt" is not):

  On Windows:
    del /F test_read_format_zip_encryption_partially.zip
    pkzipc.exe -add -cryptalgorithm=AES,256 -passphrase=12345678 test_read_format_zip_encryption_partially.zip foo.txt
    pkzipc.exe -add test_read_format_zip_encryption_partially.zip bar.txt

  On Linux:
    uuencode test_read_format_zip_encryption_partially.zip \
    test_read_format_zip_encryption_partially.zip > \
    test_read_format_zip_encryption_partially.zip.uu

Use correct variable types for ASCII Windows functions.

There are both an ASCII and an Unicode variant for most of the Win32 API.
Fix some inconsistent uses.

Show third party library versions in version string

Add a utility function, archive_version_details, to return a string
containing the libarchive version as well as the versions of third party
libraries such as zlib, bz2lib and liblzma.  Use this function for
bsdtar --version and bsdcpio --version.

http://code.google.com/p/libarchive/issues/detail?id=118

Removed compression_method struct type

Since it was only used in one place, I've remove the struct type.

Simplified and fixed Zip compression method array

I've removed the description string element from the compression_method
struct and fixed some spelling errors (imb -> ibm).

Added all Zip compression names from 6.3.3 format

I've added all the compression names and IDs from the ".ZIP File Format
Specification" version 6.3.3  that can be found in section "4.4.5
compression method" of this document:

http://www.pkware.com/documents/casestudies/APPNOTE.TXT

Hide *lafe_progname and provide getter/setter instead.

This factorizes some code between binaries like bsdtar, bsdcpio, and
the soon-to-be mtree.

st_dev field corresponds to dev{major,minor} and not rdev{major,minor}.

Bug fix (segfault): check filename against NULL in case we want
the output to go to stdout.

Document "resdevice" and "inode".

Implement "resdevice" and "inode" in the mtree(5) spec.
- resdevice is the keyword that corresponds to the "resident" device,
e.g. the one where the entry resides;
- inode is entry's inode number.

Small typo fix in parse_device()'s description.

Start implementing the "resdevice" (resident device) keyword. It
corresponds to the st_dev field of stat(2), e.g. the ID of the
device that contains the inode.

Change parse_device() prototype so it can be used for "device"
and "resdevice", and call the appropriate archive_entry_set_{,r}dev()
function to store the field value.

Fix chown line in shardump format

Currently the chown line is written with no space before entry name.

Some more test cases around the "2 hours ago" concept.

Merge branch 'master' of github.com:libarchive/libarchive

Add the device parsing logic. It allows mtree's libarchive to
parse device entries like NetBSD's mtree and its multiple possible
format: native, 386bsd, 4bsd, bsdos, freebsd, hpux, isc, linux, netbsd,
osf1, sco, solaris, sunos, svr3, svr4, and ultrix.

Document the "device" keyword and its value.

Typo fix.

"optional" is also supported, so add it to mtree.5.

sha384 and sha512 are supported tags, add them to mtree.5.

include linux/types.h on CentOS 5 in test_sparse_basic.c

Was getting this error:

In file included from ....../libarchive-3.1.2/libarchive/test/test_sparse_basic.c:44:
/usr/include/linux/fiemap.h:15: error: expected specifier-qualifier-list before ‘__u64’
/usr/include/linux/fiemap.h:26: error: expected specifier-qualifier-list before ‘__u64’

From https://groups.google.com/forum/#!msg/libarchive-discuss/691PHz5ENOc/4OzXBevG75AJ I see that the <linux/types.h> file is not included.

This fixed the problem for me on CentOS 5.8.
It was not visible as an issue on CentOS 6.3 or Ubuntu 10 or 12.

This change did not appear to break those already functioning platforms.

Simplify passing of linker flags to try_compile calls

In commit d7bd02b6 (Modify CHECK_C_SOURCE_* checks to fix builds using
Visual Studio 12, 2013-02-01), commit e3d14342 (Set use of /SAFESEH linker
flag for all LIBARCHIVE_CHECK_C_SOURCE_* checks, 2013-02-01), and commit
58dc42aa (Fix checks for crypto algorithms in Visual Studio builds,
2013-02-01) we introduced and used custom copies of the CMake
CheckCSource(Compiles|Runs) modules in order to pass linker flags to
try_compile calls.  CMake has an issue tracker entry about passing
CMAKE_*_LINKER_FLAGS to try_compile calls:

  http://www.cmake.org/Bug/view.php?id=14066

Discussion there suggests a much simpler workaround: pass the flags
through the LDFLAGS environment variable.  Remove our custom check
macros and use the simpler workaround instead.

http://code.google.com/p/libarchive/issues/detail?id=325

Close the file handle on error.

http://code.google.com/p/libarchive/issues/detail?id=325

Simplify the method/level checks here and fix a bug.

Run code coverage on your local machine

This change introduces a new make target called "coverage" it will
compile your code using special GCC flags, run the tests, and then
generate a nice HTML output.

This new make target will only be available if you build using GCC in
Debug mode.

To build the code coverage and open it in your browser do this:

    mkdir debug
    cd debug
    cmake -DCMAKE_BUILD_TYPE=Debug -DENABLE_COVERAGE=ON ..
    make -j20
    make coverage
    xdg-open coverage/index.html

Add more files autogenerated by automake build system to .gitignore.

Use ustar format in the test_option_b test

.. because the ustar archive does not store SELinux context.  As the default
format for bsdtar is "restricted pax" (trying to store xattrs and other
things by default), the test failed on Fedora because our files have by
default SELinux context set.  This results in additional data in tested
archive ~> and the test failed because the archive was unexpectedly big:

 tar/test/test_option_b.c:41: File archive1.tar has size 3072, expected 2048

Reviewed by Konrad Kleine <konrad.wilhelm.kleine@gmail.com>

Rework the sign-extension to avoid left-shift of
an explicit negative number (which newer GCC complains about).

Updated libarchive.spec from Nikolai Lifanov.

Merge pull request #32 from bamiaux/fix_win32_exclusive_read_access

Do not require exclusive read access when reading files under windows

Merge pull request #40 from juikim/master

Do not overwrite file size if the local file header has valid file size.

Issue 314:  A tar archive containing only a single 'g' record
should be treated as a valid empty tar archive.
(Such archives are generated by 'git archive' from an empty
repository.)

http://thread.gmane.org/gmane.comp.version-control.git/220485
http://code.google.com/p/libarchive/issues/detail?id=314

Expose the generic archive_free hook

If seek fails, fail the xar read.  We should be able to do better than this.

Do not overwrite file size if the local file header has valid file size.
This allows us to extract index.xml from Apple iWork '09 format files.

Merge pull request #33 from xiw/overflow

Fix overflow checking in archive_entry_sparse_add_entry()

Limit write requests to at most INT_MAX.
This prevents a certain common programming error (passing -1 to write)
from leading to other problems deeper in the library.

Fix overflow checking in archive_entry_sparse_add_entry()

gcc will optimize the overflow check x + y < 0 (assuming x, y >= 0)
into false, since signed integer overflow is undefined behavior in C.
Use a safe precondition check instead.

Fix cmake test builds when building as a sub-project

Fix test_archive_write_add_filter_by_name_lrzip test case.
There's some bug in lrzip where small files cannot use 2nd stage
compression.
See http://ck-hack.blogspot.com/2012/03/lrzip-0612.html?showComment=1337356929450#c3154145708572533571

Allow the option to use no 2nd stage compression with lrzip.

Initialize buff to all zeros.

Fix test cases for LZO write support.
Some architectures would produce a bigger archive for compression
level 9 than with the default level, possibly due to memory
limitations.
Fixes #303

write_raw support from Marek Kubica

Merged branch 'feature/write-format-raw' of https://github.com/Leonidas-from-XIV/libarchive

Revert "Allow adding extra CFLAGS with a configure option."

This reverts commit 64b3cefbdbc0d6deef1dd3bcde890e273c323168.

Apparently, setting CFLAGS won't override the preset AM_CFLAGS
afterall. Not sure why this was giving me a problem before.

Revert "Remove unnecessary use of arguments from AC_ARG_WITH([extra-cflags])."

This reverts commit 6a917dcd1378e2a50ece9f007e79a8a5058a59cb.

Remove unnecessary use of arguments from AC_ARG_WITH([extra-cflags]).

Allow adding extra CFLAGS with a configure option.
This is a convenience option to pass in extra CFLAGS without overriding other
CFLAGS.

Fix compile warning due to -Wcast-qual.

Fix compiler warning from compiling with clang.
Assigning from a read-only variable to a regular variable will issue
a warning from clang.

Add test case for adding pathnames with no leading './' in mtree format.
libarchive should add the leading './' for such pathnames.

mtree: fix line filename length calculation.
Fixes #301.
Signed-off-by: Andres Mejia <amejia004@gmail.com>

Test correct archive in test_extract_cpio_lzo test case.

style fix

Merge pull request #38 from Leonidas-from-XIV/bugfix/optional-finish-entry

Make calls to the finish_entry callback optional

Made calls to the finish_entry callback optional

Redo the strings sorting function, allocate/free memory as needed.
This is the normal implementation of quicksort.

Add a convenience function to sort a list of strings.
This is useful for sorting a list of filepaths to
multivolume RARs for example.

Set offset to correct data type.
Fixes #282
Signed-off-by: Andres Mejia <amejia004@gmail.com>

Use correct define for libarchive version number in archive.h.
Signed-off-by: Andres Mejia <amejia004@gmail.com>

Set a default error message if message passed in is NULL.
Signed-off-by: Andres Mejia <amejia004@gmail.com>

Fix build failure of example program because of __FBSDID define.
Fixes #283
Signed-off-by: Andres Mejia <amejia004@gmail.com>

Reenable developer cflags.

Update NEWS file.

Remove developer cflags.

Bump version to 3.1.2.

Update libarchive website location.

Remove the 4th argument to CRYPTO_CHECK, it is no longer used.

Fix check for openssl on Windows.

OpenSSL libraries are named differently on Windows.

Change crypto checks, find necessary library before corresponding checks are done.
LIBS are set back to original value if all crypto checks for that implementation
fail.

Initialize buff, fix valgrind warning about use of uninitialized bytes.

Merge pull request #36 from falconindy/manpages

build-sys: install all library manpages

Cast comparison functions to __compar_fn_t if stdlib.h defines it.

Fix warnings about redefinition of variables, use either sys/xattr.h or attr/xattr.h.

Fix warning about unused variable triggered when not building on WIN32.

Model the pcre checks for the autotools build system to be similar as that used in the cmake build system.

Set WINVER default to use Windows 2000 API.

Remove redundant defines of WINVER and _WIN32_WINNT from CRYPTO_CHECK_WIN.

Defines will be added from confdefs.h which is generated while configure script executes.

Provide better check for when libpcreposix is to be used for regex support.

On Windows, if the static libraries for PCRE are to be used and the PCRE static libs were built
using the mingw toolchain, libgcc must also be linked for resolving the symbol ___chkstk_ms.

Fix pcre checks to work on visual studio builds using pcre static libraries built using mingw toolchain.

Add check for finding libgcc.

build-sys: install all library manpages

A number of manpages were curiously omitted from the installation
process, but are referred to in installed manpages. To avoid developers
spontaneously combusting, ship all available manpages.

Fix crypto check failures on Windows.

Checks will now be similar to checks done with autotools, where all defines are passed into a source file
along with the append source code to be checked. Also, once a library that support a crypto function is
found, all other checks for that crypto function will be skipped.

Correct ordering of preferred library for crypto function in mingw builds.

Partially revert commit 58dc42aaea93cd281aafaaaa4c3926c3578b7e26 as this broke mingw builds.

Update the ordering of preferred libraries that provide crypto functions.

Make sure to check for Windows crypto functions for both mingw and cygwin.

Add *.exe to .gitignore.

Fix mingw build because of bad check for libpcreposix.

Make POSIX regex checks cleaner.

Use different check for libbz2 on Windows.

Windows port of libbz2 cannot use AC_CHECK_LIB.
See https://mail.gnome.org/archives/gnumeric-list/2008-November/msg00038.html for an explanation.

Do not ignore errors when generating documentation.
This will ensure documentation is actually generated when building
release tarballs.

Use same check from cmake in autotools for POSIX regex support.

Change ordering of libraries to check for POSIX regular expression support.

New ordering is now LIBC followed by LIBREGEX followed by LIBPCREPOSIX.

Use a string option to select what library is to support POSIX regular expressions.

AUTO means choose the first suitable library

The other options are LIBPCREPOSIX, LIBC, and LIBREGEX.

Add Nettle include dir in check for nettle crypto functions.

Use cmake module similar to FindLZMA.cmake to find Nettle include dir and library.

Use a string option WINDOWS_VERSION to set WINVER and _WIN32_WINNT in Windows build.

This will allow using WINVER for VISTA and up so that crypto checks for SHA256, SHA384, and SHA512
will pass.