Dynamically determine supported compiler flags during configure

Some compilers (e.g., `xlc` on AIX) don't support GCC compiler flags.
This change dynamically tests for supported `COMMON_FLAGS`, which get
appended to `CFLAGS`.

Signed-off-by: Eric N. Vander Weele <ericvw@gmail.com>

Update MSDOS file attribute test

Issue 422:  Add archive_xxx_version() calls so tests can more accurately query libarchive support

Rework some of the Zip, Cab, and LZ4 tests to use these
to determine what behavior they should expect.

Merge pull request #668 from dosomder/android-compile

Add api level check for android config

Add api level check for android config

Some features are only included since api level 21

Merge pull request #666 from dosomder/android-compile

Fix compiling for android

Add ST_MTIME_NSEC case to archive_entry_copy_stat

Android uses st_mtime_nsec

Fix android intmax compiler warnings

Merge pull request #645 from andrewgregory/check_symlinks

fix check_symlinks

add test for SECURE_SYMLINKS with absolute path

Skip root directory symlink check

The first time check_symlinks is called on an absolute path it will use
the entry pathname directly, blanking the leading slash.  This leads to
calling lstat on an empty string, which returns ENOENT, terminating the
loop early and falsely marking the path as safe.

add test for SECURE_SYMLINKS for first child

Restore modified path after lstat

check_symlinks is intended to check each component of a path, but failed
to restore the stripped trailing components after each iteration,
leaving a NUL byte in the middle of the path.

Fix for issue #623.

Apparently, people have come to expect that the following
is sufficient to get bit-for-bit identical output from tar:
   * Same filenames
   * Same contents
   * Same uid, gid
   * Same mtime (forced via "touch -t <timestamp>")
   * Sorting entries

Bsdtar's "restricted pax" format violated this by including
ctime, atime, and birthtime (which are not updated by
'touch -t).  So we should only emit those additional time
values in the full pax format.

People who are really serious about generating bit-for-bit
identical archives should really build their own command-line
interface: You can still use libarchive to build the output,
but your custom CLI could sort the entries and strip everything
except a bare minimum of basic metadata.

Clarify the limit on number of filters

Fix globbing error

Update NEWS with highlights from last two years of work

Minor adjustments to DEBUG messages

Issue #659:  Fix xar parsing of archives with appleextended ACLs

The parser treated the <appleextended> tag as both known and
unknown, leaving the parser in a state that prevented it
from reading any further attributes.  Depending on the
order of attributes, this could result in a file with no
name, for instance.

Merge pull request #650 from cinience/master

Update the remaining calls to __archive_write_program_allocate to include the new parameter.

Fix bug for __archive_write_program_allocate

Fix bug for __archive_write_program_allocate

Set version number to 3.1.900a

Read very large RAR headers incrementally

Formerly, libarchive tried to read the entire header into
memory at once, which created problems for malformed RAR
files with 4GB header sizes.  This was causing occasional
crashes of the test suite on memory-limited systems.

Rework LZ4 option tests to work with various implementations of posix_spawnp

Update lz4 test to watch for the reworded error messages

Improve error messages by including the name of the external program being used

Bring along a trailing null when guessing the path to the program under test

Clarify error messages when using external compression programs

Fix LZ4 tests when liblz4 is not present

Track changes in the lz4 command-line tool

Really sync up the test harnesses

Fix two broken UU files

Sync up the test harnesses; add error checks to the UUdecode utility

Fix test on systems without zlib

Update the version string correctly

Fix cmake tests for nettle and OpenSSL support

Merge branch 'master' of github.com:libarchive/libarchive

Fix nettle library probe

 = Only use it if we can find the library *and* the headers
 = When probing the library, try to link a function that's
   actually in the library (not 'main')

Merge pull request #644 from hinrichsenhans/vs2015

Visual Studio 2015 Changes

Visual Studio 2015 Changes

snprintf shouldn't be defined in a macro in VS2015 and above due to its C99 changes

Include missing reference files for tests

Include overlooked header file in distro

Remove Zip UTF8 tests from build

Remove Zip UTF8 tests from master.

Ongoing work on Zip UTF8 support is occurring in the 'utf8' branch.

Mention V7, a few wording tweaks

Remove an extraneous .El

Document the 'v7' tar format support.

Merge pull request #638 from hinrichsenhans/test_leading_slash_fix

Test leading slash fix

Merge pull request #641 from watercrossing/fixShadowTime

Fix `time` shadowing in archive_write_set_format_warc.c

Fix `time` shadowing in archive_write_set_format_warc.c

test_leading_slash compatibility with Windows

Add '.exe' to the binary name to ensure the text matching works

Merge pull request #634 from scfarley/master

Apply global flag in substitution

Apply global flag in substitution

Add loop to move through a path name looking for additional matches if
the global flag is provided for a substitution.  The loop breaks when no
more matches are found for the rule.  Previously, the global flag would
end up advancing to the next rule instead of searching farther into the
path for another match.

Merge pull request #607 from betafive/pbarker/issue578

Issue 578: Close temp_fd in 7zip and xar writers

Issue #631:  Move 'r' into an inner scope to fix shadowing

Merge pull request #1 from libarchive/master

Updating with current libarchive development

Merge pull request #628 from obache/neatsrc/issue-627

Ensure to declare UINTMAX_MAX, INTMAX_MAX and INTMAX_MIN

Ensure to declare UINTMAX_MAX, INTMAX_MAX and INTMAX_MIN

Fix typo

Add in two missing test cases.

Rework to avoid some C99-isms.  <sigh>

Use CommonCrypto APIs on OS X only when available

Use each CommonCrypto API only when using an OS X SDK version new enough
to provide it.

Do not use pthread.h API without header

Define O_CLOEXEC when missing in archive_random.c

We do this several other sources already.

Forward declare __archive_get_date in a dedicated internal header

Avoid repeating the signature declaration in every source that uses it.
While at it, constify internal __archive_get_date implementation to
keep signatures consistent.

Use macros for ZIP format integer constants

Define ZIP_4GB_MAX and ZIP_4GB_MAX_UNCOMPRESSED macros to hold the "LL"
integer literals.  This improves readability and improves portability of
the integer literals.

Invert logic of ternary pointer checks

A PGI compiler warning is triggered by expressions like

  ptr == NULL ? NULL : ptr

that the PGI compiler handles incorrectly.  It chooses the pointer type
of the first option (void*) and warns about conversion of the second
without a cast.  Flip the expression logic to

  ptr != NULL ? ptr : NULL

to help the compiler choose the proper result type.

Improve readability of ternary expression checking for empty string

In expressions of the form

    m != NULL && m[0] == '\0' ? NULL : m

the goal is to get a `NULL` pointer if `m` is either `NULL` or an empty
string.  This is not clear because in the `m == NULL` case we use the
`m` side to get `NULL` instead of an explicit `NULL`.  Clarify the
intent by using the form

    (m != NULL && m[0] != '\0') ? m : NULL;

instead.

Guard inclusion of bcrypt.h with HAVE_BCRYPT_H

We already use this guard everywhere except one inclusion.

Improve argument names of xmemmem

AIX system headers define the symbol 'hz' as a preprocessor macro.
Rename the arguments to avoid this name and be more readable.

Suggested-by: Joerg Sonnenberger

Avoid non-portable u_int8_t

Use uint8_t that we prepare in config.h instead.

Avoid trailing `,` in enum for ISO C90 compatiblity

Workaround missing byte swap symbol on VS 7.1 Debug builds

The VS 7.1 MS C Debug runtime library does not export _byteswap_ushort.

Port main library code to OSF operating system

Add preprocessor conditionals using '__osf__' as needed to build the
main library.  Do not try to port the tests or executables yet.

Update 'inline' portability for old IBM and Sun compilers

Avoid using 'uint8_t' as bitfield type

The IBM XL compiler does not like it.  Use plain 'unsigned' instead.

Avoid using name 'u_long'

The system headers on some platforms define a 'u_long' type so we cannot
use the name.  Spell out 'unsigned long' instead.

Avoid left-shift overflow of signed integer

In libarchive/archive_write_set_format_zip.c there are two calls to
archive_le32enc whose second argument is of the form

 archive_entry_mode(zip->entry) << 16

However, the return type from archive_entry_mode may be a signed integer
so the shift may overflow.  Since the second argument of archive_le32enc
expects uint32_t anyway, simply cast to that prior to shifting.

Fix typo in archive_write_add_filter_lzop.c comment

Fix typo in archive_write_set_format_mtree.c comment

Fix typo in archive_write_set_options.3

Define ARCHIVE_VERSION_NUMBER before first use

These tests only run on Mac; put all the code behind conditionals.

It seems we can no longer rely on getting WARN back when
character-set conversion is inexact.  Change this test to
reflect the current realities.

Don't try to be smart about probing the min/max tim_t values.
Just assume that a signed time_t is really a 64-bit or 32-bit integer.

If 7zip is not supported, skip the encryption detection test.

When comparing ACLs for these tests, ignore 'Guest' account
information that may vary between machines.

Merge pull request #608 from Tarsnap/fix-automake-whitespace

Fix trailing whitespace in Makefile.am

Fix trailing whitespace in Makefile.am

Previously, running the build process gave a warning:

$ sh build/autogen.sh
...
Makefile.am:356: warning: whitespace following trailing backslash
...

This removes that warning.

Issue 578: Close temp_fd in 7zip and xar writers

The ISO9660 writer uses a temp_fd and closes it in the archive_free handler. The
same logic is added to the archive_free handlers for the 7zip and xar writers.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #606 from betafive/pbarker/minitar

Cleanup error message printing in minitar example

Cleanup error message printing in minitar example

* An error message should not be printed if EOF is reached in copy_data. However
  an error message should be printed if any other error is encountered.

* A newline should be printed in extract if an error message was printed.

* If a file name is printed in extract (verbose operation) it should be followed
  by a space incase there is an error message.

Signed-off-by: Paul Barker <paul@paulbarker.me.uk>

Merge pull request #601 from Tarsnap/strdup-allocation-failure-check

Check for strdup() allocation failure

Check for strdup() allocation failure

Sponsored by: Tarsnap Backup Inc.

Rework the la_ssize_t and la_int64_t definitions to avoid
redefining la_int64_t if both archive.h and archive_entry.h are
included.  (This avoids a warning from clang that redefining
a typedef is a C11 feature.)

Merge pull request #599 from Tarsnap/add-missing-tests-to-automake

add missing tests to automake

Merge pull request #596 from Tarsnap/warn-hardlink-target-failure

Warn if target of hard-link is not present

Add test for #595 "warn missing hardlink target"

Warn if target of hard-link is not present

To reproduce,

        touch a
        ln a b
        ./bsdtar -c -f warn-hard-links.tar a b
        rm a b
        ./bsdtar -x -f warn-hard-links.tar b

should produce a warning message about failing to create 'b' because the
hard-link target 'a' does not exist.  Previously, it did not give any hints
about why 'b' could not be created.