test_option_n.c: cover non-recursive extract/list

Testing uses only listing because extraction uses the same code
paths. Indirectly this covers also the new API call.

Some corner cases get special attention:
- archive where a file in a directory is present without the
  directory
- the error when asking to extract a directory which is not
  present

non-recursive extract and list

Sometimes it makes sense to extract or list a directory contained in
an archive without also doing the same for the content of the
directory, i.e. allowing -n (= --no-recursion) in combination with the
x and t modes.

bsdtar uses the match functionality in libarchive to track include
matches. A new libarchive API call
archive_match_set_inclusion_recursion() gets introduced to
influence the matching behavior, with the default behavior as before.

Non-recursive matching can be achieved by anchoring the path match at
both start and end. Asking for a directory which itself isn't in the
archive when in non-recursive mode is an error and handled by the
existing mechanism for tracking unused inclusion entries.

tar: add option --exclude-vcs

Fixes #999

Windows symlink bugfixes and improvements

Treat targets ending with /. and /.. as directory symlinks
Explicitly test for file and directory symlinks
Improve debug output on test failure
Fix two memory allocations

Cirrus CI: use mojave-xcode-10.2 image for macOS

Unbreak sparse file tests on the APFS file system

The hole size needs to be at least 4097*4096 bytes.
Fixes #1123

Multiple Windows-related CI changes

Add MSVC and Cygwin builds with Cirrus CI (no tests yet)
Remove Travis CI build

TODO: failing UTF8 tests with MSVC still need fixing

CI: allow to skip sparse and fuzz tests

Sparse tests don't work in a Windows container

Fix remaining MinGW tests
Enable tests on MinGW CI builds

archive_read_support_format_xar: initialize some variables

Skip appropriate zip tests if bzip2 or lzma is not compiled in

Merge pull request #1076 from uckelman-sf/fix_undef_stat

Windows compatibility: don't #undef stat and #define stat().

Fix handling of strtol() and strtoul()

Fixes #1168

Add Windows symlink support to NEWS

Fix various symlink bugs with Windows symlinks
tests: extend assertMakeSymlink with targetIsDir

Cirrus CI: add Cygwin build, MinGW build use zlib, suppress download progress

Extend unreadable directory code to Linux (O_PATH) and SunOS (O_SEARCH)

Cirrus CI: Add MinGW and split into stages

Merge pull request #1167 from RhodiumToad/parent_fixes

Fix bugs related to unreadable directories.

Update tests for platforms on which success is impossible.

If a platform lacks O_EXEC and we get a failure when starting the
traverse from within an unreadable directory, then don't score that as
a failure, since with the current code it can never succeed. But if
O_EXEC exists, the failure still counts.

Cirrus CI - support existing homebrew packages

Fix bugs related to unreadable directories.

1. Don't try to open ".." for reading as part of the process of
ascending out of an initially specified directory; it's wrong, and if
the directory is not readable it causes a spurious error.

2. If opening "." initially for reading fails, then open it for
execute instead, if O_EXEC exists. This avoids spurious and unhelpful
failures when the current directory is not readable.

Add test cases for the above.

At least the first of these issues is ancient; it was reported against
FreeBSD in 2014.

Add support for directory symlinks on Windows

Symlinks with the targets ".", ".." or with an ending slash in the
target are treated as directory symlinks on Windows.

Add basic read and write support for symbolic links on Windows

TODO: proper handling of directory symlinks

Fixes #1030

archive_entry.c: changes in file flags code
Use "undel" for FS_UNRM_FL file flag
Drop compat of UF_NOUNLINK and FS_UNRM_FL
Use "secdel" for FS_SECRM_FL and "journal-data" for FS_JOURNAL_DATA_FL

Fixes #1098

libarchive/archive_entry.c: fix typo in comment

archive_write_disk_posix: constantify file flag masks

archive_entry.c: alphabetically sort FreeBSD/MacOS file flags in comment

If not root do not try to restore SF_* file flags on FreeBSD and Mac OS

Remove FS_EXTEND_FL from Linux and UF_ARCHIVE from FreeBSD file flags

As to documentation, FS_EXTEND_FL may not be removed using chattr(1)
UF_ARCHIVE is used internally on FreeBSD ZFS

Improve and document file flag and file attribute support

Removed read-only FreeBSD fflags: snapshot

Removed read-only Linux file attributes:
FS_BTREE_FL, FS_ECOMPR_FL, FS_DIRTY_FL, FS_COMPRBLK_FL, FS_INDEX_FL,
FS_IMAGIC_FL, FS_ENCRYPT_FL, FS_HUGE_FILE_FL, FS_EA_INODE_FL,
FS_EOFBLOCKS_FL, FS_INLINE_DATA_FL

Add missing FreeBSD fflags: uarch, offline, rdonly, sparse, reparse, system

Document in code supported file flags and their mapping

Merge pull request #1083 from guischulz/windows_unc_workdir

Fix full-pathname for extraction with UNC working directory on Windows

Merge pull request #1043 from jstarks/utf8

windows: Support UTF-8 locale

Merge pull request #1101 from jcfr/fix-cmake-warning-set-cmp0074

cmake: Set CMP0074 to NEW

Merge pull request #1033 from mellery451/werror-optional

CMake: make warning-as-error optional, but retain current defaults

Merge pull request #1157 from praiskup/fix-make-dist

Fix 'make dist' to include blake2 headers

Fix 'make dist' to include blake2 headers

Fixes #1157

Understand "journal-data", "secdel" and "undel" fflags in star tar archives

Issue #1098

archive_entry.c: replace spaces with tabs, understand nouunlnk on Linux

archive_write_disk_posix: processes with CAP_CHOWN may change file owner

Fixes #1144

archive_read_disk_entry_from_file(): check for ARCHIVE_READ_DISK magic

Fixes #1143

Merge pull request #1153 from antekone/bug/zipx_fuzzing_fixes

ZIP reader: fixed 2 bugs: unlimited loop and a crash, triggered by invalid files

ZIP reader: fixed an unlimited loop in BZIP2 decompressor.

The hang was triggered on invalid zipx files that declare more data than
there actually is in the file.

This case was found by fuzzing the zipx file.

ZIP reader: fix a crash in PPMd8 decompressor.

The crash happened on invalid files which declare more data than
actually are stored in the file.

This commit contains a fix that prevents PPMd8 decompressor from
crashing, as well as relevant tests containing files that were
triggering the crash.

Merge pull request #1151 from antekone/clean_whitespaces

Whitespace reformatting in RAR5 reader, ZIP reader.

Whitespace reformatting in RAR5 reader, ZIP reader.

Changed indent of some lines from tabs to spaces (because the whole file
is using space indenting) in RAR5 reader,

Removed some superfluous space characters from end of some lines in
RAR5 reader and ZIP reader.

Travis CI Windows fixes
- MS Visual Studio: use cmake's interface to build system
- disable Windows tests (test only the build) due to timeout and fail issues

Merge pull request #1150 from antekone/bug/visual_studio_warnings

Removed cast warnings under Visual Studio

Removed cast warnings under Visual Studio

Add MS Visual Studio and MinGW tests via Travis CI
Make MS Visual Studio complain less in test_read_format_rar5.c

Merge pull request #1133 from BotellaA/master

Remove windows warnings

Merge pull request #1146 from ijanos/master

enable using libarchive from a submodule

fix dereferencing null pointer in file_new()

file_new() sets file to NULL first.
when file_new() fails, file is set to NULL if it doesn't need to be freed
so, only free when need to. otherwise would deference a null pointer.

Found this from clang's analyzer
Fixes #1140

enable using libarchive from a submodule

error_number sometime is not initialized. (#1141)

clang analyzer flagged this.

in check_symlinks_fsobj, if open() failed, the function exits without
setting a_eno and a_estr.

calling strlen() with null pointer (#1142)

clang analyzer found this issue.

other archive_mstring_copy_* has the pattern:

```
if (xxx == NULL) {
  aes->aes_set = 0;
  return (0);
}
```

archive_mstring_copy_utf8() didn't follow that pattern, so if NULL is passed in, it will call strlen(NULL).

Noticed that archive_mstring_copy_wcs_len() doesn't follow the pattern either.

Fixes #1142

archive_read_disk_posix.c: initialize delayed_errno

Merge pull request #1134 from elfring/Remove_unnecessary_checks1

Delete unnecessary checks before some function calls

Merge pull request #1135 from HadesD/patch-1

Fix find lib lzma

POSIX reader: more next_entry() fixes

- if not descending, fail if tree_current_lstat() returns ENOENT
- fix the "File removed before we read it" error message if processing multiple files at a time.

Fixes #1082

POSIX reader: do not fail when tree_current_lstat() fails due to ENOENT

Fixes #1082

Fix find lib lzma

Bug #1128: Deletion of unnecessary checks before calls of the function “archive_entry_free”

The function “archive_entry_free” is implemented in the way that only
two functions are called which tolerate the passing of null pointers.
It is therefore not needed that a function caller repeats a corresponding check.

This issue was fixed by using the software “Coccinelle 1.0.7”.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>

Bug #1128: Deletion of unnecessary checks before calls of the function “free”

The function “free” is documented in the way that no action shall occur for
a passed null pointer. It is therefore not needed that a function caller
repeats a corresponding check.
https://stackoverflow.com/questions/18775608/free-a-null-pointer-anyway-or-check-first

This issue was fixed by using the software “Coccinelle 1.0.7”.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>

Remove windows warnings

Merge pull request #1125 from antekone/bug/GH-1119

RAR5 reader: fix an invalid read and a memory leak

Remove test_compat_pax_libarchive_2x

The is determined for FreeBSD only and it doesn't work since 2015.
There is no significant need to keep this functionality, it may be
deprecated.

Reorganize CI build scripts

Remove Travis CI testing

CI build: allow BS as a shortcut for BUILD_SYSTEM variable

Cirrus CI: add Fedora 29 container test

Merge pull request #1124 from mgorny/zstd

cmake: Add ENABLE_ZSTD option

cmake: Add ENABLE_ZSTD option

Merge pull request #1121 from kulikjak/fix_mkdev

Add missing header file include

Merge pull request #1110 from antekone/zipx_support_work_3

ZIP reader: added support for XZ, LZMA, PPMD8 and BZIP2 decompression

Improve cirrus build

Merge pull request #1120 from daxtens/fixes2

Fix a 7zip crash and a ISO9660 infinite loop

Merge pull request #1116 from GeraldNDA/GeraldNDA-support-64bit-ar

Add support for the 64-bit ar format

RAR5 reader: Removed a memory leak in process_head_file

The process_head_file function was using memset() to clear the
archive_entry structure. The problem was that this structure could
contain pointers to allocated blocks of memory, and removing those
pointers with memset() resulted in a memory leak.

Switching it in favor of archive_entry_clear() effectively clears the
structure, but also releases any allocated memory blocks. This removes
the memory leak.

The commit also changes the way a temporary archive_entry instance is
being created when skipping a base block after block merge; instead of
directly creating a new instance on the stack, a constructor function
archive_entry_new() is used to ensure the new archive_entry instance is
not in an inconsistent state. This is needed because the fix described
in the first half of this commit message depends on the archive_entry
instance being in a consistent state due to the call of the
archive_entry_clear() function.

RAR5 reader: Fixed a read from invalid memory block

In multi-file RAR5 archives, if a block spans from one file to another,
the RAR5 reader merges both blocks into one, and feeds this merged block
to the decompressor function. The problem is that the block merge
function allocates the exact number of bytes for this block. This is
problematic because when trying to read the last byte from this new
block with bit reader functions, the bit reader functions will reference
few additional bytes right after the byte the caller is trying to read,
resulting in an out of bounds read.

The commit increases the allocation size for new merged block. This
ensures that bit reader functions will never perform any out of bounds
reads. Additional space is zeroed out to prevent errors from
instrumentation tools like ASan or Valgrind.

Fixes #1119

Add missing header file include

7zip: fix crash when parsing certain archives

Fuzzing with CRCs disabled revealed that a call to get_uncompressed_data()
would sometimes fail to return at least 'minimum' bytes. This can cause
the crc32() invocation in header_bytes to read off into invalid memory.

A specially crafted archive can use this to cause a crash.

An ASAN trace is below, but ASAN is not required - an uninstrumented
binary will also crash.

==7719==ERROR: AddressSanitizer: SEGV on unknown address 0x631000040000 (pc 0x7fbdb3b3ec1d bp 0x7ffe77a51310 sp 0x7ffe77a51150 T0)
==7719==The signal is caused by a READ memory access.
    #0 0x7fbdb3b3ec1c in crc32_z (/lib/x86_64-linux-gnu/libz.so.1+0x2c1c)
    #1 0x84f5eb in header_bytes (/tmp/libarchive/bsdtar+0x84f5eb)
    #2 0x856156 in read_Header (/tmp/libarchive/bsdtar+0x856156)
    #3 0x84e134 in slurp_central_directory (/tmp/libarchive/bsdtar+0x84e134)
    #4 0x849690 in archive_read_format_7zip_read_header (/tmp/libarchive/bsdtar+0x849690)
    #5 0x5713b7 in _archive_read_next_header2 (/tmp/libarchive/bsdtar+0x5713b7)
    #6 0x570e63 in _archive_read_next_header (/tmp/libarchive/bsdtar+0x570e63)
    #7 0x6f08bd in archive_read_next_header (/tmp/libarchive/bsdtar+0x6f08bd)
    #8 0x52373f in read_archive (/tmp/libarchive/bsdtar+0x52373f)
    #9 0x5257be in tar_mode_x (/tmp/libarchive/bsdtar+0x5257be)
    #10 0x51daeb in main (/tmp/libarchive/bsdtar+0x51daeb)
    #11 0x7fbdb27cab96 in __libc_start_main /build/glibc-OTsEL5/glibc-2.27/csu/../csu/libc-start.c:310
    #12 0x41dd09 in _start (/tmp/libarchive/bsdtar+0x41dd09)

This was primarly done with afl and FairFuzz. Some early corpus entries
may have been generated by qsym.

iso9660: Fail when expected Rockridge extensions is missing

A corrupted or malicious ISO9660 image can cause read_CE() to loop
forever.

read_CE() calls parse_rockridge(), expecting a Rockridge extension
to be read. However, parse_rockridge() is structured as a while
loop starting with a sanity check, and if the sanity check fails
before the loop has run, the function returns ARCHIVE_OK without
advancing the position in the file. This causes read_CE() to retry
indefinitely.

Make parse_rockridge() return ARCHIVE_WARN if it didn't read an
extension. As someone with no real knowledge of the format, this
seems more apt than ARCHIVE_FATAL, but both the call-sites escalate
it to a fatal error immediately anyway.

Found with a combination of AFL, afl-rb (FairFuzz) and qsym.

Move Cirrus CI commands to a separate script
Test FreeBSD POSIX.1e and NFSv4 ACLs on Cirrus CI

Skip test_compat_pax_libarchive_2x on FreeBSD for now.
It is reportedly broken on all recent releases since 2015.

build/ci_build.sh: print failed test logs to stdout

Add expat, libxml2, liblz4 and zstd to Cirrus CI FreeBSD build

Merge pull request #1117 from lwhsu/cirrus-ci

Add Cirrus-CI config for FreeBSD builds

Add Cirrus-CI config for FreeBSD builds

Add support for the 64-bit ar format

Do something useful for directories by setting the mask to 0.

This avoids buffer overflows by always truncating the window correctly.

Reported-By: OSS-Fuzz issue 11011

Force intermediate to uint64_t to make UBSAN happy.

Reported-By: OSS-Fuzz issue 10843

Merge pull request #1085 from Young-X/master

Fix a null pointer dereference bug in zip writer.

ZIP reader: improve checks for existence of liblzma

For every HAVE_LZMA_H check, include also a check for HAVE_LIBLZMA.

This was done in order to fix build issues in case where the 'lzma.h'
file does exist, but the SO library file doesn't exist.

Added missing files into Makefile.am

ZIP reader: added support for XZ, LZMA, PPMD8 and BZIP2 decompression

This commit adds some support for extraction of '.zipx' files. Those
files are standard ZIP files that can contain files compressed with
different set of algorithms that standard '.zip' files use.

Support is still missing for Deflate64, JPEG and WavPack algorithms.

Merge pull request #1108 from libarchive/Issue1104

Issue 1104: Explicitly limit the printed string to 12 characters

Issue 1104: Explicitly limit the printed string to 12 characters

GCC8 tries to diagnose `snprintf()` overflows but isn't quite
smart enough for this case, so emits a false-positive warning.

Remember that `%12s` only specifies the minimum number of bytes.  GCC8
conservatively assumes this might result in writing the full length of
`date2`.  (Which will never be longer than 12 bytes, but GCC8
apparently can't reason about `strftime` format specifiers yet.)
Changing the specifier here to `%12.12s` explicitly truncates to 12
bytes and should help the compiler understand that this will never
overflow.

While I'm here, correct a minor typo in the previous line; it used
`sizeof(date)` instead of `sizeof(date2)`.  (Both are the same
size, so this had no functional impact.)

Merge pull request #1105 from daxtens/master

Fix various crash, memory corruption and infinite loop conditions

Merge pull request #1107 from antekone/rar5_unused_functions_pr

RAR5 reader: removed an unused function: bf_is_last_block