zip: add support for Info-ZIP Unicode Path Extra Field

The zip specification supports storing path names in UTF-8 encoding
via the Info-ZIP Unicode Path Extra Field (0x7075).

Merge pull request #1177 from vapier/master

fix memory leak with repeated header reads

fix memory leak with repeated header reads

Make sure the name field is reset/cleared when re-reading the header.

Closes #1176.

Merge pull request #958 from vapier/master

support reading metadata from compressed files

In particular, this allows gzip + raw to return the filename stored in the gzip header rather than "data"

support reading metadata from compressed files

The raw format provides very little metadata.  Allow filters to pass
back state that it knows about.  With gzip, we know the original file
name, mtime, and file size.  For now, we only pull out the first two
as those are available in the file header.  The latter is in the file
trailer, so we'll have to add support for that later (if we can seek
the input).

Fix typo in preprocessor macro in archive_read_format_zip_cleanup()

Frees lzma_stream on cleanup()

Fixes #1165

RAR5 reader: use unsigned int for volume number and check for range

Fix an possible integer overflow.

Reported by: OSS-Fuzz issue 13965

Use Dockerfiles for Windows and Linux test environments

RAR5 reader: fix maximum owner name length

Reported by: OSS-Fuzz issue 14331

RAR5 reader: change constant ARCHIVE_FORMAT_RAR_V5 to 0x100000

Rar5 is implemented as an individual format and not a variant of rar

Makes the following functions usable with ARCHIVE_FORMAT_RAR_V5:
archive_read_set_format()
archive_read_support_format_by_code()

RAR5 reader: fix last commit - use read_var() and fix casts

RAR5 reader: add support for symlinks, hardlinks, owner and group data

Add missing test archives to Makefile.am

Unbreak debug build on Windows/MinGW

Update NEWS

tar/test_option_n: fix build and operation on Windows

Merge pull request #812 from pohly/non-recursive-read

Support non-recursive operation in extract and list modes

test_option_n.c: cover non-recursive extract/list

Testing uses only listing because extraction uses the same code
paths. Indirectly this covers also the new API call.

Some corner cases get special attention:
- archive where a file in a directory is present without the
  directory
- the error when asking to extract a directory which is not
  present

Windows symlinks: new functions and extended tar header

New functions:
archive_entry_symlink_type()
archive_entry_set_symlink_type()

Suppoted value constants:
AE_SYMLINK_TYPE_UNDEFINED
AE_SYMLINK_TYPE_FILE
AE_SYMLINK_TYPE_DIRECTORY

New extended tar header:
LIBARCHIVE.symlinktype

The function archive_entry_symlink_type() retrieves and the function
archive_entry_set_symlink_type() sets the symbolic link type of an archive
entry. The information about the symbolic link type is required to properly
restore symbolic links on Microsoft Windows. If the symlink type is set
to AE_SYMLINK_TYPE_FILE or AE_SYMLINK_TYPE_DIRECTORY and a tar archive
is written, an extended tar header LIBARCHIVE.symlinktype is stored with
the value "file" or "dir". When reading symbolic links on Windows, the
link type is automatically stored in the archive_entry structure.

On unix systems, the symlink type has no effect when reading or writing
symbolic links.

non-recursive extract and list

Sometimes it makes sense to extract or list a directory contained in
an archive without also doing the same for the content of the
directory, i.e. allowing -n (= --no-recursion) in combination with the
x and t modes.

bsdtar uses the match functionality in libarchive to track include
matches. A new libarchive API call
archive_match_set_inclusion_recursion() gets introduced to
influence the matching behavior, with the default behavior as before.

Non-recursive matching can be achieved by anchoring the path match at
both start and end. Asking for a directory which itself isn't in the
archive when in non-recursive mode is an error and handled by the
existing mechanism for tracking unused inclusion entries.

tar: add option --exclude-vcs

Fixes #999

Windows symlink bugfixes and improvements

Treat targets ending with /. and /.. as directory symlinks
Explicitly test for file and directory symlinks
Improve debug output on test failure
Fix two memory allocations

Cirrus CI: use mojave-xcode-10.2 image for macOS

Unbreak sparse file tests on the APFS file system

The hole size needs to be at least 4097*4096 bytes.
Fixes #1123

Multiple Windows-related CI changes

Add MSVC and Cygwin builds with Cirrus CI (no tests yet)
Remove Travis CI build

TODO: failing UTF8 tests with MSVC still need fixing

CI: allow to skip sparse and fuzz tests

Sparse tests don't work in a Windows container

Fix remaining MinGW tests
Enable tests on MinGW CI builds

archive_read_support_format_xar: initialize some variables

Skip appropriate zip tests if bzip2 or lzma is not compiled in

Merge pull request #1076 from uckelman-sf/fix_undef_stat

Windows compatibility: don't #undef stat and #define stat().

Fix handling of strtol() and strtoul()

Fixes #1168

Add Windows symlink support to NEWS

Fix various symlink bugs with Windows symlinks
tests: extend assertMakeSymlink with targetIsDir

Cirrus CI: add Cygwin build, MinGW build use zlib, suppress download progress

Extend unreadable directory code to Linux (O_PATH) and SunOS (O_SEARCH)

Cirrus CI: Add MinGW and split into stages

Merge pull request #1167 from RhodiumToad/parent_fixes

Fix bugs related to unreadable directories.

Update tests for platforms on which success is impossible.

If a platform lacks O_EXEC and we get a failure when starting the
traverse from within an unreadable directory, then don't score that as
a failure, since with the current code it can never succeed. But if
O_EXEC exists, the failure still counts.

Cirrus CI - support existing homebrew packages

Fix bugs related to unreadable directories.

1. Don't try to open ".." for reading as part of the process of
ascending out of an initially specified directory; it's wrong, and if
the directory is not readable it causes a spurious error.

2. If opening "." initially for reading fails, then open it for
execute instead, if O_EXEC exists. This avoids spurious and unhelpful
failures when the current directory is not readable.

Add test cases for the above.

At least the first of these issues is ancient; it was reported against
FreeBSD in 2014.

Add support for directory symlinks on Windows

Symlinks with the targets ".", ".." or with an ending slash in the
target are treated as directory symlinks on Windows.

Add basic read and write support for symbolic links on Windows

TODO: proper handling of directory symlinks

Fixes #1030

archive_entry.c: changes in file flags code
Use "undel" for FS_UNRM_FL file flag
Drop compat of UF_NOUNLINK and FS_UNRM_FL
Use "secdel" for FS_SECRM_FL and "journal-data" for FS_JOURNAL_DATA_FL

Fixes #1098

libarchive/archive_entry.c: fix typo in comment

archive_write_disk_posix: constantify file flag masks

archive_entry.c: alphabetically sort FreeBSD/MacOS file flags in comment

If not root do not try to restore SF_* file flags on FreeBSD and Mac OS

Remove FS_EXTEND_FL from Linux and UF_ARCHIVE from FreeBSD file flags

As to documentation, FS_EXTEND_FL may not be removed using chattr(1)
UF_ARCHIVE is used internally on FreeBSD ZFS

Improve and document file flag and file attribute support

Removed read-only FreeBSD fflags: snapshot

Removed read-only Linux file attributes:
FS_BTREE_FL, FS_ECOMPR_FL, FS_DIRTY_FL, FS_COMPRBLK_FL, FS_INDEX_FL,
FS_IMAGIC_FL, FS_ENCRYPT_FL, FS_HUGE_FILE_FL, FS_EA_INODE_FL,
FS_EOFBLOCKS_FL, FS_INLINE_DATA_FL

Add missing FreeBSD fflags: uarch, offline, rdonly, sparse, reparse, system

Document in code supported file flags and their mapping

Merge pull request #1083 from guischulz/windows_unc_workdir

Fix full-pathname for extraction with UNC working directory on Windows

Merge pull request #1043 from jstarks/utf8

windows: Support UTF-8 locale

Merge pull request #1101 from jcfr/fix-cmake-warning-set-cmp0074

cmake: Set CMP0074 to NEW

Merge pull request #1033 from mellery451/werror-optional

CMake: make warning-as-error optional, but retain current defaults

Merge pull request #1157 from praiskup/fix-make-dist

Fix 'make dist' to include blake2 headers

Fix 'make dist' to include blake2 headers

Fixes #1157

Understand "journal-data", "secdel" and "undel" fflags in star tar archives

Issue #1098

archive_entry.c: replace spaces with tabs, understand nouunlnk on Linux

archive_write_disk_posix: processes with CAP_CHOWN may change file owner

Fixes #1144

archive_read_disk_entry_from_file(): check for ARCHIVE_READ_DISK magic

Fixes #1143

Merge pull request #1153 from antekone/bug/zipx_fuzzing_fixes

ZIP reader: fixed 2 bugs: unlimited loop and a crash, triggered by invalid files

ZIP reader: fixed an unlimited loop in BZIP2 decompressor.

The hang was triggered on invalid zipx files that declare more data than
there actually is in the file.

This case was found by fuzzing the zipx file.

ZIP reader: fix a crash in PPMd8 decompressor.

The crash happened on invalid files which declare more data than
actually are stored in the file.

This commit contains a fix that prevents PPMd8 decompressor from
crashing, as well as relevant tests containing files that were
triggering the crash.

Merge pull request #1151 from antekone/clean_whitespaces

Whitespace reformatting in RAR5 reader, ZIP reader.

Whitespace reformatting in RAR5 reader, ZIP reader.

Changed indent of some lines from tabs to spaces (because the whole file
is using space indenting) in RAR5 reader,

Removed some superfluous space characters from end of some lines in
RAR5 reader and ZIP reader.

Travis CI Windows fixes
- MS Visual Studio: use cmake's interface to build system
- disable Windows tests (test only the build) due to timeout and fail issues

Merge pull request #1150 from antekone/bug/visual_studio_warnings

Removed cast warnings under Visual Studio

Removed cast warnings under Visual Studio

Add MS Visual Studio and MinGW tests via Travis CI
Make MS Visual Studio complain less in test_read_format_rar5.c

Merge pull request #1133 from BotellaA/master

Remove windows warnings

Merge pull request #1146 from ijanos/master

enable using libarchive from a submodule

fix dereferencing null pointer in file_new()

file_new() sets file to NULL first.
when file_new() fails, file is set to NULL if it doesn't need to be freed
so, only free when need to. otherwise would deference a null pointer.

Found this from clang's analyzer
Fixes #1140

enable using libarchive from a submodule

error_number sometime is not initialized. (#1141)

clang analyzer flagged this.

in check_symlinks_fsobj, if open() failed, the function exits without
setting a_eno and a_estr.

calling strlen() with null pointer (#1142)

clang analyzer found this issue.

other archive_mstring_copy_* has the pattern:

```
if (xxx == NULL) {
  aes->aes_set = 0;
  return (0);
}
```

archive_mstring_copy_utf8() didn't follow that pattern, so if NULL is passed in, it will call strlen(NULL).

Noticed that archive_mstring_copy_wcs_len() doesn't follow the pattern either.

Fixes #1142

archive_read_disk_posix.c: initialize delayed_errno

Merge pull request #1134 from elfring/Remove_unnecessary_checks1

Delete unnecessary checks before some function calls

Merge pull request #1135 from HadesD/patch-1

Fix find lib lzma

POSIX reader: more next_entry() fixes

- if not descending, fail if tree_current_lstat() returns ENOENT
- fix the "File removed before we read it" error message if processing multiple files at a time.

Fixes #1082

POSIX reader: do not fail when tree_current_lstat() fails due to ENOENT

Fixes #1082

Fix find lib lzma

Bug #1128: Deletion of unnecessary checks before calls of the function “archive_entry_free”

The function “archive_entry_free” is implemented in the way that only
two functions are called which tolerate the passing of null pointers.
It is therefore not needed that a function caller repeats a corresponding check.

This issue was fixed by using the software “Coccinelle 1.0.7”.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>

Bug #1128: Deletion of unnecessary checks before calls of the function “free”

The function “free” is documented in the way that no action shall occur for
a passed null pointer. It is therefore not needed that a function caller
repeats a corresponding check.
https://stackoverflow.com/questions/18775608/free-a-null-pointer-anyway-or-check-first

This issue was fixed by using the software “Coccinelle 1.0.7”.

Signed-off-by: Markus Elfring <elfring@users.sourceforge.net>

Remove windows warnings

Merge pull request #1125 from antekone/bug/GH-1119

RAR5 reader: fix an invalid read and a memory leak

Remove test_compat_pax_libarchive_2x

The is determined for FreeBSD only and it doesn't work since 2015.
There is no significant need to keep this functionality, it may be
deprecated.

Reorganize CI build scripts

Remove Travis CI testing

CI build: allow BS as a shortcut for BUILD_SYSTEM variable

Cirrus CI: add Fedora 29 container test

Merge pull request #1124 from mgorny/zstd

cmake: Add ENABLE_ZSTD option

cmake: Add ENABLE_ZSTD option

Merge pull request #1121 from kulikjak/fix_mkdev

Add missing header file include

Merge pull request #1110 from antekone/zipx_support_work_3

ZIP reader: added support for XZ, LZMA, PPMD8 and BZIP2 decompression

Improve cirrus build

Merge pull request #1120 from daxtens/fixes2

Fix a 7zip crash and a ISO9660 infinite loop

Merge pull request #1116 from GeraldNDA/GeraldNDA-support-64bit-ar

Add support for the 64-bit ar format

RAR5 reader: Removed a memory leak in process_head_file

The process_head_file function was using memset() to clear the
archive_entry structure. The problem was that this structure could
contain pointers to allocated blocks of memory, and removing those
pointers with memset() resulted in a memory leak.

Switching it in favor of archive_entry_clear() effectively clears the
structure, but also releases any allocated memory blocks. This removes
the memory leak.

The commit also changes the way a temporary archive_entry instance is
being created when skipping a base block after block merge; instead of
directly creating a new instance on the stack, a constructor function
archive_entry_new() is used to ensure the new archive_entry instance is
not in an inconsistent state. This is needed because the fix described
in the first half of this commit message depends on the archive_entry
instance being in a consistent state due to the call of the
archive_entry_clear() function.

RAR5 reader: Fixed a read from invalid memory block

In multi-file RAR5 archives, if a block spans from one file to another,
the RAR5 reader merges both blocks into one, and feeds this merged block
to the decompressor function. The problem is that the block merge
function allocates the exact number of bytes for this block. This is
problematic because when trying to read the last byte from this new
block with bit reader functions, the bit reader functions will reference
few additional bytes right after the byte the caller is trying to read,
resulting in an out of bounds read.

The commit increases the allocation size for new merged block. This
ensures that bit reader functions will never perform any out of bounds
reads. Additional space is zeroed out to prevent errors from
instrumentation tools like ASan or Valgrind.

Fixes #1119

Add missing header file include

7zip: fix crash when parsing certain archives

Fuzzing with CRCs disabled revealed that a call to get_uncompressed_data()
would sometimes fail to return at least 'minimum' bytes. This can cause
the crc32() invocation in header_bytes to read off into invalid memory.

A specially crafted archive can use this to cause a crash.

An ASAN trace is below, but ASAN is not required - an uninstrumented
binary will also crash.

==7719==ERROR: AddressSanitizer: SEGV on unknown address 0x631000040000 (pc 0x7fbdb3b3ec1d bp 0x7ffe77a51310 sp 0x7ffe77a51150 T0)
==7719==The signal is caused by a READ memory access.
    #0 0x7fbdb3b3ec1c in crc32_z (/lib/x86_64-linux-gnu/libz.so.1+0x2c1c)
    #1 0x84f5eb in header_bytes (/tmp/libarchive/bsdtar+0x84f5eb)
    #2 0x856156 in read_Header (/tmp/libarchive/bsdtar+0x856156)
    #3 0x84e134 in slurp_central_directory (/tmp/libarchive/bsdtar+0x84e134)
    #4 0x849690 in archive_read_format_7zip_read_header (/tmp/libarchive/bsdtar+0x849690)
    #5 0x5713b7 in _archive_read_next_header2 (/tmp/libarchive/bsdtar+0x5713b7)
    #6 0x570e63 in _archive_read_next_header (/tmp/libarchive/bsdtar+0x570e63)
    #7 0x6f08bd in archive_read_next_header (/tmp/libarchive/bsdtar+0x6f08bd)
    #8 0x52373f in read_archive (/tmp/libarchive/bsdtar+0x52373f)
    #9 0x5257be in tar_mode_x (/tmp/libarchive/bsdtar+0x5257be)
    #10 0x51daeb in main (/tmp/libarchive/bsdtar+0x51daeb)
    #11 0x7fbdb27cab96 in __libc_start_main /build/glibc-OTsEL5/glibc-2.27/csu/../csu/libc-start.c:310
    #12 0x41dd09 in _start (/tmp/libarchive/bsdtar+0x41dd09)

This was primarly done with afl and FairFuzz. Some early corpus entries
may have been generated by qsym.

iso9660: Fail when expected Rockridge extensions is missing

A corrupted or malicious ISO9660 image can cause read_CE() to loop
forever.

read_CE() calls parse_rockridge(), expecting a Rockridge extension
to be read. However, parse_rockridge() is structured as a while
loop starting with a sanity check, and if the sanity check fails
before the loop has run, the function returns ARCHIVE_OK without
advancing the position in the file. This causes read_CE() to retry
indefinitely.

Make parse_rockridge() return ARCHIVE_WARN if it didn't read an
extension. As someone with no real knowledge of the format, this
seems more apt than ARCHIVE_FATAL, but both the call-sites escalate
it to a fatal error immediately anyway.

Found with a combination of AFL, afl-rb (FairFuzz) and qsym.