7zip reader: translate windows permissions to unix permissions (#1943)

7z archives created on windows 7zip can lack unix permission info. In
this case, we need to translate the windows permissions into reasonable
unix equivalents.

pax writer: fix multiple security vulnerabilities

Security vulnerabilities:
1. Heap overflow in url_encode() in archive_write_set_format_pax.c
2. NULL dereference in archive_write_pax_header_xattrs()
3. Another NULL dereference in archive_write_pax_header_xattrs()
4. NULL dereference in archive_write_pax_header_xattr()

The vulnerabilities can be triggered when writing pax archives
with extended attributes (SCHILY or LIBARCHIVE) by feeding attribute
names longer than INT_MAX or attribute names that fail to be encoded
properly.

Reported-by: Bahaa Naamneh of Crosspoint Labs

CI: update Windows build dependencies

Update zlib to 1.2.13, xz to 1.4.4 and zstd to 1.5.5

unzip: correctly handle arguments following an -x after zipfile

build: add missing HAVE_STRUCT_STATFS to build/cmake/config.h.in

Fixes #1937

unzip: correctly define bsdunzip_optind

unzip: use libarchive-style getopt() implementation

unzip: support --version argument

cat: fix references and variable names in cmdline.c

Libarchive 3.7.2dev

Release 3.7.1

contrib/unter: use vendor-dependent number format for size_t (#1613)

Use BUF_SIZE constant instead of explicit number

tar: respect --strip-components and -s patterns in cru modes on read (#1731)

cpio: multiple fixes in list_item_verbose()

Do not call strftime() with NULL timeptr
Adjust uids and gids buffers as cpio_i64toa() may return up to 22 bytes

Fixes #1934
Fixes #1935

unzip: fix include order in la_getline.c

Check if clang has __builtin_bswap16 (#1932)

Some older versions of clang do not in fact have this builtin.

Co-authored-by: Toby Peterson <toby@macports.org>

build: update config_freebsd.h

unzip: add NetBSD implementation of getline() if not supported

Fixes #1933

unzip: remove optreset from bsdunzip_platform.h

Correct assignment to r when checking for result of reading archive data (#1929)

It is impossible for if (r == ARCHIVE_FATAL) to be true otherwise.

unzip: Pull in upstream updates (#1926)

Fixes #1873

Fix various VS2019 compiler warnings (#1927)

This PR fixes a bunch of warnings while building with VS2019.
Some lz4 warning fixes are included, too.

return ((int)r); is not part of if statement due to missing brackets (#1930)

This is problematic because we need to return if an error occurs, and
because we are letting a continue to be evaluated even though it is
closed.

Replace `svfs.f_namelen` with `svfs.f_namemax` (#1924)

The equivalent for `f_namelen` in struct statvfs is `f_namemax`.

Signed-off-by: Wong Hoi Sing Edison <hswong3i@pantarei-design.com>

Makefile: add mkdirs for all */test/list.h targets (#1923)

Add missing mkdir calls to `cat/test/list.h` and `unzip/test/list.h`
invocations, making them consistent with the other rules. Otherwise,
the build fails when configured with `--disable-dependency-tracking`,
as configure does not create the directories automatically then.

unzip: fix build without utimensat() or futimens()

Fixes #1919

unzip: use libeal port of sys/queue.h if not available

Fixes #1920

unzip: use lchmod() and optreset only if available (fix Android build)

Fixes #1921

Libarchive 3.7.1dev

Release 3.7.0

7zip reader: add support for ARM64 filter (#1918)

7-Zip 23.00 added a new ARM64 filter, which is also supported by recent
versions of liblzma. This PR adds support for this filter for both lzma
and non-lzma encoders.

CI: use two make jobs for Cirrus CI FreeBSD builds

CI: use multiple make jobs to speed up building (#1917)

bsdunzip_test: fix link against ACL libs in cmake

pax writer: depend ustar_max_mtime on size of time_t

CI: use macos-13 in GitHub Actions

build: add mising test archives to Makefile.am

build: fix dist-build in Makefile.am

CI: update apt cache on Ubuntu before build

unzip: disable build on Windows

Bsdunzip has not been ported to Windows yet.
Add header checks for fcntl.h and sys/queue.h
Add function check for fcntl()

CI: ignore directory traversals test nr. 4 on MacOS

unzip: fix mtime number error from last commit

unzip: fix multi-platform handling of stat mtime

CI: fix debug build with cmake

build: fix cmake build with OpenSSL

tests: fix exit on failed realloc in libarchive/test/test_fuzz.c

unzip: fix EXTRA_VERSION macro in unzip/test/test.h

build: fix cmake build with Mbed TLS

Fix call to setenv() in unzip/bsdunzip.c

Fix missing endif in libarchive/archive_random.c

bsdunzip: make it possible to pass filenames starting with dash

We now check for residual arguments after the second scan, so any filename protected by `--` is picked up.

Port over FreeBSD's unzip utility

This allows libarchive to act as a drop-in replacement to Info-ZIP

Add missing  brackets to if clause

Fix indentation

Fix typo in calls to close_file_descriptor function

Always close file handle on descriptor on posix systems before returning from _archive_write_disk_finish_entry

Close file handle on windows when padding/truncating file fails

Add security policy (#1866)

Signed-off-by: Pedro Kaj Kjellerup Nacht <pnacht@google.com>
Co-authored-by: Martin Matuska <martin@matuska.de>

Fix the build with libressl-devel <2.7

This change is similar to what was done in
5da00ad75b09e262774ec3675bbe4d5a4502a852.

Co-authored by: Greg Lewis <glewis@FreeBSD.org>
Co-authored by: Piotr Kubaj <pkubaj@anongoth.pl>
Obtained from: FreeBSD ports (9fcaa71e4675d12dc3c9a5895edd68610e03cbcd)
Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

fix incorrect test of HAVE_LZMA_STREAM_ENCODER_MT and missed LIBB2_INCLUDE_DIR

README: vulnerability on implicite directory creation

There's a race condition with the umask() execution in multi-threaded
use of the libarchive.
It's the users responsibility to mutex archive_write_disk_header()
call.

Signed-off-by: Peter Kaestle <peter.kaestle@nokia.com>

README.md: HTTP => HTTPS

Use Windows bcrypt when enabled and building for Vista+ (#1887)

The wincrypt API is deprecated and is not allowed in UWP builds. We can
use the more modern bcrypt API which has equivalent calls.

Disable CreateFileA calls in UWP builds

Only CreateFile2 and CreateFileFromAppW are allowed.

Use CreateFile2 instead of CreateFileW on Win8+ builds

CreateFileW is not allowed in Universal Windows Platform (UWP) builds but
CreateFile2 is available. We could just enable this code for UWP but
it's probably to use it going forward so the code is properly tested on
both sides.

tests: use CreateFileA for char* filenames

In case the code is compiled with the UNICODE define.

Don't call GetOEMCP() in Universal Windows Platform builds

It's not available [1] [2]. However we can use the intermediate CP_OEMCP
value. It can be used to compare charsets in create_sconv_object().
It won't work with comparing charsets in archive_string_default_conversion_for_read()
and archive_string_default_conversion_for_write(). current_codepage being
an actual CodePage value.

[1] https://learn.microsoft.com/en-us/uwp/win32-and-com/win32-apis#apis-from-api-ms-win-core-localization-l1-2-0dll
[2] https://learn.microsoft.com/en-us/windows/win32/api/winnls/nf-winnls-getoemcp#requirements

Use the common CMake BUILD_SHARED_LIBS to build shared library or not

https://cmake.org/cmake/help/v3.0/variable/BUILD_SHARED_LIBS.html

Usually it's built-in but make sure we have it on by default.

We don't need to rename the windows static library when it's the only one built.
This will also allow proper usage of the pkg-config file in this case. Otherwise
there is no way to select the static library that way.

Fix bcrypt detection on UNIX cross-compilation

The Windows SDK uses an uppercase on the B, but mingw-w64 doesn't.
The autoconf detection already uses a lowercase bcrypt.

Fix build error when cross-compiling for Windows

CHECK_C_SOURCE_RUNS generates a build error when cross-compiling.

ZLIB_WINAPI is the only one tested. When the run test fails, it's tested again
with just a compilation.

fix the CreateHardLinkW signature to match the real function

The `ret` variable was already using BOOL instead of BOOLEAN.

Disable CreateSymbolicLinkW use in UWP builds

The call is forbidden:
https://learn.microsoft.com/en-us/windows/win32/api/winbase/nf-winbase-createsymboliclinkw#requirements

Use CreateHardLinkW and CreateSymbolicLinkW directly on Vista+ builds

No need to load the kernel library manually. It's always available. It's not
possible to load it in Universal Windows Platform (UWP) builds anyway.

No need to load the kernel library manually. It's always available. It's not
possible to load it in Universal Windows Platform (UWP) builds anyway.

Disable program call with stdin/stdout usage on UWP builds

Some calls are not allowed:
* WaitForInputIdle [1]
* SetHandleInformation [2]
* STARTF_XXX flags for CreateProcess are not allowed

[1] https://learn.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-waitforinputidle#requirements
[2] https://learn.microsoft.com/en-us/windows/win32/api/handleapi/nf-handleapi-sethandleinformation#requirements

fixup! someone messed up the list

archive_read_set_options.3: document zip options

Properly guard calls to sigaction

Fix certain unused variables on certain conditions

Properly guard calls to lstat

Rename to avoid arc4random_buf static definition clashing

7zip reader: add 7z ARM filter support for copy/bzip2/deflate/zstd

This makes the new test_read_format_7zip_zstd_arm test pass. I expect
that the other compression algorithms in this group should also work
now.

7zip reader: add some 7z ARM filter tests

Note that test_read_format_7zip_lzma2_arm passes, while
test_read_format_7zip_zstd_arm fails, I believe because
liblzma implements these filters internally for itself, unlike the
other compression libraries.

These two archives contain a linux C hello world executable, built for
gnueabihf. They were created like so (the first one using a fork of
7-zip with zstandard support):
7z a -t7z -m0=zstd -mf=ARM libarchive/test/test_read_format_7zip_zstd_arm.7z hw-gnueabihf
and
7z a -t7z -m0=lzma2 -mf=ARM libarchive/test/test_read_format_7zip_lzma2_arm.7z hw-gnueabihf

7zip reader: add support for zstandard compression in 7z archives

Zstandard support is not yet available in 7-Zip, though it is planned
for a future release:
https://sourceforge.net/p/sevenzip/feature-requests/1580/

The compression ID used here (4F71101) is copied from a popular 7-Zip
fork, which added ZSTD support back in 2017, and is mentioned in the
upstream 7-Zip ticket linked above:
https://github.com/mcmilk/7-Zip-zstd.git

Note that this does not add write support for Zstandard compression
in 7z archives.

Relates to #1656.

Add some 7zip zstd reader tests

There is a popular 7-Zip fork with zstandard support, with releases as
far back as 2017:
https://github.com/mcmilk/7-Zip-zstd.git

Zstandard support is not yet available in 7-Zip, though it is planned
for a future release:
https://sourceforge.net/p/sevenzip/feature-requests/1580/

This change adds a couple of tests for reading 7-Zip archives which
use zstandard compression. They are expected to fail until support is
added in the following commit.

Relates to #1656.

setup_current_filesystem: fail if name_max is 0

Add error handling to the USE_READDIR_R code paths that set name_max
from struct statfs or statvfs; if the determined name_max == 0
then return an error.

Avoids a crash in tree_dir_next_posix() when the calculation of
dirent_size from name_max is too small for the memory allocated
for struct dirent.

This may fix Github issue #1149
This may fix NetBSD PR https://gnats.netbsd.org/56080

Linux: use statvfs for name_max if available

If using HAVE_STATVFS, set name_max from svfs.f_namelen
instead of sfs.f_namelen, to be consistent with the
rest of the function.

Noticed by code inspection.

fix unused variable error if no zstd

Prefer OR over addition (#1915)

Also cast all being ORed to uint64_t when creating a uint64_t.

This makes the code more idiomatic to compilers.

CI: update FreeBSD versions (#1907)

Update to latest released versions (12.4 and 13.2)

Reduce overlinking per pkg-config spec (#1870)

libssl isn't required for libarchive. Remove libssl so the installed .pc
file doesn't cause consumers to subsequently overlink libssl into their
code.

This doesn't affect how the code is linked -- only consumers of the
pkg-config specified spec.

Fix FreeBSD builds with WARNS=6 (#1869)

WARNS=6 on FreeBSD passes several CFLAGS that causes the previous code
to fail with `-Wincompatible-pointer-types-discards-qualifiers` when
compiled with clang.

This particular change adjusts the code to be
`-Wincompatible-pointer-types-discards-qualifiers` clean. This change
changes the calls to use OSSL_PARAM macro abbreviated calls, instead of
calling more verbose (and less documented) callers.

While here, also address a `mac` object leak if `ctx` cannot be
allocated cleanly by always free'ing `mac` after it's been attached to
`ctx`.

Co-authored-by: Pierre Pronchery <pierre@freebsdfoundation.org>
Sponsored by: The FreeBSD Foundation
Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Make single bit bitfields unsigned to avoid clang 16 warning (#1860)

Clang 16 introduced a warning about single bit bitfields in structs,
which is triggered by a few libarchive formats:

libarchive/archive_write_set_format_7zip.c:1541:13: error: implicit
truncation from 'int' to a one-bit wide bit-field changes value from 1
to -1 [-Werror,-Wsingle-bit-bitfield-constant-conversion]
                    file->dir = 1;
                              ^ ~

This is because single bit bitfields only support values -1 and 0, if
they are signed.

For bitfields with two or more bits this can be intentional, but single
bit bitfields are typically used as booleans, so it is better to make
them unsigned.

fix typo in config.h.in (#1851)

Fix date (#1846)

archive_read_data_into_fd: Increase pointer assignment check (#1843)

Allow tests to pass after 2038 (#1838)

Now uses 33 bits (the maximum possible) in the ustar header in order
to support times out to 2106.

Fixes #1837

Fix cpio test in 2038 (#1836)

Without this patch, `bsdcpio_test_option_c` failed after 2038-01-19 with

```
 .../libarchive-3.6.2/cpio/test/test_option_c.c:143: Assertion failed: t >= now - 2
 .../libarchive-3.6.2/cpio/test/test_option_c.c:169: Assertion failed: t >= now - 2
 .../libarchive-3.6.2/cpio/test/test_option_c.c:205: Assertion failed: t >= now - 2
```

Background:
As part of my work on reproducible builds for openSUSE, I check that
software still gives identical build results in the future.
The usual offset is +16 years, because that is how long I expect some
software will be used in some places.
This showed up failing tests in our package build.
See https://reproducible-builds.org/ for why this matters.

Add tests for the new zstd options.

Document the new zstd options.

Support producing multi-fragment zstd archives.

When the `zstd:frame-per-file` option is specified, the zstd filter will start a new frame when flushed, i.e. for each file in the archive.

The `zstd:min-frame-size=N` option modifies the `zstd:frame-per-file` option in that it will not start a new frame unless the current one exceeds `N` bytes.

When the `zstd:max-frame-size=N` option is specified, the zstd filter will start a new frame any time the compressed size of the previous one exceeds `N` bytes.

These options decrease compression efficiency by a varying amount (depending on the exact composition of its contents) but render the tarball seekable, to a certain extent.