7zip reader: add support for ARM64 filter (#1918)

7-Zip 23.00 added a new ARM64 filter, which is also supported by recent
versions of liblzma. This PR adds support for this filter for both lzma
and non-lzma encoders.

CI: use two make jobs for Cirrus CI FreeBSD builds

CI: use multiple make jobs to speed up building (#1917)

bsdunzip_test: fix link against ACL libs in cmake

pax writer: depend ustar_max_mtime on size of time_t

CI: use macos-13 in GitHub Actions

build: add mising test archives to Makefile.am

build: fix dist-build in Makefile.am

CI: update apt cache on Ubuntu before build

unzip: disable build on Windows

Bsdunzip has not been ported to Windows yet.
Add header checks for fcntl.h and sys/queue.h
Add function check for fcntl()

CI: ignore directory traversals test nr. 4 on MacOS

unzip: fix mtime number error from last commit

unzip: fix multi-platform handling of stat mtime

CI: fix debug build with cmake

build: fix cmake build with OpenSSL

tests: fix exit on failed realloc in libarchive/test/test_fuzz.c

unzip: fix EXTRA_VERSION macro in unzip/test/test.h

build: fix cmake build with Mbed TLS

Fix call to setenv() in unzip/bsdunzip.c

Fix missing endif in libarchive/archive_random.c

bsdunzip: make it possible to pass filenames starting with dash

We now check for residual arguments after the second scan, so any filename protected by `--` is picked up.

Port over FreeBSD's unzip utility

This allows libarchive to act as a drop-in replacement to Info-ZIP

Add missing  brackets to if clause

Fix indentation

Fix typo in calls to close_file_descriptor function

Always close file handle on descriptor on posix systems before returning from _archive_write_disk_finish_entry

Close file handle on windows when padding/truncating file fails

Add security policy (#1866)

Signed-off-by: Pedro Kaj Kjellerup Nacht <pnacht@google.com>
Co-authored-by: Martin Matuska <martin@matuska.de>

Fix the build with libressl-devel <2.7

This change is similar to what was done in
5da00ad75b09e262774ec3675bbe4d5a4502a852.

Co-authored by: Greg Lewis <glewis@FreeBSD.org>
Co-authored by: Piotr Kubaj <pkubaj@anongoth.pl>
Obtained from: FreeBSD ports (9fcaa71e4675d12dc3c9a5895edd68610e03cbcd)
Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

fix incorrect test of HAVE_LZMA_STREAM_ENCODER_MT and missed LIBB2_INCLUDE_DIR

README: vulnerability on implicite directory creation

There's a race condition with the umask() execution in multi-threaded
use of the libarchive.
It's the users responsibility to mutex archive_write_disk_header()
call.

Signed-off-by: Peter Kaestle <peter.kaestle@nokia.com>

README.md: HTTP => HTTPS

Use Windows bcrypt when enabled and building for Vista+ (#1887)

The wincrypt API is deprecated and is not allowed in UWP builds. We can
use the more modern bcrypt API which has equivalent calls.

Disable CreateFileA calls in UWP builds

Only CreateFile2 and CreateFileFromAppW are allowed.

Use CreateFile2 instead of CreateFileW on Win8+ builds

CreateFileW is not allowed in Universal Windows Platform (UWP) builds but
CreateFile2 is available. We could just enable this code for UWP but
it's probably to use it going forward so the code is properly tested on
both sides.

tests: use CreateFileA for char* filenames

In case the code is compiled with the UNICODE define.

Don't call GetOEMCP() in Universal Windows Platform builds

It's not available [1] [2]. However we can use the intermediate CP_OEMCP
value. It can be used to compare charsets in create_sconv_object().
It won't work with comparing charsets in archive_string_default_conversion_for_read()
and archive_string_default_conversion_for_write(). current_codepage being
an actual CodePage value.

[1] https://learn.microsoft.com/en-us/uwp/win32-and-com/win32-apis#apis-from-api-ms-win-core-localization-l1-2-0dll
[2] https://learn.microsoft.com/en-us/windows/win32/api/winnls/nf-winnls-getoemcp#requirements

Use the common CMake BUILD_SHARED_LIBS to build shared library or not

https://cmake.org/cmake/help/v3.0/variable/BUILD_SHARED_LIBS.html

Usually it's built-in but make sure we have it on by default.

We don't need to rename the windows static library when it's the only one built.
This will also allow proper usage of the pkg-config file in this case. Otherwise
there is no way to select the static library that way.

Fix bcrypt detection on UNIX cross-compilation

The Windows SDK uses an uppercase on the B, but mingw-w64 doesn't.
The autoconf detection already uses a lowercase bcrypt.

Fix build error when cross-compiling for Windows

CHECK_C_SOURCE_RUNS generates a build error when cross-compiling.

ZLIB_WINAPI is the only one tested. When the run test fails, it's tested again
with just a compilation.

fix the CreateHardLinkW signature to match the real function

The `ret` variable was already using BOOL instead of BOOLEAN.

Disable CreateSymbolicLinkW use in UWP builds

The call is forbidden:
https://learn.microsoft.com/en-us/windows/win32/api/winbase/nf-winbase-createsymboliclinkw#requirements

Use CreateHardLinkW and CreateSymbolicLinkW directly on Vista+ builds

No need to load the kernel library manually. It's always available. It's not
possible to load it in Universal Windows Platform (UWP) builds anyway.

No need to load the kernel library manually. It's always available. It's not
possible to load it in Universal Windows Platform (UWP) builds anyway.

Disable program call with stdin/stdout usage on UWP builds

Some calls are not allowed:
* WaitForInputIdle [1]
* SetHandleInformation [2]
* STARTF_XXX flags for CreateProcess are not allowed

[1] https://learn.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-waitforinputidle#requirements
[2] https://learn.microsoft.com/en-us/windows/win32/api/handleapi/nf-handleapi-sethandleinformation#requirements

fixup! someone messed up the list

archive_read_set_options.3: document zip options

Properly guard calls to sigaction

Fix certain unused variables on certain conditions

Properly guard calls to lstat

Rename to avoid arc4random_buf static definition clashing

7zip reader: add 7z ARM filter support for copy/bzip2/deflate/zstd

This makes the new test_read_format_7zip_zstd_arm test pass. I expect
that the other compression algorithms in this group should also work
now.

7zip reader: add some 7z ARM filter tests

Note that test_read_format_7zip_lzma2_arm passes, while
test_read_format_7zip_zstd_arm fails, I believe because
liblzma implements these filters internally for itself, unlike the
other compression libraries.

These two archives contain a linux C hello world executable, built for
gnueabihf. They were created like so (the first one using a fork of
7-zip with zstandard support):
7z a -t7z -m0=zstd -mf=ARM libarchive/test/test_read_format_7zip_zstd_arm.7z hw-gnueabihf
and
7z a -t7z -m0=lzma2 -mf=ARM libarchive/test/test_read_format_7zip_lzma2_arm.7z hw-gnueabihf

7zip reader: add support for zstandard compression in 7z archives

Zstandard support is not yet available in 7-Zip, though it is planned
for a future release:
https://sourceforge.net/p/sevenzip/feature-requests/1580/

The compression ID used here (4F71101) is copied from a popular 7-Zip
fork, which added ZSTD support back in 2017, and is mentioned in the
upstream 7-Zip ticket linked above:
https://github.com/mcmilk/7-Zip-zstd.git

Note that this does not add write support for Zstandard compression
in 7z archives.

Relates to #1656.

Add some 7zip zstd reader tests

There is a popular 7-Zip fork with zstandard support, with releases as
far back as 2017:
https://github.com/mcmilk/7-Zip-zstd.git

Zstandard support is not yet available in 7-Zip, though it is planned
for a future release:
https://sourceforge.net/p/sevenzip/feature-requests/1580/

This change adds a couple of tests for reading 7-Zip archives which
use zstandard compression. They are expected to fail until support is
added in the following commit.

Relates to #1656.

setup_current_filesystem: fail if name_max is 0

Add error handling to the USE_READDIR_R code paths that set name_max
from struct statfs or statvfs; if the determined name_max == 0
then return an error.

Avoids a crash in tree_dir_next_posix() when the calculation of
dirent_size from name_max is too small for the memory allocated
for struct dirent.

This may fix Github issue #1149
This may fix NetBSD PR https://gnats.netbsd.org/56080

Linux: use statvfs for name_max if available

If using HAVE_STATVFS, set name_max from svfs.f_namelen
instead of sfs.f_namelen, to be consistent with the
rest of the function.

Noticed by code inspection.

fix unused variable error if no zstd

Prefer OR over addition (#1915)

Also cast all being ORed to uint64_t when creating a uint64_t.

This makes the code more idiomatic to compilers.

CI: update FreeBSD versions (#1907)

Update to latest released versions (12.4 and 13.2)

Reduce overlinking per pkg-config spec (#1870)

libssl isn't required for libarchive. Remove libssl so the installed .pc
file doesn't cause consumers to subsequently overlink libssl into their
code.

This doesn't affect how the code is linked -- only consumers of the
pkg-config specified spec.

Fix FreeBSD builds with WARNS=6 (#1869)

WARNS=6 on FreeBSD passes several CFLAGS that causes the previous code
to fail with `-Wincompatible-pointer-types-discards-qualifiers` when
compiled with clang.

This particular change adjusts the code to be
`-Wincompatible-pointer-types-discards-qualifiers` clean. This change
changes the calls to use OSSL_PARAM macro abbreviated calls, instead of
calling more verbose (and less documented) callers.

While here, also address a `mac` object leak if `ctx` cannot be
allocated cleanly by always free'ing `mac` after it's been attached to
`ctx`.

Co-authored-by: Pierre Pronchery <pierre@freebsdfoundation.org>
Sponsored by: The FreeBSD Foundation
Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Make single bit bitfields unsigned to avoid clang 16 warning (#1860)

Clang 16 introduced a warning about single bit bitfields in structs,
which is triggered by a few libarchive formats:

libarchive/archive_write_set_format_7zip.c:1541:13: error: implicit
truncation from 'int' to a one-bit wide bit-field changes value from 1
to -1 [-Werror,-Wsingle-bit-bitfield-constant-conversion]
                    file->dir = 1;
                              ^ ~

This is because single bit bitfields only support values -1 and 0, if
they are signed.

For bitfields with two or more bits this can be intentional, but single
bit bitfields are typically used as booleans, so it is better to make
them unsigned.

fix typo in config.h.in (#1851)

Fix date (#1846)

archive_read_data_into_fd: Increase pointer assignment check (#1843)

Allow tests to pass after 2038 (#1838)

Now uses 33 bits (the maximum possible) in the ustar header in order
to support times out to 2106.

Fixes #1837

Fix cpio test in 2038 (#1836)

Without this patch, `bsdcpio_test_option_c` failed after 2038-01-19 with

```
 .../libarchive-3.6.2/cpio/test/test_option_c.c:143: Assertion failed: t >= now - 2
 .../libarchive-3.6.2/cpio/test/test_option_c.c:169: Assertion failed: t >= now - 2
 .../libarchive-3.6.2/cpio/test/test_option_c.c:205: Assertion failed: t >= now - 2
```

Background:
As part of my work on reproducible builds for openSUSE, I check that
software still gives identical build results in the future.
The usual offset is +16 years, because that is how long I expect some
software will be used in some places.
This showed up failing tests in our package build.
See https://reproducible-builds.org/ for why this matters.

Add tests for the new zstd options.

Document the new zstd options.

Support producing multi-fragment zstd archives.

When the `zstd:frame-per-file` option is specified, the zstd filter will start a new frame when flushed, i.e. for each file in the archive.

The `zstd:min-frame-size=N` option modifies the `zstd:frame-per-file` option in that it will not start a new frame unless the current one exceeds `N` bytes.

When the `zstd:max-frame-size=N` option is specified, the zstd filter will start a new frame any time the compressed size of the previous one exceeds `N` bytes.

These options decrease compression efficiency by a varying amount (depending on the exact composition of its contents) but render the tarball seekable, to a certain extent.

Flush write filters between entries.

* Add a flush() method to write filters.
* Add an __archive_write_filters_flush() function which iterates over filters in order and invokes the flush method for any filter that has one and that has written data.
* Call __archive_write_filters_flush() before writing a new header.

Clean up zstd support code.

Do not account for NULL terminator when comparing with "TRAILER!!!" (#1814)

Because at that point, you may as well replace the whole thing with
strcmp

Update autotools and fix warnings (#1815)

We do not need to check TIME_WITH_SYS_TIME anymore. We can check
HAVE_SYS_TIME_H and not bother checking for C99.

replace time64 functions with normal ones (#1830)

Otherwise there are 32/64-bit pointer conversions going on. In Windows
since MSVC2005, time_t has been 64-bit. MinGW needs a hack to get 64-bit
time_t.

Signed-off-by: Rosen Penev <rosenp@gmail.com>
Signed-off-by: Rosen Penev <rosenp@gmail.com>

further cleanup _localtime64_s (#1824)

These were missing from 2d329073435d36065ce30bfd29428f6a45e41016

Signed-off-by: Rosen Penev <rosenp@gmail.com>
Signed-off-by: Rosen Penev <rosenp@gmail.com>

Only add "iconv" to the .pc file if needed (#1825)

Hi,

Thanks for writing and maintaining libarchive!

What do you think about this trivial change that does not add "iconv" to
the pkg-config file's list of required packages unless it is actually
needed? On at least Debian GNU/Linux systems, the iconv(3) function is
part of the system C library and there is no Debian package that
installs an iconv.pc file, so I had to make this change to the Debian
package of libarchive.

Thanks again, and keep up the great work!

G'luck,
Peter

add "no sanitize undefined" attribute with clang (#1827)

Issue #1826

Memory leaks fix for tests (#1829)

Issue #1828

cleanup _localtime64_s (#1820)

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Libarchive 3.6.3dev

Release 3.6.2

archive_hmac: use EVP_MAC_*() in OpenSSL 3.0

HMAC_*() functions have been deprecated since OpenSSL 3.0

CI: update Ubuntu to 22.04 and MacOS to 12

archive_read_support_format_tar: avoid always-true comparsion

Reported by: GitHub CodeQL
Code Scanning Alert: 125

test_sparse_basic: avoid always-true comparsion

Reported by: CodeQL
Code Scanning Alert: 126

test_main.c: omit always-true comparsion

Reported by: CodeQL
Code Scanning Alert: 127

test_read_format_rar5: correctly use verify_data()

Reported by: CodeQL
Code Scanning Alert: 129

mtree reader: check __archive_rb_tree_find_node() for NULL return

Reported by: GitHub CodeQL
Code Scanning Alert: 190

archive_read_disk_posix: fail if unable to alocate memory in tree_push()

Reported by: GitHub CodeQL
Code Scanning Alert: 189

various: fix unitialized local variables

Reported by: GitHub CodeQL
Code scanning alerts: 214, 215, 216

tests: silence localtime() CodeQL warnings

Use localtime_r() or _localtime64_s() if available

tests: silence more CodeQL warnings in test_utils/test_main.c

Catch one more uncatched strcpy() and strcat()

tests: silence some CodeQL warnings in test_utils/test_main.c

Use fchmod() instead of chmod() if available
Use strncpy() and strncat() instead of strcpy() and strcat()

tests: silence CodeQL warning in tar/test_option_b

Use strncpy() and strncat() instead of strcpy() and strcat()

cab reader: cast to int when subtracting unsigned integers

Found by: GitHub CodeQL

Add CodeQL workflow for GitHub code scanning (#1800)

Co-authored-by: LGTM Migrator <lgtm-migrator@users.noreply.github.com>

Merge pull request #1806 from kikht/share-write

Use FILE_SHARE_WRITE and FILE_SHARE_DELETE when opening files on Windows

Merge pull request #1771 from EwgeniWolowik/extend_cleanup_pathname_by_windows_remote_path

 Fixed issue #1770: base dir deals with network drive paths like \\server\file

Merge pull request #1802 from banjiuqingshan/master

free mstr to fix memory leaks