7zip: Verify that Codec ID fits into 63 bit

According to 7zip standard, up to 15 bytes can be used for the Codec ID,
but not more than 63 bit shall be used (by today):

- Switch to uint64_t to avoid 32 bit unsigned long on Windows
- Verify that Codec ID parser does not overflow the integer

If the Codec ID does not fit, treat it as a file format error.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

Merge pull request #3019 from kientzle/kientzle-sparse-uaf-012

[sparse] UAF in sparse_reset

Merge pull request #3018 from tbkka/tbkka-mtree-null-deref-014

[MTREE] NULL pointer deref during archive close

[sparse] UAF in sparse_reset

[MTREE] NULL pointer deref during archive close

Merge pull request #3017 from tbkka/tbkka-iso9660-015-019

[ISO9660] Fix NULL deref and Joliet ID overflow

Allow functions to be unused here

[ISO9660] Fix NULL deref and Joliet ID overflow

Merge pull request #3013 from tbkka/tbkka-xar-undefined-011-018

[XAR] Fix two UB

Generalize code to run on Windows

Merge pull request #2984 from tyler-yankee/cpio-hardlink-pathname-null

cpio reader: Validate pathname in record_hardlink

cpio reader: Validate pathname in record_hardlink

Prevent null pointer dereference and heap-use-after-free when
processing CPIO archives with hardlink entries that lack pathname
information.

Merge pull request #3014 from kientzle/kientzle-test_utils-ub

[test_utils] Fix a minor UB

[7zip] Another shift UB caused by integer promotion

[test_utils] Fix a minor UB

(UBSan occasionally finds something interesting and
often reports whacky non-bugs like this one. "Fixing"
it will make the real UB bugs easier to identify, so...)

According to C's integer promotion rules, `unsigned short` gets
promoted to _signed_ `int`, and shifting into the sign bit of an `int`
is technically UB.  Explicit cast to `unsigned` quiets UBSan.

Merge pull request #3012 from tbkka/tbkka-pathmatch-buffer-overread-003

[pathmatch] Heap buffer over-read

Include missing file

Merge pull request #3011 from tbkka/tbkka-tar-acl-oob-002

[ACL] Parser out-of-bounds read

[XAR] Fix two UB

1. The XAR writer's path normalization code uses strcpy() to move
   parts of a path string within the same buffer. The source and
   destination ranges overlap, which is undefined behavior for strcpy().

2. Failure to check string length before accessing the last character
   of a path component. For empty components (e.g., //), the length is 0,
   and length-1 underflows to SIZE_MAX.

[pathmatch] Heap buffer over-read

The bracket expression matching [ in the pathmatch engine fails to
handle malformed patterns, specifically when a closing ] is missing or
when high-byte characters are used. The scanner advances the pattern
pointer beyond the allocated buffer.

Merge pull request #3008 from jlduran/fix-root-mtree

mtree: Do not append '/' when basename is '.'

[ACL] Parser out-of-bounds read

The ACL parser fails to validate buffer length when processing PAX
attributes (SCHILY.acl.access/default). The next_field() function
attempts to read a separator character from a pointer even when the
remaining length is zero.

Reported-by: Kamil Frankowicz

Merge pull request #3010 from kientzle/kientzle-overlarge-dates

Date parsing: reject dates with numbers of more than 4 digits

Fix build error

mtree: Do not append '/' when basename is '.'

If the basename is '.', it means it is the root directory ('/').  Do not
append '/' to '.', as this will produce a path '/.', resulting in an
invalid mtree entry.

For example, using base.txz from FreeBSD:

    tar -c -f - --format=mtree @base.txz | mtree -C

Date parsing: reject date components with numbers of more than 4 digits

Only the Unix epoch format `@<timestamp>` can have a number with
more than 4 digits.  So let's break out the numeric parsing into
a standalone uint64 parser and use it separately to parse epoch
timestamps (which are only limited by the range of time_t) and
other date components.

It also avoids a time-consuming leap-year correction for
nonsensically large year values.

Merge pull request #3009 from kientzle/archive-read-sticky-fatal

Minor cleanups from #2298

Cleanup a new test, fill in some missing assertions

Merge pull request #2998 from kientzle/archive-read-sticky-fatal

archive_read: FATAL should be sticky for all API calls

TODO seems to have been addressed; remove

Merge pull request #3007 from jlduran/escape-vis-glob-chars

mtree: Escape standard pathname matching characters

mtree: Escape standard pathname matching characters

Escape all strsvis(3) VIS_GLOB matching characters ('*', '?', '[', or
'#').

Restore verbosity

Fix CMake style

Restore switch_multivolume as needed

Adjust tests

Fix CMake-based testing

Make default test output verbose, for better CI info

Merge pull request #3006 from stoeckmann/7zip_32

7zip: Fix 32 bit heap overflow

7zip: Fix more 32 bit truncations

Check for truncations before casting uint64_t to size_t for 32 bit
system safety.

Reported by Asaf Meizner.
Resolves additional notes in GHSA-rf5v-vf7c-6wvg.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Fix 32 bit heap overflow

Prevent an unsufficient memory allocation on 32 bit systems by checking
if a uint64_t value actually fits into size_t.

Resolves GHSA-rf5v-vf7c-6wvg.

Merge branch 'master' into archive-read-sticky-fatal

Merge pull request #3005 from kientzle/kientzle-automatic-test-discovery

[CMake] Automatically update `list.h`

[CMake] Automatically update `list.h`

`list.h` contains a list of all the tests and is generated
by grepping the test source files for `DEFINE_TEST`.
Previously, it was generated at configure time.
This meant that if you added a new test to an existing
source file, you had to manually reconfigure.

This adds the necessary dependencies so that `list.h`
is regenerated whenever any C test source changes.
This ensures that new tests are always discovered automatically.

Note:  If someone wants to update the autoconf-based
build system to do this, please send a PR.

Merge pull request #3000 from kientzle/kientzle-cab-hardening

[CAB] Harden the handling of invalid headers

Merge pull request #3004 from kientzle/kientzle-rar5-bad-tables

[RAR5] FAIL if the decode table is > 2^16

Remove unused var

Solid archives cannot recover from a failed entry

[RAR5] FAIL if the decode table is > 2^16

Merge pull request #3002 from kientzle/7zip-setup-decode-folder-state-order

[7zip] Clean up the failure path in `setup_decode_folder`

Merge pull request #3003 from kientzle/kientzle-test-runner-name-args

Clarify the test harness usage

Clarify the test harness usage

[7zip] Clean up the failure path in `setup_decode_folder`

As noted by @dunhor, the logic here was a little unclear.
Reorganize to do all the checks, then set up the decode
parameters only if the checks pass.

This has no functional change, it's just a legibility improvement.

[RAR5] Correct handling of unknown filter types

The change to return FAILED for entry-specific issues uncovered
flaws in RAR5 handling of filter types:
* Supported filter types are verified in `parse_filter` and
  were being also checked in `run_filter` -- the duplication
  confused the error handling here.
* `do_uncompress_file` was only checking for `FATAL` from
  the upstream filter logic, so failed to properly pass
  `FAILED` errors through

[rar5] Fix infinite loop in header parsing

The change to return `FAILED` instead of `FATAL` for issues that
impact a single entry (but don't necessarily terminate the entire archive)
created a bug in header parsing since `FAILED` wasn't handled in a
header-check loop.

Thank goodness for fuzzing CI!

7zip: propagate skip_stream's actual error code in read_data_skip

archive_read_format_7zip_read_data_skip used to coerce any negative
skip_stream() return into ARCHIVE_FATAL.  That is wrong in principle:
ARCHIVE_FAILED can legitimately propagate up from setup_decode_folder()
through read_stream() and skip_stream(), and the wrapper should not
upgrade it.

In the current encryption-partially test case this is empirically a
no-op because skip_stream() still returns ARCHIVE_FATAL via a second,
deeper code path through extract_pack_stream().  An inline TODO comment
flags that asymmetry for a follow-up audit.

rar5: convert remaining per-entry data errors to ARCHIVE_FAILED

Follow-up to 9fa772ab.  An audit of the rar5 reader found many more
ARCHIVE_FATAL returns in data-decode paths that should be ARCHIVE_FAILED
so the caller can move on to the next entry after a corrupt one:

  apply_filters       Unsupported filter type
  parse_tables        Truncated huffman tables, decode failures (8 sites)
  parse_block_header  Unsupported header size, block checksum error
  do_uncompress_block Decode code length / distance slot failures
                      Distance pointer overflow
                      decode_number / decode_code_length failures
  merge_block         Block size == 0 during merge
  do_uncompress_file  Invalid window size declaration
  verify_checksums    CRC32 / BLAKE2 mismatch

Programmer assertions, ENOMEM, true I/O errors, and propagation of
copy_string's window-buf-NULL FATAL return are intentionally kept as
ARCHIVE_FATAL because they are not recoverable per-entry conditions.

rar: convert remaining per-entry data errors to ARCHIVE_FAILED

Follow-up to 4f148608.  A code review found additional ARCHIVE_FATAL
returns in RAR4 data-decode paths that should be ARCHIVE_FAILED so the
caller can move on to the next entry:

  read_data_block      Truncated RAR file data
  read_data_compressed PPMd "Invalid symbol" (3 sites)
  parse_codes          Zero window size is invalid
  add_value            Prefix found (second site)
  make_table_recurse   Huffman tree was not created
  make_table_recurse   Invalid location to Huffman tree specified

These are all per-entry parse/decode failures.  As with the earlier
batch, the rar4 input position is tracked by rar_br_fillup so
read_data_skip will correctly advance past the damaged entry, and
RAR4 solid mode is not supported, so subsequent entries are not at
risk from a half-consumed shared decoder state.

tests: update expected return codes from FATAL to FAILED

Per-entry data errors (encryption, invalid filters, bad bitstream) now
return ARCHIVE_FAILED instead of ARCHIVE_FATAL.  Update tests that were
asserting the old incorrect ARCHIVE_FATAL return codes.

The one exception is test_read_format_7zip_encryption_partially line 71,
which asserts ARCHIVE_FATAL after archive_read_next_header on the entry
following an encrypted entry: 7zip cannot skip an encrypted entry (the
decode-folder setup fails), so the skip legitimately returns ARCHIVE_FATAL
and the archive is done.

7zip: return ARCHIVE_FAILED (not ARCHIVE_FATAL) for per-entry data errors

setup_decode_folder() returned ARCHIVE_FATAL for both header-level and
data-level encryption/filter errors.  Header encryption is a true
archive-fatal condition; data encryption is per-entry.

Distinguish the two by returning ARCHIVE_FATAL when decoding archive
headers (header==1) and ARCHIVE_FAILED when decoding file content
(header==0).  Fix the call site in read_stream() to propagate the
actual return value rather than mapping all errors to ARCHIVE_FATAL.

rar5: return ARCHIVE_FAILED (not ARCHIVE_FATAL) for per-entry data errors

Two per-entry errors in the RAR5 data-reading path were returning
ARCHIVE_FATAL, preventing iteration over subsequent entries:

- "Reading encrypted data is not currently supported": the encryption
  is per-entry; unencrypted entries in the same archive remain readable.

- "Invalid filter encountered": a malformed filter spec in one entry
  does not make the rest of the archive unreadable.

Change both to ARCHIVE_FAILED.

rar: return ARCHIVE_FAILED (not ARCHIVE_FATAL) for per-entry data errors

ARCHIVE_FATAL means the entire archive is unreadable and no further
operations are valid.  ARCHIVE_FAILED means the current entry cannot
be processed but iteration over subsequent entries may still succeed.

The RAR4 decompressor was returning ARCHIVE_FATAL from a large number
of data-parsing failures (invalid Huffman prefix, invalid PPMd sequence,
bad CRC, invalid symbol, etc.) that are per-entry errors.  Because each
entry's compressed data region can be skipped using the packed_size
recorded in its file header, a decompressor error does not prevent
reading the next entry's header.

Change all such per-entry errors in the data-reading path
(read_data_stored, read_data_compressed, parse_codes, create_code,
add_value, make_table_recurse, expand, copy_from_lzss_window,
copy_from_lzss_window_to_unp) to return ARCHIVE_FAILED.  OOM errors
and true I/O failures (rar_br_preparation truncated-data) remain
ARCHIVE_FATAL.

archive_read: make ARCHIVE_FATAL sticky in data-reading entry points

Three entry points in archive_read.c could return ARCHIVE_FATAL from
the format layer without setting a->archive.state = ARCHIVE_STATE_FATAL,
so subsequent API calls would not see the archive as fatally broken:

- archive_read_data_skip() unconditionally reset state to HEADER even
  when the format's skip returned ARCHIVE_FATAL.

- archive_seek_data() and _archive_read_data_block() forwarded FATAL
  from the format layer without recording it in the archive state.

Fix all three so that ARCHIVE_FATAL causes the state to become
ARCHIVE_STATE_FATAL, consistent with the existing behavior of
archive_read_next_header().

Merge pull request #3001 from kientzle/kientzle-7zip-test-more-tolerant

Suppress spurious failures from old liblzma

Suppress spurious failures from old liblzma

[CAB] Harden the handling of invalid headers

Clear invalid data when a header is invalid.
Check for data being larger than the allocated buffer.

Thanks to @ReverseWarrior for pointing out this issue,
and providing the fix.

Merge pull request #2992 from kientzle/kientzle-acl-isint-overflow

Expand ACL testing

Merge pull request #2991 from kientzle/kientzle-tar-timestamp-hardening

[tar] Harden timestamp parsing

Use `time_t` return for a `time_t` value

Merge pull request #2996 from kientzle/kientzle-zip-empty-pathname

[Zip] Reject empty pathnames in ZIP writer

Merge branch 'master' into kientzle-zip-empty-pathname

Merge pull request #2993 from kientzle/kientzle-zip-long-pathnames

[Zip] Don't try to write overlong pathnames

[Zip] Reject empty pathnames in ZIP writer

An empty pathname caused a one-byte OOB read before the heap buffer in
write_path() due to two compounding bugs:
(1) misuse of bitwise & instead of logical &&, and
(2) missing gaurd for an empty pathname

[Zip] Reject overlong pathnames in Zip writer

Test writing overlong Zip pathnames

[ACL] Add more tests for POSIX.1e ACLs

This mirrors the tests just added for NFS4 ACLs.  They
didn't uncover any problems.

[archive_acl] Reject ACL entries with out-of-range numeric IDs

isint() and isint_w() previously clamped values >= INT_MAX to INT_MAX
and returned success, allowing malformed ACL text to silently set IDs
to an arbitrary sentinel value.  Change them to return -1 (a new
"overflow" indication) instead, and update all callers in both the
NFS4 and POSIX parsers (narrow and wide) to treat overflow as
ARCHIVE_WARN and skip the offending entry.

Add test_acl_nfs4_text.c with four test functions covering NFS4 ACL
text round-trips, audit/alarm entry types, numeric-ID handling
including the overflow boundary (INT_MAX - 1 accepted, INT_MAX
rejected), and malformed-entry error paths.

[tar] Harden timestamp parsing

Improves the parsing of timestamps in a couple of ways:

* Saturate when timestamps exceed the range of time_t.
  In particular, this provides more rational behavior on
  systems with 32-bit time_t.

* Validate the format of overlong pax timestamps.
  We previously failed to check that high-resolution
  timestamps had only digits in the fractional part.
  We now notice and ignore those with a warning.

Merge pull request #2990 from kientzle/kientzle-gitignore-AI-files

Ignore local CLAUDE/GEMINI files

Ignore local CLAUDE/GEMINI files

Merge pull request #2989 from kientzle/kientzle-test-documentation

Minor clarification on test discovery

Minor clarification on test discovery

Merge pull request #2985 from stoeckmann/7zip_sfx

7zip: Harden SFX parser

Merge pull request #2988 from kientzle/kientzle-acl-to-text

[archive_acl] Fix buffer overrun and wrong output for NULL-name ACL entries

archive_acl: Fix buffer overrun and wrong output for NULL-name ACL entries

archive_acl_text_len() counted the trailing ":id" digits only when
ARCHIVE_ENTRY_ACL_STYLE_EXTRA_ID was set, but archive_acl_to_text_l()
always writes them for USER/GROUP entries whose name is NULL.  With a
7-digit or larger id the allocated buffer was too short, causing
append_id() to write past its end.

Fix the estimator to also count the extra colon and digits when the
name is NULL, matching the serializer's logic.

The wide serializer (archive_acl_to_text_w) had the opposite problem:
it passed id=-1 to append_entry_w() for NULL-name entries regardless
of the id value, causing a garbage character to be written in the name
field and the numeric id to be omitted entirely.  Fix it to mirror the
narrow serializer by setting id = ap->id when wname is NULL.

Add tests for both the narrow and wide paths.

Merge pull request #2983 from kientzle/kientzle-iso9660-joliet-pathname

[iso9660] Fix joliet pathname overflow

Merge pull request #2973 from dag-erling/des/darwin-crypto

On Darwin, get digests from libsystem

configure: On Darwin, get digests from libsystem

Darwin covers a wide range of platforms with similar but not identical
sets of libraries.  MD5, SHA1 and SHA2 are available from libsystem on
all of these, but macOS also has them in libc and libmd.  Restricting
our search to only libsystem means we can run configure on macOS and get
a config.h that also works for other Darwin platforms.

7zip: Fix typos in comment

Also clarify that all systems will handle these SFX files, no matter on
which system libarchive is used.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Cap maximum allocation for SFX handling

If 7zip header cannot be found within roughly first 8 MB of data, skip
detection and assume that file is not a valid 7zip archive.

This avoids various 32 bit truncation issues as well as out of memory
conditions.

Reported by various individuals:
- Amemoyoi
- b4sh5i
- Jie Zhu
- Tikket
- wooseokdotkim

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Be precise about SFX data types

Use desired data types: Offsets in files are (u)int64_t, sizes in memory
are (s)size_t. Use signedness when needed or specified by APIs.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Adjust sfx offset function signatures

Return an int for error information and supply offset through a given
argument. This fits other function declarations and makes it much easier
to differentiate between status and "return value".

While at it, merge fallback mechanism of both functions.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Merge skip_sfx into get_data_offset

This removes the function skip_sfx which makes slurp_central_directory
and archive_read_format_7zip_bid use the same code now.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Introduce get_data_offset

Its functionality is split off from archive_read_format_7zip_bid
and returns offset to actual data, i.e. it handles self extracting
(SFX) files if offset 0 is not already a 7zip magic.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Reduce archive_read_format_7zip_bid depth

Prepare content of archive_read_format_7zip_bid to be split into its own
function which eventually can be reused by slurp_central_directory.

No real functional change (split if-blocks).

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

7zip: Remove casts in check_7zip_header_in_sfx

Directly request an unsigned char pointer. This removes casts within the
function check_7zip_header_in_sfx and its surrounding caller code.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

Fix joliet pathname buffer overflow

[ISO9660] Test for buffer overflows with Joliet pathname building

Credit: Anthropic

Merge pull request #2526 from fdegros/compress_support

Fix SIGSEGV in compress filter when appended before open

Merge pull request #2980 from kientzle/kientzle-7zip-numfiles

[7zip] Sanity-check the number of files