Work around pyright errors

Call rmtree() on context.root after finalize_staging()

After we've finalized the staging directory, there is no more need
for the root directory in the workspace. It used to get cleaned by
the setup_workspace() context manager but this is rather slow (can
take more than a second). By calling rmtree() explicitly, if we're
on a btrfs filesystem, we'll call btrfs subvolume delete which is
much faster than rm.

Make sure rmtree() doesn't fail on paths that don't exist

Always rerun build if Format=none and don't remove previous outputs

Let's always rerun the build if Format=none. Also, since we know
Format=none won't touch any of the outputs we know about, let's keep
the existing outputs intact. This allows using Format=none to rerun
the build script without removing the existing output (e.g. directory
or disk image).

We'll be able to make use of this in mkosi-kernel to rebuild the kernel
modules without removing the disk image produced in a previous step.

We also simplify check_outputs() to only check the main output and not
the auxiliary outputs.

Fix disk image check

Show proper error when using disk images as a tree without being root

Fixes #2818

Add mirror to package cache key if one is specified

On Arch Linux, pacman seems to only check if the sync db on the
mirror is newer than the one available locally, which breaks when
using e.g. the archive where the sync db is older by definition.

Let's add any specified mirror to the default package cache dir key
to make sure that a different cache is used for explicitly specified
mirrors.

Resolve source symlink in install_tree()

We do a bunch of checks on file extension and such, and those
should be done on the resolved filename and not on a symlink.

Make sure policy-rc.d parent directory exists

If BaseTrees= is used /usr/sbin might not exist so let's make sure
it does to avoid failing with an incomprehensible exception.

Pick up GNUPGHOME from user's environment

If not set in Environment=, we default to the user's home directory.
Let's instead use GNUPGHOME from the user's environment if it is set
before falling back to the user's home directory.

Fixes #2815.

build(deps): bump github/codeql-action from 3.25.3 to 3.25.11

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.3 to 3.25.11.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/d39d31e687223d841ef683f52467bd88e9b21c14...b611370bb5703a7efb587f9d136a52ea24c5c38c)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 4.1.6 to 4.1.7

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.6 to 4.1.7.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/a5ac7e51b41094c92402da3b24376905380afc29...692973e3d937129bcbf40652eb9f2f61becf3332)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2814 from NekkoDroid/tar-decompression

Support decompressing tar archives (+ use systemd-dissect long option)

Use long options for `systemd-dissect`

Support decompressing tar archives

This switches `extract_tar` to read the file itself instead of from
stdin to be able to auto-detect the compression method used.

BSD tar can auto-detect and decompress from stdin, but GNU tar only
auto-detects the compression method and notifies the user, but refuses
to run when not explicitly specifying the format on the command line.

doc: distribution-gpg-keys is available in Arch Linux

This package is available in the Arch Linux repositories since
2024-06-19.

doc: mention default QEMU exit keybinding

Quitting directly is easier then first switching to the qemu console and
then entering `quit`.

https://www.qemu.org/docs/master/system/mux-chardev.html

Fix mirror paths for centos/fedora family of distributions.

We assumed that fedora would always be in the fedora subdirectory
of the mirror and that centos would always be in the centos-stream
subdirectory of the mirror but this is not guaranteed to be true
(see https://pagure.io/centos-infra/issue/1430).

Let's fix this by not always appending centos-stream/ or fedora/ to
the given mirror so the user can determine whether to include this
or not.

This is a breaking change but making sure all mirrors can be used
regardless of layout seems more important in this case.

For EPEL we do make a bigger assumption on the mirror layout since
we're forced to as we don't have a mechanism to specify more than one
mirror. We also allow users to override the epel mirror via an
environment variable.

aarch64 fixes for default image packages

Default to no secure boot for non-x86 architectures

mkosi-initrd: provide a separate mkosi-initrd script

Extract the basic functionality implemented on the kernel-install plugin into a
separate script. This allows to simplify the initrd/UKI build auto-filling
arguments of the `mkosi` call, and also auto-include user/distro configuration
from `/{etc,usr/lib}/mkosi-initrd`.

Merge pull request #2789 from keszybz/eradicate-named-tuples

Use dataclasses instead of NamedTuples, unnest code

Two small cleanups suggests by pylint

kernel-install: drop final NamedTuple use

tests: make Config a normal dataclass

qemu: drop another NamedTuple use

installer/arch: make Repository a normal dataclass

sandbox: drop another NamedTuple use

installer/apt: make Repository a normal dataclass

NamedTuple is an outdated solution… Make a normal dataclass to
match other places. Dataclasses also have nicer string representation.

Also let's not make the class nested. This doesn't matter terribly here,
but it makes the code unusual. Rename the type to "AptRepository"
to match RpmRepository.

installer/rpm: make RpmRepository a dataclass

Dataclasses are the more modern approach, with better string representation and
less hacks. A NamedTuple is also a tuple, which is rather surprising when we
don't use that.

Update mkosi apt sources location in kernel-install plugin

This was changed in cffddd87776178f19d9a7a633aa597cc9e49722f so let's
accomodate for that in the kernel-install plugin.

Merge pull request #2806 from DaanDeMeyer/debian

Deal with systemd split packages added in Debian testing

mkosi-tools: Sort package list

Deal with systemd split packages added in Debian testing

systemd-repart and systemd-cryptsetup were moved to subpackages in
Debian testing. Let's make sure we account for that in mkosi-tools
and mkosi-initrd.

Only use fw_cfg if credential name is not too long

Merge pull request #2802 from DaanDeMeyer/sdmagic

Fix sdmagic check on CentOS

Bump 256~devel version requirements to 256

Now that 256 is released, let's bump our 256~devel version requirements
to 256.

Fix sdmagic check on CentOS

systemd-stub on CentOS has misaligned PE sections causing us to read
a bunch of null bytes from the sdmagic section. Let's treat this case
as not finding a stub version to fix the CI builds.

Skip directories when generating checksums

It is possible that some directory is created by the user in
`mkosi.postoutput`, so just make sure to skip those as they can't be
hashed.

Also remove the check for directory output type as auxiliary files may
be created that should be hashed.

Don't rename vmlinux to vmlinuz when copying from /boot to /usr

We only want to rename vmlinux to vmlinuz when copying to the output
directory. In the image itself we can keep using the same name.

Follow up for 6972f9efba5c8472d990be3783b7e7dbf76e109e

mkosi-tools: Install distribution-gpg-keys in Arch Linux default tools tree

It was recently packaged in the extra repository.

Merge pull request #2799 from DaanDeMeyer/tmp

Various sandbox fixes

Make /var/tmp optional for sandbox

Let's only create a custom /var/tmp directory for some commands instead
of all of them.

We only create a custom /var/tmp for systemd-repart and scripts as other
commands shouldn't have need for a separate /var/tmp that's stored on disk.

Fixes #2792

Fix sandbox in run_postoutput_scripts()

Rename vartmp to vartmpdir

Make sure /tmp, /var/tmp and /dev/shm permissions are correct in sandbox

Stop mounting tmpfs to /tmp in sandbox

/ is already a tmpfs in the sandbox, so there's no real point in
mounting a tmpfs to /tmp.

Merge pull request #2798 from DaanDeMeyer/fix

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Simplify logic

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Fixes #2796

mkosi-initrd: replace long-time deprecated $tempnode with $devnode

qemu/vmspawn: check for an uncompressed kernel too

On some architecture/distributions (eg: ppc64el and riscv64 on Debian/Ubuntu)
the kernel is shipped uncompressed, as vmlinux. If vmlinuz cannot be found,
try looking for vmlinux.

Merge pull request #2787 from DaanDeMeyer/fix

chdir into /proc for determining default Config

chdir into /proc for determining default Config

There are users that run mkosi from / so let's use /proc instead.

Fixes #2786

Extend hint for workspace directory and build sources

centos: Support building centos stream 10 default images

Stream 10 does not have EPEL yet so we make those few packages Fedora
only for now.

centos: Fix GPG key search logic

Let's only look for the release key of the release we're building for
and add support for searching for the SHA256 key which is used by centos
stream 10.

We can't use the symlinked names because those don't exist on centos.org/keys.

centos: Change local rpm GPG key location

Let's look for the one suffixed with the release number. This doesn't
change behavior for c9s as this is a symlink to the file we looked for
previously but will fix our behavior for c10s which uses a different key.

docs: update Output= info
From the release notes of v23:

> Image names from mkosi.images/ are now preferred over the specified
> image ID when determining the output filename to use for an image.

Add nosuid,noexec and nodev where appropriate when remounting

If not we get permission errors if the host mount uses nosuid,noexec
or nodev.

Fixes #2776

Bump version to 24~devel

mkosi.md: fix typo

Release 23.1

Bump version to 24~devel

Release 23

Add dpkg and dpkg-query scripts

Add `mkosi.postoutput` scripts

Set default output name for `mkosi-tools`

This should allow one to invoke `mkosi --directory "" --include mkosi-tools`
in the project root to create a tools tree that is automatically
detected and used in subsequent invocations.

Set stdout/stderr of not found process to empty string instead of None

Remove some dead code

action: Use aa-teardown to disable apparmor

systemctl stop apparmor doesn't seem to be sufficient, aa-teardown
on the other hand seems to do the trick.

Fix missing mount in `mkosi.clean`

action: Also uninstall apparmor

action: Disable apparmor completely

These are ephemeral CI machines with full root access without password,
there's really no point in running apparmor in the first place so instead
of trying to work around broken apparmor policies, just disable apparmor
completely.

Merge pull request #2765 from DaanDeMeyer/rawhide

Build a Fedora rawhide image by default

Build a Fedora rawhide image by default

Helps with catching issues more than Fedora 40 does.

tests: Make sure we set systemd.firstboot=no

Otherwise the boot might get stuck on a prompt from systemd-firstboot.service
or systemd-homed-firstboot.service.

action: Disable and remove unix-chkpwd apparmor policy

The apparmor policy prevents Fedora Rawhide containers from booting
in systemd-nspawn. See https://gitlab.com/apparmor/apparmor/-/issues/402.

Install virtiofsd in debian/ubuntu tools trees

Add dependencies verb

Fixes #2529

Make --tools-tree the same as --tools-tree=default

Saves on typing and makes it easier to use overall.

mkosi-initrd: Always add binfmt_misc, autofs and efivarfs modules

mkosi-initrd: Always add virtio_pci

mkosi-initrd: Include more modules

- systemd logs an error if x_tables.ko is missing so let's include it.
- For cryptsetup, let's make sure we include all crypto modules so it
always has everything it needs

mkosi-initrd: Add more default kernel modules

More virtualization modules required to boot an opensuse image in
qemu (opensuse has much more modules compared to Fedora which has
more builtin).

Introduce "default" and "host" for kernel modules include settings

mkosi-initrd: Include various virtualization modules by default

Let's make sure our initrds include all necessary modules to boot
in a virtualized environment.

mkosi-initrd: Always include vsock

Fix `UnifiedKernelImageFormat=` config name

Update NEWS

Merge pull request #2450 from DaanDeMeyer/ndb

Two opensuse improvements

Give local repositories a higher priority

Implement Repositories= for zypper

opensuse: Add glibc-gconv-modules-extra to default tools tree

This package was split off from glibc but mtools does not yet have
a required dependency on it (see
https://bugzilla.opensuse.org/show_bug.cgi?id=1225982) so for now
let's install it ourselves.

Make sure we don't fail when there is no sdmagic section in sd-stub

The sdmagic section in sd-stub was only introduced in systemd 250.
Since Ubuntu Jammy ships systemd 249, let's make sure we gracefully
handle the scenario where we can't find the sdmagic section.

dnf: Enable versionlock plugin by default

Let's allow users to make use of the versionlock plugin by enabling
it by default. To make sure it doesn't fail, we write a noop
configuration that makes the plugin do nothing at all which users
can then override using PackageManagerTrees=.

Merge pull request #2733 from NekkoDroid/bootloader-entry-format

Add `UnifiedKernelImageFormat=` (attempt 2)

Add `UnifiedKernelImageFormat=` with specifiers

This can be used to control the name to use for the UKI during image
generation. Special `&` specifiers can be used to include kernel
specific information in the filename.

This is useful for the `systemd-sysupdate` case, as you can set this to
`%i_%v` to use a format that can be parse by its configuration. The
current format used includes both a roothash as well as the kernel
version which both can't be matched by sysupdate.

Unify roothash handling for the UKI name

Add `UnifiedKernelImages=` to summary