Use mkosi dependencies in default image

Let's reduce duplication by using mkosi dependencies to install
all required dependencies to build the default image. To make this
work we add support for tools trees on jammy/bookworm. We also drop
support for a focal default image as it's too much of a burden to
maintain.

We also remove the EPEL only packages from the CentOS tools tree so
that mkosi dependencies works on a CentOS Stream system without EPEL
enabled.

Finally, curl-minimal is replaced by curl because trying to install
curl-minimal on a system with curl leads to a dnf failure so we opt
for the larger curl in order to make mkosi dependencies useful in
more situations.

Don't parse configuration for dependencies verb

opensuse: Modernize and complete repositories

Let's complete our list of opensuse repositories and modernize the
implementation at the same time.

Add %F to access the default filesystem of a distribution

One annoyance about using mkosi.repart has always been that to keep
using the default filesystem per distribution you have to write a
lot of matches. Now that systemd-repart supports
$SYSTEMD_REPART_OVERRIDE_FSTYPE_ROOT, let's add a specifier to access
the default filesystem so that it can be combined with the environment
variable to get the same result.

Replace root=PARTUUID and mount.usr=PARTUUID with the actual partition UUID

These are not known upfront so let's treat these literals as placeholders
which are to be replaced with the actual partition UUID when we know it.

Merge pull request #2834 from DaanDeMeyer/virtconsole

Use qemu's virtconsole for the serial console

Use qemu's virtconsole for the serial console

edk2 now has a virtio serial driver so let's switch to virtconsole
for the serial console as it's significantly faster compared to the
old ISA serial console.

Move systemd-ukify to UEFI only config file

It cannot be installed on powerpc or s390x.

Drop default kernel command line

All the latest releases of distributions now have a systemd stub
that knows how to read extra kernel command line arguments from
SMBIOS (It was backported to CentOS Stream 9), so let's drop the
default kernel command line and rely completely on passing the
console to use via SMBIOS.

This makes sure that users trying to deploy our images on bare metal
have a working console. Users that want to access the system via the
serial console will have to add the required console= argument
themselves.

add Arch Linux ARM repo

json: appease type checkers in a less cumbersome way for now

Merge pull request #2827 from DaanDeMeyer/rmtree

Call rmtree() on context.root after finalize_staging()

Work around pyright errors

Call rmtree() on context.root after finalize_staging()

After we've finalized the staging directory, there is no more need
for the root directory in the workspace. It used to get cleaned by
the setup_workspace() context manager but this is rather slow (can
take more than a second). By calling rmtree() explicitly, if we're
on a btrfs filesystem, we'll call btrfs subvolume delete which is
much faster than rm.

Make sure rmtree() doesn't fail on paths that don't exist

Merge pull request #2826 from DaanDeMeyer/fstab

Use fstab.extra instead of kernel command line for extra mounts

Mount all virtiofs mounts in the initrd

This allows using these to mount e.g. kernel modules as well
before switch-root. If there is no initramfs, the modules will still
be loaded in the rootfs.

Use fstab.extra instead of kernel command line for extra mounts

Kernel command line space is very limited, so let's use credentials
where we can instead.

Add rw to extra kernel command line by default

This generally makes more sense as the default for us instead of
ro.

Always rerun build if Format=none and don't remove previous outputs

Let's always rerun the build if Format=none. Also, since we know
Format=none won't touch any of the outputs we know about, let's keep
the existing outputs intact. This allows using Format=none to rerun
the build script without removing the existing output (e.g. directory
or disk image).

We'll be able to make use of this in mkosi-kernel to rebuild the kernel
modules without removing the disk image produced in a previous step.

We also simplify check_outputs() to only check the main output and not
the auxiliary outputs.

Fix disk image check

Show proper error when using disk images as a tree without being root

Fixes #2818

Add mirror to package cache key if one is specified

On Arch Linux, pacman seems to only check if the sync db on the
mirror is newer than the one available locally, which breaks when
using e.g. the archive where the sync db is older by definition.

Let's add any specified mirror to the default package cache dir key
to make sure that a different cache is used for explicitly specified
mirrors.

Resolve source symlink in install_tree()

We do a bunch of checks on file extension and such, and those
should be done on the resolved filename and not on a symlink.

Make sure policy-rc.d parent directory exists

If BaseTrees= is used /usr/sbin might not exist so let's make sure
it does to avoid failing with an incomprehensible exception.

Pick up GNUPGHOME from user's environment

If not set in Environment=, we default to the user's home directory.
Let's instead use GNUPGHOME from the user's environment if it is set
before falling back to the user's home directory.

Fixes #2815.

build(deps): bump github/codeql-action from 3.25.3 to 3.25.11

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.3 to 3.25.11.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/d39d31e687223d841ef683f52467bd88e9b21c14...b611370bb5703a7efb587f9d136a52ea24c5c38c)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 4.1.6 to 4.1.7

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.6 to 4.1.7.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/a5ac7e51b41094c92402da3b24376905380afc29...692973e3d937129bcbf40652eb9f2f61becf3332)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2814 from NekkoDroid/tar-decompression

Support decompressing tar archives (+ use systemd-dissect long option)

Use long options for `systemd-dissect`

Support decompressing tar archives

This switches `extract_tar` to read the file itself instead of from
stdin to be able to auto-detect the compression method used.

BSD tar can auto-detect and decompress from stdin, but GNU tar only
auto-detects the compression method and notifies the user, but refuses
to run when not explicitly specifying the format on the command line.

doc: distribution-gpg-keys is available in Arch Linux

This package is available in the Arch Linux repositories since
2024-06-19.

doc: mention default QEMU exit keybinding

Quitting directly is easier then first switching to the qemu console and
then entering `quit`.

https://www.qemu.org/docs/master/system/mux-chardev.html

Fix mirror paths for centos/fedora family of distributions.

We assumed that fedora would always be in the fedora subdirectory
of the mirror and that centos would always be in the centos-stream
subdirectory of the mirror but this is not guaranteed to be true
(see https://pagure.io/centos-infra/issue/1430).

Let's fix this by not always appending centos-stream/ or fedora/ to
the given mirror so the user can determine whether to include this
or not.

This is a breaking change but making sure all mirrors can be used
regardless of layout seems more important in this case.

For EPEL we do make a bigger assumption on the mirror layout since
we're forced to as we don't have a mechanism to specify more than one
mirror. We also allow users to override the epel mirror via an
environment variable.

aarch64 fixes for default image packages

Default to no secure boot for non-x86 architectures

mkosi-initrd: provide a separate mkosi-initrd script

Extract the basic functionality implemented on the kernel-install plugin into a
separate script. This allows to simplify the initrd/UKI build auto-filling
arguments of the `mkosi` call, and also auto-include user/distro configuration
from `/{etc,usr/lib}/mkosi-initrd`.

Merge pull request #2789 from keszybz/eradicate-named-tuples

Use dataclasses instead of NamedTuples, unnest code

Two small cleanups suggests by pylint

kernel-install: drop final NamedTuple use

tests: make Config a normal dataclass

qemu: drop another NamedTuple use

installer/arch: make Repository a normal dataclass

sandbox: drop another NamedTuple use

installer/apt: make Repository a normal dataclass

NamedTuple is an outdated solution… Make a normal dataclass to
match other places. Dataclasses also have nicer string representation.

Also let's not make the class nested. This doesn't matter terribly here,
but it makes the code unusual. Rename the type to "AptRepository"
to match RpmRepository.

installer/rpm: make RpmRepository a dataclass

Dataclasses are the more modern approach, with better string representation and
less hacks. A NamedTuple is also a tuple, which is rather surprising when we
don't use that.

Update mkosi apt sources location in kernel-install plugin

This was changed in cffddd87776178f19d9a7a633aa597cc9e49722f so let's
accomodate for that in the kernel-install plugin.

Merge pull request #2806 from DaanDeMeyer/debian

Deal with systemd split packages added in Debian testing

mkosi-tools: Sort package list

Deal with systemd split packages added in Debian testing

systemd-repart and systemd-cryptsetup were moved to subpackages in
Debian testing. Let's make sure we account for that in mkosi-tools
and mkosi-initrd.

Only use fw_cfg if credential name is not too long

Merge pull request #2802 from DaanDeMeyer/sdmagic

Fix sdmagic check on CentOS

Bump 256~devel version requirements to 256

Now that 256 is released, let's bump our 256~devel version requirements
to 256.

Fix sdmagic check on CentOS

systemd-stub on CentOS has misaligned PE sections causing us to read
a bunch of null bytes from the sdmagic section. Let's treat this case
as not finding a stub version to fix the CI builds.

Skip directories when generating checksums

It is possible that some directory is created by the user in
`mkosi.postoutput`, so just make sure to skip those as they can't be
hashed.

Also remove the check for directory output type as auxiliary files may
be created that should be hashed.

Don't rename vmlinux to vmlinuz when copying from /boot to /usr

We only want to rename vmlinux to vmlinuz when copying to the output
directory. In the image itself we can keep using the same name.

Follow up for 6972f9efba5c8472d990be3783b7e7dbf76e109e

mkosi-tools: Install distribution-gpg-keys in Arch Linux default tools tree

It was recently packaged in the extra repository.

Merge pull request #2799 from DaanDeMeyer/tmp

Various sandbox fixes

Make /var/tmp optional for sandbox

Let's only create a custom /var/tmp directory for some commands instead
of all of them.

We only create a custom /var/tmp for systemd-repart and scripts as other
commands shouldn't have need for a separate /var/tmp that's stored on disk.

Fixes #2792

Fix sandbox in run_postoutput_scripts()

Rename vartmp to vartmpdir

Make sure /tmp, /var/tmp and /dev/shm permissions are correct in sandbox

Stop mounting tmpfs to /tmp in sandbox

/ is already a tmpfs in the sandbox, so there's no real point in
mounting a tmpfs to /tmp.

Merge pull request #2798 from DaanDeMeyer/fix

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Simplify logic

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Fixes #2796

mkosi-initrd: replace long-time deprecated $tempnode with $devnode

qemu/vmspawn: check for an uncompressed kernel too

On some architecture/distributions (eg: ppc64el and riscv64 on Debian/Ubuntu)
the kernel is shipped uncompressed, as vmlinux. If vmlinuz cannot be found,
try looking for vmlinux.

Merge pull request #2787 from DaanDeMeyer/fix

chdir into /proc for determining default Config

chdir into /proc for determining default Config

There are users that run mkosi from / so let's use /proc instead.

Fixes #2786

Extend hint for workspace directory and build sources

centos: Support building centos stream 10 default images

Stream 10 does not have EPEL yet so we make those few packages Fedora
only for now.

centos: Fix GPG key search logic

Let's only look for the release key of the release we're building for
and add support for searching for the SHA256 key which is used by centos
stream 10.

We can't use the symlinked names because those don't exist on centos.org/keys.

centos: Change local rpm GPG key location

Let's look for the one suffixed with the release number. This doesn't
change behavior for c9s as this is a symlink to the file we looked for
previously but will fix our behavior for c10s which uses a different key.

docs: update Output= info
From the release notes of v23:

> Image names from mkosi.images/ are now preferred over the specified
> image ID when determining the output filename to use for an image.

Add nosuid,noexec and nodev where appropriate when remounting

If not we get permission errors if the host mount uses nosuid,noexec
or nodev.

Fixes #2776

Bump version to 24~devel

mkosi.md: fix typo

Release 23.1

Bump version to 24~devel

Release 23

Add dpkg and dpkg-query scripts

Add `mkosi.postoutput` scripts

Set default output name for `mkosi-tools`

This should allow one to invoke `mkosi --directory "" --include mkosi-tools`
in the project root to create a tools tree that is automatically
detected and used in subsequent invocations.

Set stdout/stderr of not found process to empty string instead of None

Remove some dead code

action: Use aa-teardown to disable apparmor

systemctl stop apparmor doesn't seem to be sufficient, aa-teardown
on the other hand seems to do the trick.

Fix missing mount in `mkosi.clean`

action: Also uninstall apparmor

action: Disable apparmor completely

These are ephemeral CI machines with full root access without password,
there's really no point in running apparmor in the first place so instead
of trying to work around broken apparmor policies, just disable apparmor
completely.

Merge pull request #2765 from DaanDeMeyer/rawhide

Build a Fedora rawhide image by default

Build a Fedora rawhide image by default

Helps with catching issues more than Fedora 40 does.

tests: Make sure we set systemd.firstboot=no

Otherwise the boot might get stuck on a prompt from systemd-firstboot.service
or systemd-homed-firstboot.service.

action: Disable and remove unix-chkpwd apparmor policy

The apparmor policy prevents Fedora Rawhide containers from booting
in systemd-nspawn. See https://gitlab.com/apparmor/apparmor/-/issues/402.

Install virtiofsd in debian/ubuntu tools trees

Add dependencies verb

Fixes #2529

Make --tools-tree the same as --tools-tree=default

Saves on typing and makes it easier to use overall.

mkosi-initrd: Always add binfmt_misc, autofs and efivarfs modules

mkosi-initrd: Always add virtio_pci

mkosi-initrd: Include more modules

- systemd logs an error if x_tables.ko is missing so let's include it.
- For cryptsetup, let's make sure we include all crypto modules so it
always has everything it needs