Use long options for `systemd-dissect`

Support decompressing tar archives

This switches `extract_tar` to read the file itself instead of from
stdin to be able to auto-detect the compression method used.

BSD tar can auto-detect and decompress from stdin, but GNU tar only
auto-detects the compression method and notifies the user, but refuses
to run when not explicitly specifying the format on the command line.

doc: distribution-gpg-keys is available in Arch Linux

This package is available in the Arch Linux repositories since
2024-06-19.

doc: mention default QEMU exit keybinding

Quitting directly is easier then first switching to the qemu console and
then entering `quit`.

https://www.qemu.org/docs/master/system/mux-chardev.html

Fix mirror paths for centos/fedora family of distributions.

We assumed that fedora would always be in the fedora subdirectory
of the mirror and that centos would always be in the centos-stream
subdirectory of the mirror but this is not guaranteed to be true
(see https://pagure.io/centos-infra/issue/1430).

Let's fix this by not always appending centos-stream/ or fedora/ to
the given mirror so the user can determine whether to include this
or not.

This is a breaking change but making sure all mirrors can be used
regardless of layout seems more important in this case.

For EPEL we do make a bigger assumption on the mirror layout since
we're forced to as we don't have a mechanism to specify more than one
mirror. We also allow users to override the epel mirror via an
environment variable.

aarch64 fixes for default image packages

Default to no secure boot for non-x86 architectures

mkosi-initrd: provide a separate mkosi-initrd script

Extract the basic functionality implemented on the kernel-install plugin into a
separate script. This allows to simplify the initrd/UKI build auto-filling
arguments of the `mkosi` call, and also auto-include user/distro configuration
from `/{etc,usr/lib}/mkosi-initrd`.

Merge pull request #2789 from keszybz/eradicate-named-tuples

Use dataclasses instead of NamedTuples, unnest code

Two small cleanups suggests by pylint

kernel-install: drop final NamedTuple use

tests: make Config a normal dataclass

qemu: drop another NamedTuple use

installer/arch: make Repository a normal dataclass

sandbox: drop another NamedTuple use

installer/apt: make Repository a normal dataclass

NamedTuple is an outdated solution… Make a normal dataclass to
match other places. Dataclasses also have nicer string representation.

Also let's not make the class nested. This doesn't matter terribly here,
but it makes the code unusual. Rename the type to "AptRepository"
to match RpmRepository.

installer/rpm: make RpmRepository a dataclass

Dataclasses are the more modern approach, with better string representation and
less hacks. A NamedTuple is also a tuple, which is rather surprising when we
don't use that.

Update mkosi apt sources location in kernel-install plugin

This was changed in cffddd87776178f19d9a7a633aa597cc9e49722f so let's
accomodate for that in the kernel-install plugin.

Merge pull request #2806 from DaanDeMeyer/debian

Deal with systemd split packages added in Debian testing

mkosi-tools: Sort package list

Deal with systemd split packages added in Debian testing

systemd-repart and systemd-cryptsetup were moved to subpackages in
Debian testing. Let's make sure we account for that in mkosi-tools
and mkosi-initrd.

Only use fw_cfg if credential name is not too long

Merge pull request #2802 from DaanDeMeyer/sdmagic

Fix sdmagic check on CentOS

Bump 256~devel version requirements to 256

Now that 256 is released, let's bump our 256~devel version requirements
to 256.

Fix sdmagic check on CentOS

systemd-stub on CentOS has misaligned PE sections causing us to read
a bunch of null bytes from the sdmagic section. Let's treat this case
as not finding a stub version to fix the CI builds.

Skip directories when generating checksums

It is possible that some directory is created by the user in
`mkosi.postoutput`, so just make sure to skip those as they can't be
hashed.

Also remove the check for directory output type as auxiliary files may
be created that should be hashed.

Don't rename vmlinux to vmlinuz when copying from /boot to /usr

We only want to rename vmlinux to vmlinuz when copying to the output
directory. In the image itself we can keep using the same name.

Follow up for 6972f9efba5c8472d990be3783b7e7dbf76e109e

mkosi-tools: Install distribution-gpg-keys in Arch Linux default tools tree

It was recently packaged in the extra repository.

Merge pull request #2799 from DaanDeMeyer/tmp

Various sandbox fixes

Make /var/tmp optional for sandbox

Let's only create a custom /var/tmp directory for some commands instead
of all of them.

We only create a custom /var/tmp for systemd-repart and scripts as other
commands shouldn't have need for a separate /var/tmp that's stored on disk.

Fixes #2792

Fix sandbox in run_postoutput_scripts()

Rename vartmp to vartmpdir

Make sure /tmp, /var/tmp and /dev/shm permissions are correct in sandbox

Stop mounting tmpfs to /tmp in sandbox

/ is already a tmpfs in the sandbox, so there's no real point in
mounting a tmpfs to /tmp.

Merge pull request #2798 from DaanDeMeyer/fix

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Simplify logic

Skip vmlinuz in /boot without matching dir in /usr/lib/modules

Fixes #2796

mkosi-initrd: replace long-time deprecated $tempnode with $devnode

qemu/vmspawn: check for an uncompressed kernel too

On some architecture/distributions (eg: ppc64el and riscv64 on Debian/Ubuntu)
the kernel is shipped uncompressed, as vmlinux. If vmlinuz cannot be found,
try looking for vmlinux.

Merge pull request #2787 from DaanDeMeyer/fix

chdir into /proc for determining default Config

chdir into /proc for determining default Config

There are users that run mkosi from / so let's use /proc instead.

Fixes #2786

Extend hint for workspace directory and build sources

centos: Support building centos stream 10 default images

Stream 10 does not have EPEL yet so we make those few packages Fedora
only for now.

centos: Fix GPG key search logic

Let's only look for the release key of the release we're building for
and add support for searching for the SHA256 key which is used by centos
stream 10.

We can't use the symlinked names because those don't exist on centos.org/keys.

centos: Change local rpm GPG key location

Let's look for the one suffixed with the release number. This doesn't
change behavior for c9s as this is a symlink to the file we looked for
previously but will fix our behavior for c10s which uses a different key.

docs: update Output= info
From the release notes of v23:

> Image names from mkosi.images/ are now preferred over the specified
> image ID when determining the output filename to use for an image.

Add nosuid,noexec and nodev where appropriate when remounting

If not we get permission errors if the host mount uses nosuid,noexec
or nodev.

Fixes #2776

Bump version to 24~devel

mkosi.md: fix typo

Release 23.1

Bump version to 24~devel

Release 23

Add dpkg and dpkg-query scripts

Add `mkosi.postoutput` scripts

Set default output name for `mkosi-tools`

This should allow one to invoke `mkosi --directory "" --include mkosi-tools`
in the project root to create a tools tree that is automatically
detected and used in subsequent invocations.

Set stdout/stderr of not found process to empty string instead of None

Remove some dead code

action: Use aa-teardown to disable apparmor

systemctl stop apparmor doesn't seem to be sufficient, aa-teardown
on the other hand seems to do the trick.

Fix missing mount in `mkosi.clean`

action: Also uninstall apparmor

action: Disable apparmor completely

These are ephemeral CI machines with full root access without password,
there's really no point in running apparmor in the first place so instead
of trying to work around broken apparmor policies, just disable apparmor
completely.

Merge pull request #2765 from DaanDeMeyer/rawhide

Build a Fedora rawhide image by default

Build a Fedora rawhide image by default

Helps with catching issues more than Fedora 40 does.

tests: Make sure we set systemd.firstboot=no

Otherwise the boot might get stuck on a prompt from systemd-firstboot.service
or systemd-homed-firstboot.service.

action: Disable and remove unix-chkpwd apparmor policy

The apparmor policy prevents Fedora Rawhide containers from booting
in systemd-nspawn. See https://gitlab.com/apparmor/apparmor/-/issues/402.

Install virtiofsd in debian/ubuntu tools trees

Add dependencies verb

Fixes #2529

Make --tools-tree the same as --tools-tree=default

Saves on typing and makes it easier to use overall.

mkosi-initrd: Always add binfmt_misc, autofs and efivarfs modules

mkosi-initrd: Always add virtio_pci

mkosi-initrd: Include more modules

- systemd logs an error if x_tables.ko is missing so let's include it.
- For cryptsetup, let's make sure we include all crypto modules so it
always has everything it needs

mkosi-initrd: Add more default kernel modules

More virtualization modules required to boot an opensuse image in
qemu (opensuse has much more modules compared to Fedora which has
more builtin).

Introduce "default" and "host" for kernel modules include settings

mkosi-initrd: Include various virtualization modules by default

Let's make sure our initrds include all necessary modules to boot
in a virtualized environment.

mkosi-initrd: Always include vsock

Fix `UnifiedKernelImageFormat=` config name

Update NEWS

Merge pull request #2450 from DaanDeMeyer/ndb

Two opensuse improvements

Give local repositories a higher priority

Implement Repositories= for zypper

opensuse: Add glibc-gconv-modules-extra to default tools tree

This package was split off from glibc but mtools does not yet have
a required dependency on it (see
https://bugzilla.opensuse.org/show_bug.cgi?id=1225982) so for now
let's install it ourselves.

Make sure we don't fail when there is no sdmagic section in sd-stub

The sdmagic section in sd-stub was only introduced in systemd 250.
Since Ubuntu Jammy ships systemd 249, let's make sure we gracefully
handle the scenario where we can't find the sdmagic section.

dnf: Enable versionlock plugin by default

Let's allow users to make use of the versionlock plugin by enabling
it by default. To make sure it doesn't fail, we write a noop
configuration that makes the plugin do nothing at all which users
can then override using PackageManagerTrees=.

Merge pull request #2733 from NekkoDroid/bootloader-entry-format

Add `UnifiedKernelImageFormat=` (attempt 2)

Add `UnifiedKernelImageFormat=` with specifiers

This can be used to control the name to use for the UKI during image
generation. Special `&` specifiers can be used to include kernel
specific information in the filename.

This is useful for the `systemd-sysupdate` case, as you can set this to
`%i_%v` to use a format that can be parse by its configuration. The
current format used includes both a roothash as well as the kernel
version which both can't be matched by sysupdate.

Unify roothash handling for the UKI name

Add `UnifiedKernelImages=` to summary

ci: Switch to Ubuntu Noble

Set --pretty=no in run_shell() when calling repart

We do the same in apply_runtime_size() as it makes repart output a
lot less noisy.

Have coredumpctl and journalctl operate on forwarded journal if available

If ForwardJournal= is configured, have coredumpctl and journalctl operate
on it instead of on the image itself. While this doesn't handle the edge
case where the journal is forwarded but the coredumps are stored in the image,
let's assume that users that enable ForwardJournal= will also configure coredumps
to be stored in the journal.

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.1.1 to 5.3.0.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/c15070885a82a2c93db8a765d332c38c50dde8b3...60c9f2b924a9c5a2ddbb25e7b23e8e11b56faab9)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 4.1.4 to 4.1.6

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.4 to 4.1.6.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/0ad4b8fadaa221de15dcec353f45205ec38ea70b...a5ac7e51b41094c92402da3b24376905380afc29)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

fedora: do not install dnf-3

We get both dnf5 and dnf, which doesn't seem necessary.
Also, in F41 dnf is Provided by dnf5, so that'd install dnf5 anyway.

dnf: drop metadata_expire=never in metadata syncs

With this option on, builds that have an existing cache directory will
generally fail. Fedora doesn't keep old packages on mirrors, and metadata
refers to specific package versions, so stale metadata will cause dnf to fail.

This fixes mkosi test image builds in systemd for me.

fedora: use F40

Merge pull request #2730 from DaanDeMeyer/fix

Fix invoked_as_root initialization

Relax permissions on systemd-journal-remote configuration

Let's make sure the systemd-journal-remote process we start can always
read the configuration, even if it's running as a less privileged user.

Fix invoked_as_root initialization

Drop unnecessary escaping

Remove support for CentOS Stream 8

Going EOL next week so let's drop support