Build a Fedora rawhide image by default

Helps with catching issues more than Fedora 40 does.

tests: Make sure we set systemd.firstboot=no

Otherwise the boot might get stuck on a prompt from systemd-firstboot.service
or systemd-homed-firstboot.service.

action: Disable and remove unix-chkpwd apparmor policy

The apparmor policy prevents Fedora Rawhide containers from booting
in systemd-nspawn. See https://gitlab.com/apparmor/apparmor/-/issues/402.

Install virtiofsd in debian/ubuntu tools trees

Add dependencies verb

Fixes #2529

Make --tools-tree the same as --tools-tree=default

Saves on typing and makes it easier to use overall.

mkosi-initrd: Always add binfmt_misc, autofs and efivarfs modules

mkosi-initrd: Always add virtio_pci

mkosi-initrd: Include more modules

- systemd logs an error if x_tables.ko is missing so let's include it.
- For cryptsetup, let's make sure we include all crypto modules so it
always has everything it needs

mkosi-initrd: Add more default kernel modules

More virtualization modules required to boot an opensuse image in
qemu (opensuse has much more modules compared to Fedora which has
more builtin).

Introduce "default" and "host" for kernel modules include settings

mkosi-initrd: Include various virtualization modules by default

Let's make sure our initrds include all necessary modules to boot
in a virtualized environment.

mkosi-initrd: Always include vsock

Fix `UnifiedKernelImageFormat=` config name

Update NEWS

Merge pull request #2450 from DaanDeMeyer/ndb

Two opensuse improvements

Give local repositories a higher priority

Implement Repositories= for zypper

opensuse: Add glibc-gconv-modules-extra to default tools tree

This package was split off from glibc but mtools does not yet have
a required dependency on it (see
https://bugzilla.opensuse.org/show_bug.cgi?id=1225982) so for now
let's install it ourselves.

Make sure we don't fail when there is no sdmagic section in sd-stub

The sdmagic section in sd-stub was only introduced in systemd 250.
Since Ubuntu Jammy ships systemd 249, let's make sure we gracefully
handle the scenario where we can't find the sdmagic section.

dnf: Enable versionlock plugin by default

Let's allow users to make use of the versionlock plugin by enabling
it by default. To make sure it doesn't fail, we write a noop
configuration that makes the plugin do nothing at all which users
can then override using PackageManagerTrees=.

Merge pull request #2733 from NekkoDroid/bootloader-entry-format

Add `UnifiedKernelImageFormat=` (attempt 2)

Add `UnifiedKernelImageFormat=` with specifiers

This can be used to control the name to use for the UKI during image
generation. Special `&` specifiers can be used to include kernel
specific information in the filename.

This is useful for the `systemd-sysupdate` case, as you can set this to
`%i_%v` to use a format that can be parse by its configuration. The
current format used includes both a roothash as well as the kernel
version which both can't be matched by sysupdate.

Unify roothash handling for the UKI name

Add `UnifiedKernelImages=` to summary

ci: Switch to Ubuntu Noble

Set --pretty=no in run_shell() when calling repart

We do the same in apply_runtime_size() as it makes repart output a
lot less noisy.

Have coredumpctl and journalctl operate on forwarded journal if available

If ForwardJournal= is configured, have coredumpctl and journalctl operate
on it instead of on the image itself. While this doesn't handle the edge
case where the journal is forwarded but the coredumps are stored in the image,
let's assume that users that enable ForwardJournal= will also configure coredumps
to be stored in the journal.

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.1.1 to 5.3.0.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/c15070885a82a2c93db8a765d332c38c50dde8b3...60c9f2b924a9c5a2ddbb25e7b23e8e11b56faab9)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 4.1.4 to 4.1.6

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.4 to 4.1.6.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/0ad4b8fadaa221de15dcec353f45205ec38ea70b...a5ac7e51b41094c92402da3b24376905380afc29)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

fedora: do not install dnf-3

We get both dnf5 and dnf, which doesn't seem necessary.
Also, in F41 dnf is Provided by dnf5, so that'd install dnf5 anyway.

dnf: drop metadata_expire=never in metadata syncs

With this option on, builds that have an existing cache directory will
generally fail. Fedora doesn't keep old packages on mirrors, and metadata
refers to specific package versions, so stale metadata will cause dnf to fail.

This fixes mkosi test image builds in systemd for me.

fedora: use F40

Merge pull request #2730 from DaanDeMeyer/fix

Fix invoked_as_root initialization

Relax permissions on systemd-journal-remote configuration

Let's make sure the systemd-journal-remote process we start can always
read the configuration, even if it's running as a less privileged user.

Fix invoked_as_root initialization

Drop unnecessary escaping

Remove support for CentOS Stream 8

Going EOL next week so let's drop support

Merge pull request #2728 from DaanDeMeyer/fix

Run systemd-journal-remote as correct user if scope is not available

Run systemd-journal-remote as correct user if scope is not available

Allow '+' in systemd-stub version

The suse version has a '+' in it.

Merge pull request #2711 from behrmann/docimprov

Doc improvements

doc: add a paragraph before the matcher table

The table directly follows the definitions, which makes it difficult to tell
apart from the previous definition.

nspawn Environment variable passing fixes

- Translate '-' to '_'
- Ignore names with dot in them
- Pass lowercase as environment variable as well if it has a '=' in it

doc: add missing language specification to code blocks

doc: change X in tables to checkmark

We already have two different X in there, X and x, which are hard to tell
apart, and since we want to say something positive, let's make it a checkmark.

doc: change conf to ini for source blocks

doc: remove "mkosi." prefix from environment variable table

pandoc has a weird algorithm to define the width of tables in markdown. The
width cannot be specified absolutely, but is made relative to the text width by
how many dashes are in the horizontal line under the header in each
column. This can lead to spurious word breaks even on wide displays where the
whole table would fit. Removing the prefix should somewhat ameliorate the
problem until a better solution is found.

doc: center checkbox tables

doc: make standalone example bold

doc: fix rendering of definition lists

The way we formatted definitions

term
: paragraph1

: paragraph2

gets clobbered into single text blocks by pandoc. The thing it can actually
parse is

term
:   paragraph1

    paragraph2

This (mostly) whitespace-only change unclobbers the text.

Merge pull request #2724 from DaanDeMeyer/fix

Various fixes

Pass arguments that look like env variables as env to systemd-nspawn

The kernel passes unknown parameters as environment variables to pid1.
Let's do the same for systemd-nspawn. Of course we don't know what is
known and unknown so let's take advantage of the fact that kernel cmdline
arguments are (usually) lower case and environment variables are (usually)
upper case and use that to determine whether to pass something as an argument
or an environment variable.

Only call become_root() if we need a full uid map

If we only need to map the current user to root, bubblewrap will do
that for us and we don't need to call become_root() after forking.

Fix scope_env()

DBUS_SYSTEM_ADDRESS isn't always set so make sure to check for the
canonical location of the system bus socket as well.

Fix typo

sandbox: check if bwrap is installed

bwrap is used for many many different things, so I just added a blanket
check that requires is to be always required if use any of the verbs that
call check_tools().

Fixes https://github.com/systemd/mkosi/issues/2719.

add dashes to temporary directories for readability

Clamp mtimes instead of always resetting them

Closes https://github.com/systemd/mkosi/issues/2635.

mkosi-initrd: Don't remove sanitizer libraries from initrd

Let's not unconditionally remove sanitizer libraries and their
dependencies from the initrd as it turns out running software with
sanitizers in the initrd isn't that far fetched.

Make Environment= match without value check if given key is in env

Pass WITH_NETWORK to build and finalize scripts

Add -I shorthand for --include

Prefer `config.image` over `config.image_id`

When using `mkosi.images` it makes more sense to use the `image` name,
as that is what identifies the different images.

Always refresh repository metadata if CacheOnly=never

Fixes #2707

Don't die when images already exist

We already check whether outputs exist when looping over all image configs and
skip the build if the output exists. This way one can just "mkosi build" after
adding a new image and the missing ones will be built.

Merge pull request #2708 from DaanDeMeyer/workspace

Two workspace fixes

Set BuildSources= for default initrd and default tools tree.

This allows these to be built from any working directory, including
'/'.

Fixes #2705.

Drop check for workspace directory relative to cwd

The current working directory check is only relevant if the current
working directory is used as a build source, which means it's also
handled by the second check so let's drop it.

qemu: Use different ID for scsi PCI device

Let's make sure we don't conflict with stuff added by users.

Add optional file ID for qemu drives

For testing multipath in systemd's integration tests, we need multiple
qemu drives backed by the same file. Let's allow specifying an additional
file ID to make this possible with QemuDrive=.

Set $QEMU_ARCHITECTURE for configure scripts

Allows trivial access to the qemu binary that mkosi will use to run
qemu.

Merge pull request #2699 from DaanDeMeyer/depmod

Chroot for depmod and modinfo

ci: Drop arch tools + centos image exclude

Arch got a new version of rpm so let's see if the SIGPIPE bug has
been fixed.

Chroot for depmod and modinfo

modinfo cannot always work with output from newer or different depmod.

Specifically, this fixes the case where modinfo sch_fq_codel fails with
"module not found" on CentOS Stream 9 images built from Fedora 40. When
depmod from Fedora 40 is used, modinfo in the image fails with "module
not found". When depmod from inside the image is used, modinfo succeeds
as expected.

We'd rather not do this but in this case there's no other option.

Add extra argument to SandboxProtocol

Make /work related stuff of chroot_cmd() optional

Merge pull request #2698 from DaanDeMeyer/configure

Only run configure scripts for verbs that need a build

Only run configure scripts for verbs that need a build

In systemd, we want to use configure scripts to determine whether
qemu was built with support for specific devices and skip running
a test if it wasn't, or otherwise add the device to the qemu arguments.

To make this work, we need to run the configure scripts with the
default tools tree available if one is configured.

Let's change the behavior of configure scripts to only run for verbs
that need a build and run them after building the default tools tree
so that they can be run with the tools tree mounted.

Surround --force with quotes

Fix typo

opensuse: Install dnf5 in OpenSUSE tools tree

Only use a single default tools tree per build

Currently, if multiple images are defined, each with a default tools
tree, if they use the same distribution, all the various ToolsTreeXXX=
settings for the later images will be ignored since we'll only build
one tools tree.

Also, if any of the images set Incremental=no, we will remove the default
tools tree outputs even if Incremental=yes is enabled for other images.

To keep ourselves sane, let's avoid dealing with multiple defaults tools
trees and only look at the last image to figure out whether we should
build a default tools tree and what to put in it.

apt: Allow release info change

Allow the update command to continue downloading data from a repository which changed its information of the release contained in the repository indicating e.g a new major release. APT will fail at the update command for such repositories until the change is confirmed to ensure the user is prepared for the change.

Drop workaround

Check if modules.builtin exists before reading it

doc: move [Match] and [Config] section further down

Both topics are more advanced and since the entries in the [Match] section have
the same names as the the things they match, they are the first hit when
searching the document.

Tighten rpm glob

rpm's are compressed on the inside, not on the outside, so "*.rpm"
is sufficient and we don't need the trailing '*'.

Be more conservative in what we copy from package directories

Let's make sure we only copy packages from package directories so
that PackageDirectories= can be pointed at a directory containing
more than just packages without copying everything.

Allow booting ESP images in vmspawn

Merge pull request #2685 from DaanDeMeyer/selinux

Pass --selinux-relabel to default initrd configuration

Pass --selinux-relabel to default initrd configuration

Allow "enabled" and "disabled" for features

Don't use scopes for virtiofs when using older unshare

unshare 2.37 is still shipped in Ubuntu Jammy and CentOS Stream 9
which doesn't have --map-users= and --map-groups=. In this case, let's
not use scopes for virtiofsd to make sure that booting using virtiofsd
still works.

Also add a missing preexec_fn to become root if we're not using a scope.

To make this work we have to move all the logic to decide whether we use
a scope or not outside of run() as we need to conditionalize other arguments
we provide to run() based on whether we use a scope or not.

Revert "Use become_root_cmd() in copy_ephemeral()"

This reverts commit 0e3b85fec7c5bbabf0430fab088a3f2e8615afb4.

--map-users= and --map-groups= were added in util-linux 2.38 but
Ubuntu 22.04 and CentOS Stream 9 only ships util-linux 2.37 so
let's at least make sure --ephemeral keeps working on those
distributions.

Fix optional enum deserialization

Merge pull request #2680 from DaanDeMeyer/properties

Add UnitProperties= setting

Add UnitProperties= setting

This allows configuring properties on the scopes spawned by
systemd-nspawn or systemd-run.

Use become_root_cmd() in copy_ephemeral()

qemu: Use systemd-run to allocate scopes

This doesn't drastically change behavior, but will open the way for
adding a RuntimeProperties= setting to allow configuring various
properties of the scope unit.

Since allocating a scope with systemd-run involves communicating with
a daemon running on the host, there's no point in running it from the
sandbox so we run it from the host instead.

Because systemd-run needs to run as the uid that started mkosi, we can't
use preexec_fn anymore to allocate the user namespace for virtiofsd.
Instead, we reimplement what become_root() does on top of unshare and
chain execute into that which then itself chain executes virtiofsd.