Pass arguments that look like env variables as env to systemd-nspawn

The kernel passes unknown parameters as environment variables to pid1.
Let's do the same for systemd-nspawn. Of course we don't know what is
known and unknown so let's take advantage of the fact that kernel cmdline
arguments are (usually) lower case and environment variables are (usually)
upper case and use that to determine whether to pass something as an argument
or an environment variable.

Only call become_root() if we need a full uid map

If we only need to map the current user to root, bubblewrap will do
that for us and we don't need to call become_root() after forking.

Fix scope_env()

DBUS_SYSTEM_ADDRESS isn't always set so make sure to check for the
canonical location of the system bus socket as well.

Fix typo

sandbox: check if bwrap is installed

bwrap is used for many many different things, so I just added a blanket
check that requires is to be always required if use any of the verbs that
call check_tools().

Fixes https://github.com/systemd/mkosi/issues/2719.

add dashes to temporary directories for readability

Clamp mtimes instead of always resetting them

Closes https://github.com/systemd/mkosi/issues/2635.

mkosi-initrd: Don't remove sanitizer libraries from initrd

Let's not unconditionally remove sanitizer libraries and their
dependencies from the initrd as it turns out running software with
sanitizers in the initrd isn't that far fetched.

Make Environment= match without value check if given key is in env

Pass WITH_NETWORK to build and finalize scripts

Add -I shorthand for --include

Prefer `config.image` over `config.image_id`

When using `mkosi.images` it makes more sense to use the `image` name,
as that is what identifies the different images.

Always refresh repository metadata if CacheOnly=never

Fixes #2707

Don't die when images already exist

We already check whether outputs exist when looping over all image configs and
skip the build if the output exists. This way one can just "mkosi build" after
adding a new image and the missing ones will be built.

Merge pull request #2708 from DaanDeMeyer/workspace

Two workspace fixes

Set BuildSources= for default initrd and default tools tree.

This allows these to be built from any working directory, including
'/'.

Fixes #2705.

Drop check for workspace directory relative to cwd

The current working directory check is only relevant if the current
working directory is used as a build source, which means it's also
handled by the second check so let's drop it.

qemu: Use different ID for scsi PCI device

Let's make sure we don't conflict with stuff added by users.

Add optional file ID for qemu drives

For testing multipath in systemd's integration tests, we need multiple
qemu drives backed by the same file. Let's allow specifying an additional
file ID to make this possible with QemuDrive=.

Set $QEMU_ARCHITECTURE for configure scripts

Allows trivial access to the qemu binary that mkosi will use to run
qemu.

Merge pull request #2699 from DaanDeMeyer/depmod

Chroot for depmod and modinfo

ci: Drop arch tools + centos image exclude

Arch got a new version of rpm so let's see if the SIGPIPE bug has
been fixed.

Chroot for depmod and modinfo

modinfo cannot always work with output from newer or different depmod.

Specifically, this fixes the case where modinfo sch_fq_codel fails with
"module not found" on CentOS Stream 9 images built from Fedora 40. When
depmod from Fedora 40 is used, modinfo in the image fails with "module
not found". When depmod from inside the image is used, modinfo succeeds
as expected.

We'd rather not do this but in this case there's no other option.

Add extra argument to SandboxProtocol

Make /work related stuff of chroot_cmd() optional

Merge pull request #2698 from DaanDeMeyer/configure

Only run configure scripts for verbs that need a build

Only run configure scripts for verbs that need a build

In systemd, we want to use configure scripts to determine whether
qemu was built with support for specific devices and skip running
a test if it wasn't, or otherwise add the device to the qemu arguments.

To make this work, we need to run the configure scripts with the
default tools tree available if one is configured.

Let's change the behavior of configure scripts to only run for verbs
that need a build and run them after building the default tools tree
so that they can be run with the tools tree mounted.

Surround --force with quotes

Fix typo

opensuse: Install dnf5 in OpenSUSE tools tree

Only use a single default tools tree per build

Currently, if multiple images are defined, each with a default tools
tree, if they use the same distribution, all the various ToolsTreeXXX=
settings for the later images will be ignored since we'll only build
one tools tree.

Also, if any of the images set Incremental=no, we will remove the default
tools tree outputs even if Incremental=yes is enabled for other images.

To keep ourselves sane, let's avoid dealing with multiple defaults tools
trees and only look at the last image to figure out whether we should
build a default tools tree and what to put in it.

apt: Allow release info change

Allow the update command to continue downloading data from a repository which changed its information of the release contained in the repository indicating e.g a new major release. APT will fail at the update command for such repositories until the change is confirmed to ensure the user is prepared for the change.

Drop workaround

Check if modules.builtin exists before reading it

doc: move [Match] and [Config] section further down

Both topics are more advanced and since the entries in the [Match] section have
the same names as the the things they match, they are the first hit when
searching the document.

Tighten rpm glob

rpm's are compressed on the inside, not on the outside, so "*.rpm"
is sufficient and we don't need the trailing '*'.

Be more conservative in what we copy from package directories

Let's make sure we only copy packages from package directories so
that PackageDirectories= can be pointed at a directory containing
more than just packages without copying everything.

Allow booting ESP images in vmspawn

Merge pull request #2685 from DaanDeMeyer/selinux

Pass --selinux-relabel to default initrd configuration

Pass --selinux-relabel to default initrd configuration

Allow "enabled" and "disabled" for features

Don't use scopes for virtiofs when using older unshare

unshare 2.37 is still shipped in Ubuntu Jammy and CentOS Stream 9
which doesn't have --map-users= and --map-groups=. In this case, let's
not use scopes for virtiofsd to make sure that booting using virtiofsd
still works.

Also add a missing preexec_fn to become root if we're not using a scope.

To make this work we have to move all the logic to decide whether we use
a scope or not outside of run() as we need to conditionalize other arguments
we provide to run() based on whether we use a scope or not.

Revert "Use become_root_cmd() in copy_ephemeral()"

This reverts commit 0e3b85fec7c5bbabf0430fab088a3f2e8615afb4.

--map-users= and --map-groups= were added in util-linux 2.38 but
Ubuntu 22.04 and CentOS Stream 9 only ships util-linux 2.37 so
let's at least make sure --ephemeral keeps working on those
distributions.

Fix optional enum deserialization

Merge pull request #2680 from DaanDeMeyer/properties

Add UnitProperties= setting

Add UnitProperties= setting

This allows configuring properties on the scopes spawned by
systemd-nspawn or systemd-run.

Use become_root_cmd() in copy_ephemeral()

qemu: Use systemd-run to allocate scopes

This doesn't drastically change behavior, but will open the way for
adding a RuntimeProperties= setting to allow configuring various
properties of the scope unit.

Since allocating a scope with systemd-run involves communicating with
a daemon running on the host, there's no point in running it from the
sandbox so we run it from the host instead.

Because systemd-run needs to run as the uid that started mkosi, we can't
use preexec_fn anymore to allocate the user namespace for virtiofsd.
Instead, we reimplement what become_root() does on top of unshare and
chain execute into that which then itself chain executes virtiofsd.

Merge pull request #2679 from DaanDeMeyer/cache

qemu: Configure caching properly

qemu: Use io_uring async I/O backend

qemu: Configure caching properly

For the scratch device, we can use unsafe caching as it's thrown
away immediately after the machine shuts down. For the root disk,
we can use unsafe caching only if --ephemeral is enabled.

debian: Reinstall various packages again

These packages have been added back to testing so let's install them
again.

qemu: Allow adding a TPM without using UEFI

Let's instead just default to not using a TPM when not using UEFI.

Bump actions/checkout from 4.1.2 to 4.1.4

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.2 to 4.1.4.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/9bb56186c3b09b4f86b1c65136769dd318469633...0ad4b8fadaa221de15dcec353f45205ec38ea70b)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump github/codeql-action from 3.24.9 to 3.25.3

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.9 to 3.25.3.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/1b1aada464948af03b950897e5eb522f92603cc2...d39d31e687223d841ef683f52467bd88e9b21c14)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Do not mount home to sandbox if it's /

The default home directory for system users created with sysusers.d is /.
Which will automatically be mounted inside sync scripts, causing a lot of
headaches, since we're essentially trying to run on the host then.
E.g. /proxy.cacert cannot be created.

Merge pull request #2671 from DaanDeMeyer/fix

Various fixes

vmspawn: Run with sandbox

Now that we can look up binaries in --extra-search-paths=, we can run
vmspawn with a sandbox as well.

vmspawn: Have vmspawn look for firmware itself

vmspawn was recently fixed to look for firmware itself properly so
let's have it do its own lookup again.

Don't look in --extra-search-paths for qemu and virt-fw-vars

These take as input a file that might be in or out of the tools tree.
Because find_ovmf_firmware() will return a file in the tools tree
regardless of whether virt-fw-vars and qemu will be executed on the
host or not, let's disable the --extra-search-paths= integration for
these two for now.

Don't look for firmware in /etc/qemu/firmware if we're using a tools tree

This is unlikely to work properly since the description in /etc/qemu/firmware
will assume the host's /usr is in place and not the tools tree's /usr.

selinux: Fix using setfiles from tools tree

After the change to support tools from ExtraSearchPaths or the ToolsTree
the sandbox needs the found file path to be passed in.

The setfiles command needed to relabel trees was missed in this change.

mkosi-initrd: Drop some RemoveFiles= from Arch config

These are now handles by WithDocs=no.

Exclude `/usr/share/gtk-doc/*` with `WithDocs=no`

Mention repart artifacts in clean script section

man: fix typo

fedora: Bump default release to 40

pacman: Drop unnecessary exclude

Merge pull request #2661 from DaanDeMeyer/fix

qemu: Always how many notify messages we received

pacman: Implement support for WithDocs=

Same list as we use for apt, using pacman's NoExtract= option.

Add missing newline

Remove unneeded exist_ok from install_dir.mkdir()

This cannot be provided by users anymore and is always created in
the workspace so it will never exist already.

qemu: Always how many notify messages we received

Clarify BuildSourcesEphemeral=

Fixes #2656

Drop redundant ukify lookup

ci: remove packages.microsoft.com

It is not needed, it publishes things like dotnet, and it is often
broken, so just remove the sources

Call ukify with --ucode if supported

This is the companion change to https://github.com/systemd/systemd/pull/31872.

If both systemd-stub and ukify are version `256~devel` or greater, mkosi
will put the microcode initrd in the new `.ucode` UKI section by using
the `--ucode` flag in ukify. Otherwise it will put the microcode initrd
as first regular initrd (same as before).

Support SplitArtifacts= for extension images

mkosi-tools: Add qemu-img to Fedora tools tree

Required by virt-fw-vars but not explicitly declared as a dependency
yet.

See https://bugzilla.redhat.com/show_bug.cgi?id=2276629

Avoid TOCTOU issue in start_journal_remote()

Make sure "mkosi -C build" works

In systemd we want to (optionally) make sure all mkosi output is
written to the meson build directory. To make this work, we want to
write a mkosi.conf to the meson build directory so that developers
can do "mkosi -C build". Currently this doesn't work because "build"
is interpreted as a verb. Let's make sure that doesn't happen.

We need a better solution for this hack but for now this is the best
I can come up with.

apt: Pick up ddeb packages as well

Ubuntu spits out .ddeb extensions for debug packages, so let's make
sure we take that into account.

Don't build the image automatically for boot/qemu verbs without --force

Let's insist on --force to build the image if boot/qemu are used to
give users an easy way to insist that an image has already been built
when booting it.

Merge pull request #2647 from DaanDeMeyer/basesystem

fedora: Install basesystem package instead of filesystem

centos: Drop glibc-minimal-langpack workaround

This workaround was in place for CentOS 8 Stream, for which support
will be dropped in May, so let's drop the workaround already.

fedora: Install basesystem package instead of filesystem

basesystem pulls in filesystem and setup. The latter defines some
common groups and directories that are expected to be available
on every system.

Fedora/CentOS also define basesystem as a package that's expected
to be installed everywhere, so let's make sure our images satisfy
that requirement.

Merge pull request #2646 from DaanDeMeyer/journal-remote

Configure journal-remote limits properly

Always use TERM=dumb if not connected to a tty

mkosi might be invoked from a terminal but redirected to a file, in
that case we should ignore $TERM from the environment, so let's make
sure we handle that properly.

Configure journal-remote limits properly

Let's make sure the limits are configured so we can always write at
least 4G of logs. We also enable compact mode again in all cases to
reduce the size used by journal files as for example Github Actions
machines aren't exactly swimming in free space.

(We pick 4G because that's the max journal file size when the compact
mode is used)

(We'll probably have to revisit this again at some point but for now
this should do the trick)

qemu: give qemu a private copy of stdin, stdout and stderr

Remove vmspawn from --help

It was replaced with VirtualMachineMonitor=

Merge pull request #2639 from behrmann/artifactory

Add artifact directories

Add Environment= match

Add artifacts directories to pass around build artifacts

Also pick up microcode and initrds from the artifact directory

Drop --cache=always for virtiofsd

We want to support users writing to these directories from the host
so --cache=always is not an option as that assumes virtiofsd has
exclusive write access.

man: add PACKAGEDIR to environment variable table

Fix documentatio mkosi.md mispelling

Fixes mispelled 'thel.' to 'them.' in mkosi.md.

Skip dict as well in cli settings check

Merge pull request #2634 from DaanDeMeyer/tools

Allow using ExtraSearchPaths= with ToolsTree=

Allow using ExtraSearchPaths= with ToolsTree=

If we find a binary in any path configured with ExtraSearchPaths=,
we prefer using it over the tools tree.

This commit also gets rid of all the find_binary() for "btrfs" in
tree.py and stops passing in the tools tree to those functions.
Instead, we rely on the new behavior of run() to not fail hard
when check=False and the btrfs binary is not found.