Update NEWS

docs: Remove outdated paragraph

ToolsTree= is now just a regular universal setting so no need to
document it as being special in the ToolsTree= documentation.

Merge pull request #3409 from DaanDeMeyer/tools

Various tools tree fixes

Add mkosi.pkgcache

Remove unneeded assert

Add option to save the BuildSourcesEphemeral overlay.

mkosi-tools: Fix docs

mkosi-tools: Install virt-firmware on Debian/Kali/Ubuntu/OpenSUSE

mkosi-tools: Install pkcs11-provider on CentOS Stream 10

mkosi-tools: Move linux-perf package definition into shared logic

Update NEWS

Simplify crypto-policies copying

To make matters even more interesting, aside from a bunch of .txt
files in /usr/share/crypto-policies/DEFAULT, there's also the same
files in /usr/share/crypto-policies/back-ends/DEFAULT, but they do
have the .config extension there, so lets simplify the logic by
copying from that location.

Add support for FirmwareVariables=microsoft-mok

This new setting will use firmware variables with enrolled microsoft
keys and extend them with the required MOK variables to trust the
user's secure boot key/certificate.

Co-authored-by: Luca Boccassi <luca.boccassi@gmail.com>

tests: don't fail directory CI if lvm2-monitor.service fails

This service sometimes fails in CI for the arch:directory combination, e.g.

2025-01-21T12:07:33.4370559Z [   14.125731] mkosi-check-and-shutdown.sh[419]: + systemctl --failed --no-legend
2025-01-21T12:07:33.4380022Z [   14.126655] mkosi-check-and-shutdown.sh[420]: + tee /failed-services
2025-01-21T12:07:33.4714973Z [   14.160448] mkosi-check-and-shutdown.sh[420]: ● lvm2-monitor.service not-found failed failed lvm2-monitor.service
2025-01-21T12:07:33.4751355Z [   14.164135] mkosi-check-and-shutdown.sh[418]: + [[ ! -s /failed-services ]]

This is the first time this appears in the partcular boot's logs and we always
ignore it and carry on. Let's sidestep checking whether it is this particular
error by masking the unit.

A possible reason might be that it gets pulled in by udev if a test using LVM
runs first.

Merge pull request #3403 from DaanDeMeyer/fixes

Various fixes

Don't insist on pre-signed EFI binaries when ShimBootloader == signed

The whole point of shim is that you can use a presigned shim with
locally signed EFI binaries if the local key is enrolled in MOK, so
don't insist on presigned EFI binaries when a signed shim is requested.

Instead the new "signed" variants of the Bootloader= option can be used
to still force installation of presigned EFI binaries.

Fix copying of crypto policies from tools tree

These files should have the .config extension in /etc/crypto-policies,
but they have the .txt extension in /usr/share/crypto-policies.

Simplify finalize_firmware_variables() a little

Remove unused argument from finalize_firmware_variables()

Merge pull request #3402 from DaanDeMeyer/ci

CI fixes

ci: Use mkosi sandbox to run the integration tests

Using mkosi sandbox allows all the tools for the test logic themselves
to be executed from the tools tree as well.

tests: Setup logging properly

tests: Always pass process environment to mkosi

Let's not override the entire environment when we need some extra
environment variables.

tests: Do not register test containers/vms with systemd-machined

tests: Remove privilege dropping for image builds

This just does not work reliably at all. We change uid/gid but keep
all the environment variables which is just a recipe for issues. Let's
enforce running everything as root if one wants to run the tests that
require root privileges.

Move uid check back to have_cache()

We moved this to reuse_cache() before the introduction of mkosi-sandbox
because we would change uids during execution. Now that we don't do that
anymore, we can move the check back to have_cache().

ci: Centralize package installation in unit-tests job

Also get rid of the microsoft-prod.list hack by just not running
apt-get update anymore which avoids the need to remove the microsoft
repositories.

ci: Move grub2 for opensuse to mkosi tools tree packages

ci: Add centos tools tree CI

ci: Re-enable Arch with ubuntu tools build

Now that we'll fetch a recent keyring, we can re-enable this specific
combo

tests: Skip booting from directory in user namespace with single user

We need newuidmap/newgidmap to be able to boot from a directory which
can't ever work in a user namespace with a single user so skip the
test in that case.

action: Only install package managers and debian-keyring

Instead, let's recommend users to use the default tools tree to get
their dependencies which is generally recommended as it reduces their
dependencies on what's installed on the host system.

centos: Install erofs-utils in tools tree

mkosi-tools: Install systemd-ukify on Azure, CentOS and Fedora

systemd-ukify is not architecture dependant anymore so let's always
install it. It's also packaged in CentOS Stream and Azure Linux so
let's install it there as well.

mkosi-tools: Fix architecture condition

We need to match the architecture of the tools tree we're building,
not the host architecture. In practice these will always be the same
so this doesn't actually change behavior.

Make mkosi available inside mkosi sandbox via zipapp

Currently, mkosi has to be installed outside of /usr when using a
tools tree with mkosi sandbox to make it available inside mkosi
sandbox. Let's remove this restriction by packaging up the host's
mkosi as a zipapp and making the zipapp available in the sandbox.

Remove mkosi.types to avoid conflict with standard library types.py

The process related stuff is moved to run.py and the rest is moved
to util.py

Special case tools image in keyring_cache() and metadata_cache()

Similar to cache_tree_paths(), give the metadata and keyring cache
for the default tools tree a custom name to avoid conflicts with the
other image caches.

Move keyring_cache() and metadata_cache() next to cache_tree_paths()

Make Register= a feature

By default, we want to register if machined is available and not
otherwise so let's make Register= a feature that defaults to "auto".

Rework crypto-policies again

Currently, we only write our own rpm-sequoia crypto policy if one
isn't provided by the tools tree. However, the centos stream 10 crypto
policy is restrictive enough that we can't build older centos releases
or opensuse images with it.

To fix this, let's switch things around again and go back to copying
the crypto policy from the tools tree into the sandbox tree and modifying
the rpm-sequoia policy to fit our needs. For mkosi sandbox, we do reuse
the crypto policies from the tools tree unmodified.

Note that we copy from /usr/share/crypto-policies/DEFAULT instead of
/etc/crypto-policies, as when using mkosi sandbox, we get
/etc/crypto-policies from the host which is full of symlink's to the host's
/usr, even if the tools tree might not be using crypto policies at all.

We also rename finalize_crypto_mounts() to finalize_certificate_mounts()
as it only handles certificates now.

appease spellchecker

Use Initrds= for qemu direct kernel boot as a fallback

Fixes #3180

docs: Make more clear that the SHA256SUMS is prefixed with the output

Fixes #3027

Merge pull request #3397 from DaanDeMeyer/signed

Add support for pre-signed Bootloader variants without shim

Parse mkosi.profiles in included configuration

Fixes #3174

Add support for pre-signed Bootloader variants without shim

Currently we only pick up pre-signed bootloader binaries if
ShimBootloader=signed is configured. Let's also add support for
installing pre-signed bootloader binaries without using shim.

Drop out of date paragraph about not installing grub for EFI

Merge pull request #3395 from DaanDeMeyer/addon

kernel-install: Various fixes

mkosi-initrd: Simplify

kernel_image is not optional so get rid of the if check.

mkosi-initrd: Add extra logging to kernel-install plugin

mkosi-addon: Skip if provided kernel image is not a UKI

Reduce duplication between mkosi-initrd and mkosi-addon

Simplify KernelInstallContext.parse() a little

qemu: Look for /usr/libexec/qemu-kvm as well

On CentOS Stream, only /usr/libexec/qemu-kvm is available.

Skip firmware descriptions without nvram-template

Merge pull request #3393 from behrmann/addonfixups

Addon fixups

man: Move plugin sections under the kernel-install section

man: Generate mkosi-addon man page as well

Add mkosi-addon and kernel-install plugin

Add new mkosi-addon and kernel-install plugin to build local
customizations into an EFI addon.

This allows us to move closer to the desired goal of having
universal UKIs, built by vendors, used together with locally
built enhancements.

Use $HOME in current_home_dir() regardless of whether we're in it or not

If $HOME is set, let's always use it as a fallback if we're not running
from a home directory.

Enforce that images with Overlay=yes only add files

Any extension images built with Overlay=yes should never override
files in the base image, so let's add some enforcement to make
sure that's the case by automatically removing files that already
exist in the base image.

Revert "action: Fix up $PATH as a workaround"

Issue was fixed in a new image.

This reverts commit 49832f6c2af0f7ef0a458d1e0795ad1854ecd863.

Use os.walk() to remove empty directories

mypy: enable scripts_are_modules

Otherwise mypy errors on type checking multiple kernel-install
scripts in kernel-install/.

Merge pull request #3386 from DaanDeMeyer/addon-initrd-empty

addon: Don't add initrd section if buildroot is empty

Run modinfo from the tools tree when building a standalone extension image

If we're building a standalone extension image, modinfo won't be
installed in the image buildroot, so run modinfo from the host
instead.

Pass in Context to functions in kmod.py

Preparation for the next commit.

Improve formatting of filter_kernel_modules()

addon: Don't add initrd section if buildroot is empty

Don't remove root directory when removing empty directories

ci: Make kernel-install script checks more generic

Let's check all .install scripts in the kernel-install directory.

Make sure addon initrds are compressed as well

Inverse output format check for run_shell()

Make use of use_outer_compression() more

Remove empty directories from extension images

Don't check for populated OS root if Format == none

Let's skip checking if the OS root is populated if Format == none
so that Format=none and Distribution=custom can be used to execute
arbitrary code in a build script without actually building an image.

Allow adding kernel modules in extension images

When building standalone extension images (without Overlay=yes),
let's process kernel modules but not run depmod. depmod produces a
single monolithic file which means we can't extend it from an
extension image without overriding the base file.

Merge pull request #3378 from DaanDeMeyer/addon

Add kernel command line to addon

Add kernel command line to addon

Let's allow adding making more than just initrd addons.

Rename initrd-addon to addon

Add ToolsTreeRelease= match

Update NEWS

Merge pull request #3373 from DaanDeMeyer/centos

centos: epel-next does not exist anymore since CentOS Stream 10

centos: epel-next does not exist anymore since CentOS Stream 10

Detailed in https://discussion.fedoraproject.org/t/epel-10-proposal/44304.

centos: Bump default image to CentOS Stream 10 as well

action: Fix up $PATH as a workaround

Can be removed once https://github.com/actions/runner-images/issues/11414
is addressed.

Merge pull request #3371 from DaanDeMeyer/cache

Cache package manager in cache manifest again

Add package manager back to the cache manifest

As detailed in the previous commit, it's important to cache the
package manager used in the cache manifest. If we don't, we'll end
up reusing the wrong metadata cache which won't have any metadata in
it for the new package manager.

Rebuild default tools tree before cleaning up other images

It turns out we have to put the used package manager in the cache
manifest as the metadata cache needs to be refreshed if the package
manager used changes, otherwise the metadata cache will be reused but
the new package manager won't actually be able to find any metadata
since the metadata cache contains metadata for another package manager.

To avoid running into all the problems we had previously trying to do
this, we have to make sure that the default tools tree is always available
whenever we run have_cache() on a (non-default tools tree) image, so that
the package manager we decide to use to build the image is always the same.

To achieve that, we make sure to rebuild the tools tree before doing checks
and cleaning up other images when doing a regular build. This means whenever
we call have_cache() the default tools tree will be available if it is used.

Improve cache manifest mismatch logging message

fedora: Use a lower repository metadata expire time for rawhide

Let's mimick Fedora's own rawhide repository configuration and use
a metadata expire time of 6h when building rawhide images so that
we don't end up keeping stale repository metadata around for too
long which will result in dnf being unable to find certain packages
as they will have been replaced by a newer version in rawhide already.

Bump Arch initrd size again ...

Seems like Arch is gaining a lot of weight lately in it's core
packages.

Merge pull request #3368 from DaanDeMeyer/epel

Various CentOS Stream improvements

centos: Enable EPEL for c10s tools tree as well

Now that EPEL exists for c10s, let's enable it for the c10s tools
tree as EPEL has distribution-gpg-keys which is crucial to be able
to use c10s as a tools tree.

Look for the CentOS Stream official GPG in /etc/pki/rpm-gpg as well

Turns out the key names in /etc/pki/rpm-gpg are slightly different
so let's update the logic to search properly for both.

Only use a fallback in find_rpm_gpgkey() if one is defined

Improve find_rpm_gpgkey() declaration formatting

Fix type of second overload of find_rpm_gpgkey()

The return type is optional when we get any boolean that's not a
literal True, so widen the type to bool to fix that.

action: Stop populating pacman keyring

Not required anymore now that mkosi does this itself.