Don't call have_cache() in reuse_cache()

By the time reuse_cache() is called, we've already cleaned up old
cached images if needed, so just check if they still exist and reuse
them if they do.

Make sure previous cache entries are gone in save_cache()

Replace check_uid with a "tools" image check in have_cache()

We have access to the config object in have_cache() and this argument
is specifically intended to be used whenever we pass the default tools
tree to have_cache(), so let's just do the check based on config.image
in have_cache() itself.

Treat terminal as dumb if either stdout or stderr is not a tty

Fixes #3445

Fix verity signature check in case keys are configured

The repart json output includes the architecture in the partiton type
string, so the same must be included when checking for a verity
signature partition.

Example repart output:
{
    "type": "usr-x86-64-verity-sig",
    "label": "image_20250127144324_verity_sig",
    "uuid": "ae4819c0-d8e8-4c11-a140-af81d63db968",
    "partno": 1,
    "file": "/home/mheb/git/os/mkosi.repart/10-usr-verity-sig.conf",
    "node": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.raw2",
    "offset": 537919488,
    "old_size": 16384,
    "raw_size": 16384,
    "old_padding": 0,
    "raw_padding": 0,
    "activity": "unchanged",
    "roothash": "TBD",
    "split_path": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.usr-x86-64-verity-sig.ae4819c0d8e84c11a140af81d63db968.raw"
}

mkosi-sandbox: Improve formatting of error messages

Move want_uki() check out of build_uki_profiles()

Otherwise the function is skipped in make_uki() even though it should
never be skipped in that case if there are UKI profiles defined.

mkosi-initrd: handle PermissionError when reading /etc/crypttab

Usually /etc/crypttab has 600 permissions, so display a warning to non-root
users rather than unhandling a PermissionError exception.

Merge pull request #3436 from DaanDeMeyer/tools

Tools tree improvements

mkosi-tools: Drop fish and zsh

These are a bit too exquisite to have in the default tools tree and
we don't start a shell in mkosi-sandbox by default anymore, so let's
stick to just having bash in the default tools tree.

mkosi-tools: Stop installing dnf on Azure,OpenSUSE,Fedora

Let's stop installing dnf on in tools trees of these distributions
and only install dnf5.

Simplify the documentation of installed dnf packages while we're at it.

zypper: pass --releasever option

zypper allows to use the `$releasever` variable in repo URLs (see zypper(8) man
page). When mkosi uses zypper repos from the host instead of the default ones,
this variable needs to be replaced with the host's `VERSION_ID`, otherwise repo
URLs are incomplete.

Log command line for abnormal signals

If we're not killed by SIGINT or SIGTERM, let's log the command line
as in this scenario it's very likely the process we were running crashed
with SIGABRT or SIGSEGV.

opensuse: fix package name: btrfs-progs -> btrfsprogs

This error was not visible enough because zypper can find it anyway:

```
'btrfs-progs' not found in package names. Trying capabilities.
```

Merge pull request #3429 from DaanDeMeyer/match

Check if list matches are empty if empty string is matched against

mkosi-initrd: Add two more modules

Three more generic modules that are needed in the initrd.

- mxm-wmi is a standard for switchable laptop graphics
- usb-storage is obviously for USB storage devices
- partport (https://docs.kernel.org/admin-guide/parport.html)
  seems generic enough that we should include it in the initrd.

test_config: Reduce the number of tests

Let's not run unnecessary tests that don't give any meaningful extra
coverage.

Check if list matches are empty if empty string is matched against

If we do something like

```
[Match]
Profiles=

...
```

It should succeed if the list of profiles is empty, so let's implement that.

The dpkg architecture name for loongarch64 is loong64

Because otherwise it was too loong

Use shutil.copy() to copy ovmf variables

shutil.copy2() isn't required here, we only care about the contents,
not the metadata of the file.

Use become_root_cmd() when running systemd-repart in run_shell() as well

systemd-repart's --image switch requires root privileges as well, so
let's use become_root_cmd() there as well.

Bump version to 26~devel

Release 25.2

Use all threads when relabelling files with setfiles

Merge pull request #3423 from DaanDeMeyer/profile

Only parse profiles from subimages and includes if those are dirs

Only parse profiles from subimages and includes if those are dirs

Make sure all config paths are absolute

With all the chdir() we do while parsing configuration, let's make
sure our config paths are absolute so that they don't suddenly
change meaning when we chdir().

Bump version to 26~devel

Release 25.1

Fix accessing "name" field in busctl json output

Co-Authored-By: Nick Labich <nick@labich.org>

Merge pull request #3420 from DaanDeMeyer/sandbox

Use resource_path() to access files in our own module

Use resource_path() to access files in our own module

__file__ doesn't work if mkosi is packaged up as a zipapp, let's
use resource_path() which is specifically intended to solve this
problem and works regardless of whether we're in a zipapp or not.

Remove unused variable

Bump initrd sizes

We should add a more automated way to figure out why the size
increased but for now let's bump the sizes.

Do not check uid in have_cache() for default tools tree

If the tools tree has a cache, it's complete, we're not going to
modify it anymore, and it doesn't matter whether the files in it
are owned by root or an unprivileged user, we'll be able to execute
binaries from it regardless, so let's not check the ownership when
we invoke have_cache() on it.

Add fallback to sudo if run0 is not available

sandbox: Show better error on ENOSYS

man: document kernel baseline for mkosi

Create zipapp for mkosi sandbox like we do in generate-zipapp.sh

Otherwise we run into ModuleNotFoundError trying to run a zipapp
created from a packaged version of mkosi. This is the same
workaround that's already used in generate-zipapp.sh.

news: fix typo detected by Lintian

mkosi: typo-in-manual-page "allows to" "allows one to" [usr/share/man/man7/mkosi.news.7.gz:111]

Remove depmod check in check_tools()

We run depmod inside the image now, so drop the check for it in
check_tools().

Bump version to 26~devel

Release 25

Replace all 257~devel versions with 257

Merge pull request #3411 from DaanDeMeyer/news

Update NEWS

Update NEWS

docs: Remove outdated paragraph

ToolsTree= is now just a regular universal setting so no need to
document it as being special in the ToolsTree= documentation.

Merge pull request #3409 from DaanDeMeyer/tools

Various tools tree fixes

Add mkosi.pkgcache

Remove unneeded assert

Add option to save the BuildSourcesEphemeral overlay.

mkosi-tools: Fix docs

mkosi-tools: Install virt-firmware on Debian/Kali/Ubuntu/OpenSUSE

mkosi-tools: Install pkcs11-provider on CentOS Stream 10

mkosi-tools: Move linux-perf package definition into shared logic

Update NEWS

Simplify crypto-policies copying

To make matters even more interesting, aside from a bunch of .txt
files in /usr/share/crypto-policies/DEFAULT, there's also the same
files in /usr/share/crypto-policies/back-ends/DEFAULT, but they do
have the .config extension there, so lets simplify the logic by
copying from that location.

Add support for FirmwareVariables=microsoft-mok

This new setting will use firmware variables with enrolled microsoft
keys and extend them with the required MOK variables to trust the
user's secure boot key/certificate.

Co-authored-by: Luca Boccassi <luca.boccassi@gmail.com>

tests: don't fail directory CI if lvm2-monitor.service fails

This service sometimes fails in CI for the arch:directory combination, e.g.

2025-01-21T12:07:33.4370559Z [   14.125731] mkosi-check-and-shutdown.sh[419]: + systemctl --failed --no-legend
2025-01-21T12:07:33.4380022Z [   14.126655] mkosi-check-and-shutdown.sh[420]: + tee /failed-services
2025-01-21T12:07:33.4714973Z [   14.160448] mkosi-check-and-shutdown.sh[420]: ● lvm2-monitor.service not-found failed failed lvm2-monitor.service
2025-01-21T12:07:33.4751355Z [   14.164135] mkosi-check-and-shutdown.sh[418]: + [[ ! -s /failed-services ]]

This is the first time this appears in the partcular boot's logs and we always
ignore it and carry on. Let's sidestep checking whether it is this particular
error by masking the unit.

A possible reason might be that it gets pulled in by udev if a test using LVM
runs first.

Merge pull request #3403 from DaanDeMeyer/fixes

Various fixes

Don't insist on pre-signed EFI binaries when ShimBootloader == signed

The whole point of shim is that you can use a presigned shim with
locally signed EFI binaries if the local key is enrolled in MOK, so
don't insist on presigned EFI binaries when a signed shim is requested.

Instead the new "signed" variants of the Bootloader= option can be used
to still force installation of presigned EFI binaries.

Fix copying of crypto policies from tools tree

These files should have the .config extension in /etc/crypto-policies,
but they have the .txt extension in /usr/share/crypto-policies.

Simplify finalize_firmware_variables() a little

Remove unused argument from finalize_firmware_variables()

Merge pull request #3402 from DaanDeMeyer/ci

CI fixes

ci: Use mkosi sandbox to run the integration tests

Using mkosi sandbox allows all the tools for the test logic themselves
to be executed from the tools tree as well.

tests: Setup logging properly

tests: Always pass process environment to mkosi

Let's not override the entire environment when we need some extra
environment variables.

tests: Do not register test containers/vms with systemd-machined

tests: Remove privilege dropping for image builds

This just does not work reliably at all. We change uid/gid but keep
all the environment variables which is just a recipe for issues. Let's
enforce running everything as root if one wants to run the tests that
require root privileges.

Move uid check back to have_cache()

We moved this to reuse_cache() before the introduction of mkosi-sandbox
because we would change uids during execution. Now that we don't do that
anymore, we can move the check back to have_cache().

ci: Centralize package installation in unit-tests job

Also get rid of the microsoft-prod.list hack by just not running
apt-get update anymore which avoids the need to remove the microsoft
repositories.

ci: Move grub2 for opensuse to mkosi tools tree packages

ci: Add centos tools tree CI

ci: Re-enable Arch with ubuntu tools build

Now that we'll fetch a recent keyring, we can re-enable this specific
combo

tests: Skip booting from directory in user namespace with single user

We need newuidmap/newgidmap to be able to boot from a directory which
can't ever work in a user namespace with a single user so skip the
test in that case.

action: Only install package managers and debian-keyring

Instead, let's recommend users to use the default tools tree to get
their dependencies which is generally recommended as it reduces their
dependencies on what's installed on the host system.

centos: Install erofs-utils in tools tree

mkosi-tools: Install systemd-ukify on Azure, CentOS and Fedora

systemd-ukify is not architecture dependant anymore so let's always
install it. It's also packaged in CentOS Stream and Azure Linux so
let's install it there as well.

mkosi-tools: Fix architecture condition

We need to match the architecture of the tools tree we're building,
not the host architecture. In practice these will always be the same
so this doesn't actually change behavior.

Make mkosi available inside mkosi sandbox via zipapp

Currently, mkosi has to be installed outside of /usr when using a
tools tree with mkosi sandbox to make it available inside mkosi
sandbox. Let's remove this restriction by packaging up the host's
mkosi as a zipapp and making the zipapp available in the sandbox.

Remove mkosi.types to avoid conflict with standard library types.py

The process related stuff is moved to run.py and the rest is moved
to util.py

Special case tools image in keyring_cache() and metadata_cache()

Similar to cache_tree_paths(), give the metadata and keyring cache
for the default tools tree a custom name to avoid conflicts with the
other image caches.

Move keyring_cache() and metadata_cache() next to cache_tree_paths()

Make Register= a feature

By default, we want to register if machined is available and not
otherwise so let's make Register= a feature that defaults to "auto".

Rework crypto-policies again

Currently, we only write our own rpm-sequoia crypto policy if one
isn't provided by the tools tree. However, the centos stream 10 crypto
policy is restrictive enough that we can't build older centos releases
or opensuse images with it.

To fix this, let's switch things around again and go back to copying
the crypto policy from the tools tree into the sandbox tree and modifying
the rpm-sequoia policy to fit our needs. For mkosi sandbox, we do reuse
the crypto policies from the tools tree unmodified.

Note that we copy from /usr/share/crypto-policies/DEFAULT instead of
/etc/crypto-policies, as when using mkosi sandbox, we get
/etc/crypto-policies from the host which is full of symlink's to the host's
/usr, even if the tools tree might not be using crypto policies at all.

We also rename finalize_crypto_mounts() to finalize_certificate_mounts()
as it only handles certificates now.

appease spellchecker

Use Initrds= for qemu direct kernel boot as a fallback

Fixes #3180

docs: Make more clear that the SHA256SUMS is prefixed with the output

Fixes #3027

Merge pull request #3397 from DaanDeMeyer/signed

Add support for pre-signed Bootloader variants without shim

Parse mkosi.profiles in included configuration

Fixes #3174

Add support for pre-signed Bootloader variants without shim

Currently we only pick up pre-signed bootloader binaries if
ShimBootloader=signed is configured. Let's also add support for
installing pre-signed bootloader binaries without using shim.

Drop out of date paragraph about not installing grub for EFI

Merge pull request #3395 from DaanDeMeyer/addon

kernel-install: Various fixes

mkosi-initrd: Simplify

kernel_image is not optional so get rid of the if check.

mkosi-initrd: Add extra logging to kernel-install plugin

mkosi-addon: Skip if provided kernel image is not a UKI

Reduce duplication between mkosi-initrd and mkosi-addon

Simplify KernelInstallContext.parse() a little

qemu: Look for /usr/libexec/qemu-kvm as well

On CentOS Stream, only /usr/libexec/qemu-kvm is available.