Add "defer" setting for Verity

This defers the creation of the verity-sig partition which is useful
when doing offline signing.

 Support unsigned verity backed extension/portable images

Building an unsigned extension image with verity hashes provides data
integrity without needing a certificate on the target machine.

Note that systemd-dissect and systemd-sysext doesn't automatically
use the verity data has partition for validation. Both tools enables
validation if the user.verity.roothash xattr is set for the image.
For systemd-dissect, one can use the --root-hash option to enable the
validation.

The root hash can be obtained by concatenating the partition uuid's for
the root and the root-verity partitions.

Documentation fix

arch: Bump initrd size

Drop two unneeded calls to umask()

Both these commands write temporary files to the workspace which
are not written to the image, so no need to care about the umask.

completion: complete paths after verb for zsh

completion: complete paths after verb for bash

Drop debug message about not including firmware

Too noisy in CI, especially on Arch where we install all firmware
so let's drop it.

mkosi-initrd: Add extra kernel modules

All this stuff gets loaded by udev on my laptop, isn't huge, and
doesn't pull in any firmware, so let's add these to the list of
kernel modules.

completion: complete paths after verb for fish

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.4.0 to 5.5.1.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/cc6721c45a8800cc666de45493545a07a638d121...5fa026e4797665181a0f7c6fa4a73c09348ae78c)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 3.28.0 to 3.28.8

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.0 to 3.28.8.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/48ab28a6f5dbc2a99bf1e0131198dd8f1df78169...dd746615b3b9d728a6a37ca2045b68ca76d4841a)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump version to 26~devel

Release 25.3

Merge pull request #3455 from labichn/universal-secure-boot

Make secure boot keys/crts/source config universal

Update docs for universal secure boot/verity/pcr creds/sources

Merge pull request #3451 from DaanDeMeyer/overlay

Fix condition when removing duplicate files from the overlay

Skip files outside of known paths for extension outputs

Use directory in user's home as output directory if possible

Otherwise, if the user's home is on a separate partition, we have to
do a very expensive copy to /var/tmp.

Fix condition when removing duplicate files from the overlay

Calculate PE section size correctly

config: add mkosi-addon

Otherwise it fails:

$ mkosi --include=mkosi-addon
‣ mkosi-addon does not exist

Merge pull request #3446 from DaanDeMeyer/have-cache

Various cache fixes

Don't call have_cache() in reuse_cache()

By the time reuse_cache() is called, we've already cleaned up old
cached images if needed, so just check if they still exist and reuse
them if they do.

Make sure previous cache entries are gone in save_cache()

Replace check_uid with a "tools" image check in have_cache()

We have access to the config object in have_cache() and this argument
is specifically intended to be used whenever we pass the default tools
tree to have_cache(), so let's just do the check based on config.image
in have_cache() itself.

Treat terminal as dumb if either stdout or stderr is not a tty

Fixes #3445

Make secure boot keys/crts/source config universal

Fix verity signature check in case keys are configured

The repart json output includes the architecture in the partiton type
string, so the same must be included when checking for a verity
signature partition.

Example repart output:
{
    "type": "usr-x86-64-verity-sig",
    "label": "image_20250127144324_verity_sig",
    "uuid": "ae4819c0-d8e8-4c11-a140-af81d63db968",
    "partno": 1,
    "file": "/home/mheb/git/os/mkosi.repart/10-usr-verity-sig.conf",
    "node": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.raw2",
    "offset": 537919488,
    "old_size": 16384,
    "raw_size": 16384,
    "old_padding": 0,
    "raw_padding": 0,
    "activity": "unchanged",
    "roothash": "TBD",
    "split_path": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.usr-x86-64-verity-sig.ae4819c0d8e84c11a140af81d63db968.raw"
}

mkosi-sandbox: Improve formatting of error messages

Move want_uki() check out of build_uki_profiles()

Otherwise the function is skipped in make_uki() even though it should
never be skipped in that case if there are UKI profiles defined.

mkosi-initrd: handle PermissionError when reading /etc/crypttab

Usually /etc/crypttab has 600 permissions, so display a warning to non-root
users rather than unhandling a PermissionError exception.

Merge pull request #3436 from DaanDeMeyer/tools

Tools tree improvements

mkosi-tools: Drop fish and zsh

These are a bit too exquisite to have in the default tools tree and
we don't start a shell in mkosi-sandbox by default anymore, so let's
stick to just having bash in the default tools tree.

mkosi-tools: Stop installing dnf on Azure,OpenSUSE,Fedora

Let's stop installing dnf on in tools trees of these distributions
and only install dnf5.

Simplify the documentation of installed dnf packages while we're at it.

zypper: pass --releasever option

zypper allows to use the `$releasever` variable in repo URLs (see zypper(8) man
page). When mkosi uses zypper repos from the host instead of the default ones,
this variable needs to be replaced with the host's `VERSION_ID`, otherwise repo
URLs are incomplete.

Log command line for abnormal signals

If we're not killed by SIGINT or SIGTERM, let's log the command line
as in this scenario it's very likely the process we were running crashed
with SIGABRT or SIGSEGV.

opensuse: fix package name: btrfs-progs -> btrfsprogs

This error was not visible enough because zypper can find it anyway:

```
'btrfs-progs' not found in package names. Trying capabilities.
```

Merge pull request #3429 from DaanDeMeyer/match

Check if list matches are empty if empty string is matched against

mkosi-initrd: Add two more modules

Three more generic modules that are needed in the initrd.

- mxm-wmi is a standard for switchable laptop graphics
- usb-storage is obviously for USB storage devices
- partport (https://docs.kernel.org/admin-guide/parport.html)
  seems generic enough that we should include it in the initrd.

test_config: Reduce the number of tests

Let's not run unnecessary tests that don't give any meaningful extra
coverage.

Check if list matches are empty if empty string is matched against

If we do something like

```
[Match]
Profiles=

...
```

It should succeed if the list of profiles is empty, so let's implement that.

The dpkg architecture name for loongarch64 is loong64

Because otherwise it was too loong

Use shutil.copy() to copy ovmf variables

shutil.copy2() isn't required here, we only care about the contents,
not the metadata of the file.

Use become_root_cmd() when running systemd-repart in run_shell() as well

systemd-repart's --image switch requires root privileges as well, so
let's use become_root_cmd() there as well.

Bump version to 26~devel

Release 25.2

Use all threads when relabelling files with setfiles

Merge pull request #3423 from DaanDeMeyer/profile

Only parse profiles from subimages and includes if those are dirs

Only parse profiles from subimages and includes if those are dirs

Make sure all config paths are absolute

With all the chdir() we do while parsing configuration, let's make
sure our config paths are absolute so that they don't suddenly
change meaning when we chdir().

Bump version to 26~devel

Release 25.1

Fix accessing "name" field in busctl json output

Co-Authored-By: Nick Labich <nick@labich.org>

Merge pull request #3420 from DaanDeMeyer/sandbox

Use resource_path() to access files in our own module

Use resource_path() to access files in our own module

__file__ doesn't work if mkosi is packaged up as a zipapp, let's
use resource_path() which is specifically intended to solve this
problem and works regardless of whether we're in a zipapp or not.

Remove unused variable

Bump initrd sizes

We should add a more automated way to figure out why the size
increased but for now let's bump the sizes.

Do not check uid in have_cache() for default tools tree

If the tools tree has a cache, it's complete, we're not going to
modify it anymore, and it doesn't matter whether the files in it
are owned by root or an unprivileged user, we'll be able to execute
binaries from it regardless, so let's not check the ownership when
we invoke have_cache() on it.

Add fallback to sudo if run0 is not available

sandbox: Show better error on ENOSYS

man: document kernel baseline for mkosi

Create zipapp for mkosi sandbox like we do in generate-zipapp.sh

Otherwise we run into ModuleNotFoundError trying to run a zipapp
created from a packaged version of mkosi. This is the same
workaround that's already used in generate-zipapp.sh.

news: fix typo detected by Lintian

mkosi: typo-in-manual-page "allows to" "allows one to" [usr/share/man/man7/mkosi.news.7.gz:111]

Remove depmod check in check_tools()

We run depmod inside the image now, so drop the check for it in
check_tools().

Bump version to 26~devel

Release 25

Replace all 257~devel versions with 257

Merge pull request #3411 from DaanDeMeyer/news

Update NEWS

Update NEWS

docs: Remove outdated paragraph

ToolsTree= is now just a regular universal setting so no need to
document it as being special in the ToolsTree= documentation.

Merge pull request #3409 from DaanDeMeyer/tools

Various tools tree fixes

Add mkosi.pkgcache

Remove unneeded assert

Add option to save the BuildSourcesEphemeral overlay.

mkosi-tools: Fix docs

mkosi-tools: Install virt-firmware on Debian/Kali/Ubuntu/OpenSUSE

mkosi-tools: Install pkcs11-provider on CentOS Stream 10

mkosi-tools: Move linux-perf package definition into shared logic

Update NEWS

Simplify crypto-policies copying

To make matters even more interesting, aside from a bunch of .txt
files in /usr/share/crypto-policies/DEFAULT, there's also the same
files in /usr/share/crypto-policies/back-ends/DEFAULT, but they do
have the .config extension there, so lets simplify the logic by
copying from that location.

Add support for FirmwareVariables=microsoft-mok

This new setting will use firmware variables with enrolled microsoft
keys and extend them with the required MOK variables to trust the
user's secure boot key/certificate.

Co-authored-by: Luca Boccassi <luca.boccassi@gmail.com>

tests: don't fail directory CI if lvm2-monitor.service fails

This service sometimes fails in CI for the arch:directory combination, e.g.

2025-01-21T12:07:33.4370559Z [   14.125731] mkosi-check-and-shutdown.sh[419]: + systemctl --failed --no-legend
2025-01-21T12:07:33.4380022Z [   14.126655] mkosi-check-and-shutdown.sh[420]: + tee /failed-services
2025-01-21T12:07:33.4714973Z [   14.160448] mkosi-check-and-shutdown.sh[420]: ● lvm2-monitor.service not-found failed failed lvm2-monitor.service
2025-01-21T12:07:33.4751355Z [   14.164135] mkosi-check-and-shutdown.sh[418]: + [[ ! -s /failed-services ]]

This is the first time this appears in the partcular boot's logs and we always
ignore it and carry on. Let's sidestep checking whether it is this particular
error by masking the unit.

A possible reason might be that it gets pulled in by udev if a test using LVM
runs first.

Merge pull request #3403 from DaanDeMeyer/fixes

Various fixes

Don't insist on pre-signed EFI binaries when ShimBootloader == signed

The whole point of shim is that you can use a presigned shim with
locally signed EFI binaries if the local key is enrolled in MOK, so
don't insist on presigned EFI binaries when a signed shim is requested.

Instead the new "signed" variants of the Bootloader= option can be used
to still force installation of presigned EFI binaries.

Fix copying of crypto policies from tools tree

These files should have the .config extension in /etc/crypto-policies,
but they have the .txt extension in /usr/share/crypto-policies.

Simplify finalize_firmware_variables() a little

Remove unused argument from finalize_firmware_variables()

Merge pull request #3402 from DaanDeMeyer/ci

CI fixes

ci: Use mkosi sandbox to run the integration tests

Using mkosi sandbox allows all the tools for the test logic themselves
to be executed from the tools tree as well.

tests: Setup logging properly

tests: Always pass process environment to mkosi

Let's not override the entire environment when we need some extra
environment variables.

tests: Do not register test containers/vms with systemd-machined

tests: Remove privilege dropping for image builds

This just does not work reliably at all. We change uid/gid but keep
all the environment variables which is just a recipe for issues. Let's
enforce running everything as root if one wants to run the tests that
require root privileges.

Move uid check back to have_cache()

We moved this to reuse_cache() before the introduction of mkosi-sandbox
because we would change uids during execution. Now that we don't do that
anymore, we can move the check back to have_cache().

ci: Centralize package installation in unit-tests job

Also get rid of the microsoft-prod.list hack by just not running
apt-get update anymore which avoids the need to remove the microsoft
repositories.

ci: Move grub2 for opensuse to mkosi tools tree packages

ci: Add centos tools tree CI

ci: Re-enable Arch with ubuntu tools build

Now that we'll fetch a recent keyring, we can re-enable this specific
combo

tests: Skip booting from directory in user namespace with single user

We need newuidmap/newgidmap to be able to boot from a directory which
can't ever work in a user namespace with a single user so skip the
test in that case.