Delete empty firmware subdirectories

Fixes #3124

Use firmwared variable in one more place

Set qemu drive caching options for qemu drives as well

We already set these for the scratch device, let's make sure we set
them for any drives we allocate as well.

We also make sure the drive size is aligned to the page size so qemu
can use O_DIRECT.

Merge pull request #3137 from DaanDeMeyer/stuff

Various fixes

mkosi-initrd: Include virtio_blk module

Use virtio-blk-pci unless scsi-hd is really needed

https://www.qemu.org/2021/01/19/virtio-blk-scsi-configuration/
mentions that for performance critical use cases, virtio-blk should
be preferred so let's use virtio-blk unless we actually need scsi-hd.

Make qemu drives and scratch device NOCOW as well

These will face lots of random writes as well so let's make these
NOCOW as well.

Don't unconditionally enable epel for mkosi-initrd

Whether to enable epel or not should be up to the user, not hard coded
by us, so drop the config snippet that enables the epel repositories.

follow-up for 886f091a743a6ac808c20ef59e9cf7e20703376d

To enable the epel repositories for mkosi-initrd, you'd do something
like the following:

"""
[Distribution]
Distribution=centos
Release=9
Repositories=epel,epel-next

[Include]
Include=mkosi-initrd
"""

We don't currently have a way to enable the epel repositories when
using mkosi-initrd, because it always uses the exact same repositories
as the host system. However, erofs-utils can still be installed by just
including it using /usr/lib/mkosi-initrd/mkosi.conf without a match
section.

Implement default values for the simple config parser

opensuse: prevent zypper from pulling busybox in the initrd

zypper's internal logic selects busybox-package variants of packages that are
required via dependency and not explicitly listed to install, which also causes
busybox to be added to the initrd.

Also, remove the shadow package (the equivalent to the shadow-utils package in
Fedora).

Fix conf with settings in Content instead of Build

Follow-up for 6912dc0ea0c7e20900a9b5d2c43343c1c782e91c

Fix mkosi-initrd conf for CentOS EPEL

Fixes #3127

Sync man and help output

Fix repart definition for ESP builds

Merge pull request #3123 from septatrix/more-fsck-in-initrd

Add erofs and fat utils to initrd

Add erofs and fat utils to initrd

These provide the respective fsck progs

Add erofs and fat utils to initrd

These provide the respective fsck progs

Add a new QemuRemovable option to allow attaching the image to qemu as removable

Add noqa for overlength line

Fix failing test

Rewrap QemuRemovable section on the man page to column 109

Add erofs and fat utils to initrd

These provide the respective fsck progs

Clarify explanation of `Verity=` option

This clarifies that the "auto" value for the verity option
only really makes sense for extension images.

Update description of `ToolsTreeDistribution=`

It was changed to default to the host distro instead of the target distro a while a ago but this was forgotten.

Merge pull request #3120 from DaanDeMeyer/fix

Log config file path where available on config file parse errors

Fix sections of various settings

Log config file path where available on config file parse errors

Check if tools tree exists before statting it in cache_manifest()

The tools tree might have been removed because it's cache was out of
date so let's make sure we check it exists in cache_manifest().

Copy SYSEXT_LEVEL from os-release to extension-release as well

Fixes #3117

Merge pull request #3115 from DaanDeMeyer/stuff

Various fixes for extension images

Add Verity= feature

This allows explicitly enabling/disabling use of verity for disk and
extension images as requested in #3113..

Run various cleanup operations without the base trees mounted

When running cleanup operations just before we finish the build and
we're building with Overlay=yes, we only want the cleanup to apply
to the overlay, not the base trees, so it makes sense to run the
final cleanup operations and the finalize scripts without the base
trees mounted.

This makes using chroot finalize scripts for overlay images impossible
but this shouldn't be a huge issue.

Package removals and selinux relabelling still run with the base trees
mounted because those operations rely on various files included in the
base trees.

docs: Mention Format=none in sysext doc

This allows disabling building of the default image as requested
in #3113.

Merge pull request #3109 from DaanDeMeyer/tests-tools

Make tools tree available in tests

config: Make recursive_paths configurable with globs

Make tools tree available in tests

For use with find_binary() to check if binaries exist in the tools
tree.

Put .profile section values in quotes if not alphanumeric

This is supposed to be sourcable by shells so make sure we use
quotes in case values with whitespace are used.

Be specific about noqa tags

Define our own config for PE addons and UKI profiles

ukify's config parser uses python's configparser module and as such
suffers from all its issues just like we used to in mkosi. Having ukify
parse the config file also means that we have to make sure any paths
configured in the profile are available in the sandbox.

Instead, let's define our own configs for the PE addons and UKI profiles
so we get to take advantage of our own config file parser and have full
knowledge of all the configured settings so we can mount extra stuff into
the sandbox if needed.

It also gets rid of the hack where we parse ukify's config file to figure
out the command line.

docs: fix broken man page link on the website

Make find_binary()'s root argument optional

Makes it a little easier to use.

Use fmt: skip instead of noqa in two places

Remove DownloadUser from provided pacman.conf

Fixes #3048

Merge pull request #3103 from DaanDeMeyer/relax

Relax read-only mounts even more

tree-wide: Use workdir() everywhere

Let's make sure we mount inputs and outputs to various tools in a
completely separate directory than the base ones that are in the
sandbox.

Make sure various directory exist when we shortcut sandbox_cmd()

Make sure swtpm is run in a scope, not swtpm_setup

Relax read-only mounts even more

Turns out having home directories as a subdirectory of /usr is a thing.
Let's relax the readonly mount requirements even more to make this use
case work as well.

Merge pull request #3102 from DaanDeMeyer/pcr

Allow signing expected PCRs independently of using secure boot

Allow signing expected PCRs independently of using secure boot

Install tpm2.0-tools in opensuse tools tree

Makes sure the tpm2.0 libraries are pulled in which is required for
syztemd-measure.

Install python3-cryptography in opensuse tools tree

Required by ukify

Merge pull request #3101 from aafeijoo-suse/use-distro-pretty-name

Print distribution pretty name on installation

Rename Profile= match to Profiles=

Matches related to settings are named after their setting so this
should be Profiles= similarly to the Repositories= match. The old
name will still work as well but we use the new one in docs.

Use openSUSE everywhere

Print distribution pretty name on installation

Move various settings to the [Build] section

These all make more sense to have in the [Build] section.

Merge pull request #3090 from DaanDeMeyer/profiles

Introduce UnifiedKernelImageProfiles=

Introduce UnifiedKernelImageProfiles=

Same concept as PEAddons=, except these are added as additional
profiles to every UKI built by mkosi.

Accompanying systemd PR: https://github.com/systemd/systemd/pull/34608

Simplify run_ukify() and related functions a little

mkosi-initrd: only set restrictive umask to create output dir if user is root

mkosi-initrd: build using a temporary directory

Fixes #3083

Merge pull request #3097 from DaanDeMeyer/profile

Drop %p profile specifier

Drop %p profile specifier

Doesn't make sense anymore now that profiles is a list.

Profile= => Profiles= in two more places

Merge pull request #3091 from DaanDeMeyer/fix

Evaluate tools_tree earlier

tests: Drop tools tree related options

Let's not build the tools tree as part of running the tests anymore.
Instead, let's just build it manually up front.

Enable repository key fetch for non-default ubuntu tools trees as well

If we're building an rpm based distribution.

Allow detect_distribution() to read from root directory

tests: Tune Fedora initrd size a little

Makes the test pass on Ubuntu again

Rework tools tree cache manifest serialization

Let's encode the full path and not just the name. We'll rework the
tests in the next commit to not nuke the tools tree every time.

Let's also track the timestamp of the root directory of the tools
tree as a heuristic for whether it's been updated or not.

tools: Don't use apt pattern for ubuntu-keyring

Running

    mkosi --directory "" -d debian -r bookworm --include mkosi-tools --output mkosi.tools

on current Debian stable on gets an error that the package 'ubuntu-keyring'
doesn't have any installable candidates. Moving the inclusion of the package
out of the purview of apt and back into mkosi's fixes this issue.

tests: pass args correctly

tests: Fix summary

Don't store default kernel command line and credentials in Config

Let's delay calculation of these until the last moment instead of
storing them in the Config object. This makes the summary more succinct
and reduces the amount of work we do to parse the configuration.

Bump github/codeql-action from 3.26.6 to 3.26.10

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.26.6 to 3.26.10.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/4dd16135b69a43b6c8efb853346f8437d92d3c93...e2b3eafc8d227b0241d48be5f425d47c2d750a13)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/checkout from 4.1.7 to 4.2.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.1.7 to 4.2.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/692973e3d937129bcbf40652eb9f2f61becf3332...d632683dd7b4114ad314bca15554477dd762a938)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

dnf: Drop yum fallback

Don't pass in tools tree to default initrd in run_clean()

There might not be a tools tree, so let's not pass it in otherwise
parse_config() will fail if it doesn't exist.

Run diff without sandbox

have_cache() is called in run_clean() now which means we're not
guaranteed to have a tools tree available so let's run diff without
a tools tree.

Evaluate tools_tree earlier

We now call have_cache() in run_clean() so let's make sure we
evaluate the tools tree stuff earlier as have_cache() depends on it.

Don't remount directory read-only if output directory is located in it

See #3083

Merge pull request #3089 from behrmann/docdocargs

Two documentation fixes

docs: Add missing documentation for the completion verb

docs: Document that the documentation verb takes arguments

Fix broken man page links

Fixes: #3086

docs: Document how to include initrd in root verity doc

Merge pull request #3082 from behrmann/docnews

Make news available to the documentation verb

docs: Add man page shortcuts

docs: Make man page chapter configurable and encode it in the resource file name

Merge pull request #3081 from DaanDeMeyer/rpm

opensuse: Force rpm ndb backend

docs: Make news available to documentation verb

opensuse: Force rpm ndb backend

OpenSUSE's rpm is not built with the sqlite db backend so let's make
sure the rpm DB can be read inside the image by OpenSUSE's rpm by
forcing the ndb backend to be used.

Set up rpm before dnf/zypper

Don't create mountpoint in /var in sandbox

/var will always be writable in the sandbox so no need to precreate
the sandbox. This also saves us from using an overlayfs mount from
/var in the sandbox as it will be completely empty now.

Fix wrongly-quoted string.

Also make the option long-form.

Fixes: 0a1e8f26d16ac64040da7d03ef4711e706775f3a

Make diff debug output in have_cache universal

Reorder PeAddons= and fix summary name

Clean cache directory in run_clean()

Let's make sure we clean up the previous cache in run_clean() instead
of in save_cache().

Fix addons directory mode

We use 700 everywhere for /boot, so let's use it for addons as well.

Merge pull request #3074 from NekkoDroid/mkosi-uki-addons

Add support for building UKI addons

Add support for building PE addons

Extract `ukify` call to separate function