Improve Ssh= documentation

Let's make the phrasing a bit clearer and easier to digest

Co-authored-by: Jörg Behrmann <behrmann@physik.fu-berlin.de>

Add new Ssh=auto and Ssh=runtime options

Fixes #3654

Fix ToolsTreeRepositories= scope

Allow --rerun-build-scripts in combination with none output

To make the logic work without being able to check if the output
exists or not, we simply never write the history if --rerun-build-scripts
if specified with the none output format.

obs: fix sign-efi-sig-list parameter format

It wants a date in the format Y-m-d H:M:S rather than unix seconds.
Also if SOURCE_DATE_EPOCH is not defined, use actual epoch, as the
timestamps must match when creating the signature and when attaching
it

Drop ToolsTreeSyncScripts= and ToolsTreePrepareScripts=

These are not in an official release yet, and can be configured via
mkosi.tools.conf now with their regular setting alternatives, so let's
drop these.

Merge pull request #3592 from septatrix/persisten-drives

Set MKOSI_DEBUG instead of DEBUG

DEBUG is very generic and can picked up by anything, but sometimes
with drastically different meanings to what is supposed to be in the
environment variable value.

For example the xfstests configure script expects DEBUG to contain
compiler options, which makes it break in extremely hard to debug
ways if we set DEBUG ourselves to a boolean value.

Let's namespace this to avoid conflicts.

Mark scratch disk as nocow

Include machine_or_name in drive filename

Revert "qemu: Remove unused argument from finalize_drive()"

This reverts commit 3e850db2bb5b4ad93742b844bb3f74f2c61f8b62.

Make Drive= flags more general

Merge pull request #3646 from aafeijoo-suse/initrd-vconsole-ubuntu

mkosi-initrd: refactor add_raid_config -> raid_config

mkosi-initrd: fix vconsole configuration for Ubuntu

Ubuntu (and Debian?) installs `/etc/vconsole.conf` as a dangling symlink to
`/etc/default/keyboard`, and that causes the `mkosi-initrd` build to fail.

```
\u2023  Copying in extra file trees\u2026
cp: not writing through dangling symlink '/work/var/tmp/mkosi-workspace-us4prlhz/root/etc/vconsole.conf'
\u2023 "cp --recursive --no-dereference --preserve=mode,links --reflink=auto --copy-contents /work/etc/default/keyboard /work/var/tmp/mkosi-workspace-us4prlhz/root/etc/vconsole.conf" returned non-zero exit code 1.
bash-5.2# ls -l /work/var/tmp/mkosi-workspace-us4prlhz/root/etc/vconsole.conf
lrwxrwxrwx 1 0 0 16 Apr  2 14:49 /work/var/tmp/mkosi-workspace-us4prlhz/root/etc/vconsole.conf -> default/keyboard
bash-5.2# ls -l /work/var/tmp/mkosi-workspace-us4prlhz/root/etc/default/keyboard
ls: cannot access '/work/var/tmp/mkosi-workspace-us4prlhz/root/etc/default/keyboard': No such file or directory
```

Don't chdir() to mkosi/ subdirectory

Changing the working directory to mkosi/ is not intuitive. We want
to parse configuration from there, but the working directory should
not change (e.g. you don't want mkosi sandbox to execute inside the
mkosi/ subdirectory when invoked in the top level directory).

mkosi-initrd: copy local vconsole configuration

Otherwise it can be very hard to enter a password set on the host using a
keyboard with some specific language layout.

Merge pull request #3643 from DaanDeMeyer/subdir

Use mkosi/ subdirectory if no configuration exists in cwd

Use mkosi/ subdirectory if no configuration exists in cwd

In systemd we've ended up with a large amount of mkosi specific
files and directories in the top level of the repository. Let's allow
moving these to a mkosi/ directory by transparently picking this up.

build(deps): bump github/codeql-action from 3.28.10 to 3.28.13

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.10 to 3.28.13.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/b56ba49b26e50535fa1e7f7db0f4f7b4bf65d80d...1b549b9259bda1cb5ddde3b41741a82a2d15a841)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-version: 3.28.13
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3641 from DaanDeMeyer/fix

Don't allow configuring distribution, release and mirror in tools tree config

config_default_repository_key_check() depends on ToolsTreeDistribution=
to select the right default. If the tools tree distribution is configured
in mkosi.tools.conf, we're unable to select the right default for
RepositoryKeyCheck= for the main image. Until we figure out a decent solution
for this, let's insist that the tools tree distribution is configured via
ToolsTreeDistribution=.

Similarly, selecting the default tools tree mirror depends on the selected
target distribution and mirror, so we insist on configuring the tools tree
mirror and release via ToolsTreeMirror= and ToolsTreeRelease= for now.

Fixes for config_default_repository_key_check()

Currently we assume fetching is not required if the host distribution
is not ubuntu, but this is wrong. If the host distribution is not ubuntu
but a ubuntu tools tree is used to build rpm based or Arch images, then
we still need key fetching.

Additionally, make RepositoryKeyFetch= a universal setting so that the
tools tree can have it enabled without enabling it for the main and subimages.
We then also drop the condition from config_default_repository_key_fetch()
that checks whether we need key fetching to build the tools tree distribution
because this will be determined automatically now when parsing the tools tree
config.

Fix typo

We should append here since we modified it earlier, not override it.

Allow configuring environment variables in tools tree config

Merge pull request #3638 from DaanDeMeyer/fixes

Make sure /etc/ and /var/ always exist in sandbox

mkosi-obs: Only disable History= for main image

History= cannot be set anymore for subimages, so only disable it for
the main image.

Make sure we chdir() to builtin config path before parsing

initrd: Copy Arch Linux keyring from host when running as root

When running as root, we run with --cache-only=metadata, which means
we won't try to sync the keyring, so let's reuse the one from the host
to make sure that a keyring is available.

Fixes #3635

pacman: Don't mount keyring dir if it's empty

This allows providing the keyring via sandbox trees which we'll make
use of in mkosi-initrd.

Fix test_tools on unknown distributions

Make sure /etc/ and /var/ always exist in sandbox

Fixes #3637

Merge pull request #3636 from DaanDeMeyer/tools

Move default tools tree configuration to config.py

Allow adding extra tools tree configuration via mkosi.tools.conf

Instead of adding ever more ToolsTreeXXX= settings, let's allow
adding extra tools tree configuration via mkosi.tools.conf which can
be either a file or a directory containing extra configuration for the
default tools tree.

Switch tools tree parsing to ParseContext

Default tools tree configuration currently depends on manually plumbing
through settings from the main configuration to the tools tree configuration.
This has already bitten us a few times where we forgot to add the necessary
plumbing when adding a new setting.

Instead, let's improve by encoding in the settings themselves whether they
apply to the tools tree or not. We call settings that apply to the tools tree
and all subimages "multiversal" settings (one step bigger than "universal"
settings).

For the tools tree specific settings (e.g. ToolsTreeDistribution= and friends),
we simply copy the fields from the main image configuration namespace to the tools
tree configuration namespace.

Additionally, we restrict which settings can be applied to the tools tree by
a new "tools" field for each setting which has to be set to True to make a setting
configurable in the default tools tree configuration.

Finally, we stop storing the tools tree specific settings in the main image config,
and instead store the tools tree configuration separately in the history JSON and
summary. This will allow us to add more ways to configure the default tools tree in
the future as well.

ci: Show summary

Disable orphan_file automatically if not supported

Let's automatically detect if the orphan_file ext4 feature needs to
be disabled if it's not supported by the target distribution official
kernel.

config: Use dicts everywhere in favor of argparse.Namespace()

These behave the same, except that argparse.Namespace() allows dot
based accessed to its keys and dict does not. Dot based access suggests
to the reader that a typed property is being accessed that definitely
exists, whereas that's anything but guaranteed when using argparse.Namespace().

Let's switch to using dicts everywhere so that whenever we access a
property, we do so in a way that suggests to the reader that we're doing
an untyped access into a dictionary.

Fix default values for key/certificate source parsers

Do not make directory, none and oci images bootable by default

It's more likely to not want these bootable, so let's default to that
and drop the explicit disablement from mkosi-tools at the same time.

Disable selinux relabeling by default for directory images

For directory images it's more likely to not want these selinux
relabeled, so let's default to that. Also drop the explicitly selinux
relabeling disablement from mkosi-tools.

mkosi-tools: Stop disabling ManifestFormat=

We don't produce a manifest by default these days so no need to
explicitly disable it.

mkosi-tools: Stop removing BuildSources=

Tools tree prepare scripts are now a thing so it's possible to require
build sources for the default tools tree so let's stop removing them
unconditionally.

resources: Fix up resources without parse_config()

config: Various cleanups for the directory attribute

- Make sure it is always set and looked up on the config ns
- Make sure we set it before parsing includes from the command line

config: Introduce ParseContext.finalize()

Make CompressLevel= an inherited setting

Introduce 'main' setting scope

There's a bunch of settings that aren't universal but also don't make
sense to be configured in subimages, so let's add a new 'main' setting
scope that disallows configuring these settings in subimages without
passing them to subimages.

Store tools and initrd profiles as a list of strings

There's no benefit to storing these as a list of enums, so let's
get rid of that and store these as a list of strings like we store
regular profiles.

Rename paths, recursive_paths to path_suffixes, recursive_path_suffixes

This reduces duplication and allows us to make the prefix configurable
in a later commit.

Make passed environment variables an inherited setting

Remove unneeded default factory depends from ToolsTreeDistribution

The default tools tree distribution does not depend on the selected
target distribution anymore.

Do not pass --incremental=no explicitly to default tools tree

It's the default value for --incremental=.

Move default tools tree parsing to parse_config()

Merge pull request #3634 from aafeijoo-suse/env-debug

mkosi: pass DEBUG enviroment variable to scripts

So scripts can run debugging code if mkosi is running with `--debug`.

man: sort table with environment variables received by scripts

Allow combining --force and --rerun-build-scripts

Until now we didn't allow this, but it turns out there's actually
a use case for this, build the image if it doesn't exist yet, reuse
the existing image otherwise.

mkosi-initrd: fix misleading "mkosi not found" error message

There is a special handling when a script under /work fails with 127, which is
also reached when mkosi is called within mkosi-initrd.

```
‣ Running finalize script /etc/mkosi-initrd/mkosi.finalize…
/work/finalize: line 5: strip: command not found
‣ /work/finalize failed with non-zero exit code 127
‣ (Maybe a program was not found or the script interpreter (e.g. bash) is not installed?)
‣ mkosi not found.
```

Merge pull request #3631 from DaanDeMeyer/local

pacman: Always bind mount /var/lib/pacman/local from sandbox

We want any writes to /var/lib/pacman/local to go to any configured
overlayfs on /buildroot, instead of going directly to the
/var/lib/pacman/local directory which might be a lowerdir in the
overlayfs if one is used. Let's implement this by simply specifying
a path relative to the sandbox instead of specifying the path on the
host.

Fixes #3625

sandbox: Allow taking bind source paths relative to the sandbox root

mkosi-initrd: Add amd_atl to default modules

Another harmless CPU module without any dependencies that gets loaded
by default.

config: explicitly type make_simple_config_parser to work with dataclasses

config: Cache lookups of fields

We were calling inspect.signature() > 4000 times because it was evaluated
over and over again in the list comprehensions. Move the fields lookup into
a cached classmethod where possible to make sure we only do it once.

This reduces the time needed to parse the systemd config from history from
1.18s => 188ms on my machine.

mkosi-initrd: add key files for crypttab entries

Handle at least absolute paths and the automatic
`/etc/cryptsetup-keys.d/<volume>.key` search path.

Merge pull request #3626 from UweSauter/only-force-clean-tools

Only force clean tools tree

Formatting correction.

mkosi clean will now require --force in order to remove the tools tree.

Single source code change. Related documentation updates.
Also unrelated typo fix for ToolsSyncScripts=, --tools-tree-sync-script=.

centos: Add hyperscale-packages-kernel repository

Merge pull request #3622 from DaanDeMeyer/tools

qemu: Set device_id for scsi-hd and scsi-cd devices

When we used -drive this was done automatically but that's not the
case anymore with -blockdev, so do it explicitly ourselves.

Make Profiles= an inherited setting

Skip a few steps when we're building a default tools tree

None of these steps matter for tools trees so let's skip them when
we know we're building a default tools tree.

Don't cache the package manager used in the tools tree cache manifest

Doing this causes issues when using mkosi sandbox as have_cache(tools)
will be different inside and outside of the sandbox when building Fedora
and only dnf is available outside the sandbox but dnf5 is available inside
the sandbox. Since we don't need to cache the package manager used anyway
when building the default tools tree because we don't cache the package
manager metadata either, don't cache it to avoid this problem.

Implement ToolsTreeSyncScripts=

In systemd, we have prepare scripts for the build image to install
all the build dependencies of the corresponding distribution's systemd
packaging spec. The distribution packaging spec is checked out by a sync
script.

We also need the systemd build dependencies installed in the default tools
tree in systemd, so that we can build all the systemd tools required to build
the image in the tools tree as well to later be used to build the image. Currently
we list the the required dependencies manually as packages since we can't reuse
the prepare script from the build image as the sync scripts run after the default
tools tree has been built which means we can't depend on the packaging specs
being available when building the default tools tree.

Let's fix the issue by introducing ToolsTreeSyncScripts= to define sync scripts
to run before building the default tools tree.

Merge pull request #3618 from DaanDeMeyer/tmpfiles

Add mkosi init to install a tmpfiles dropin for the cache dir

Let's clean up packages after they haven't been touched for 90
days.

Note that this has to be explicitly enabled by users by running mkosi
init for now. In the future we can look into automatically enabling
this.

man/mkosi-initrd: document "pkcs11" profile

Follow-up for a63dd993db1dd7e58ff86ac75780fb4ad39a923c

Drop logic for using /root/.cache

Let's just have root use the cache in /var/cache/mkosi to avoid accidentally
leaking files into /root/.cache accidentally where it's much less likely that
they'll ever get cleaned up.

Merge pull request #3616 from DaanDeMeyer/sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Currently, when in the sandbox, the tools tree will always be recorded
as "null" in the history. This causes problems if an image build is done
inside of mkosi sandbox and mkosi is later invoked outside of the sandbox
as the history will say no tools tree was used and so the tools tree won't
be used, even if we're running outside of the sandbox.

To fix the issue, let's make sure we always record the proper tools tree,
but let's not make use of it in the sandbox by moving the sandbox check to
the Config object's tools() method.

We also simplify all the tools tree related checks in run_verb() and add a
check to make sure we don't try to rebuild the default tools tree when in
"mkosi sandbox" as that can't ever work.

Store default tools tree outside of output directory

A common workflow is to build the same image multiple times with
slightly different settings, using a different output directory for
each build. By storing the default tools tree inside the configured
output directory, we end up rebuilding the tools tree for every single
one of these builds, even though in almost all cases the tools tree for
each image will be identical.

Let's address this issue by not storing the default tools tree in the
configured output directory but instead storing it in the current working
directory.

initrd: Move p11-kit to pksc11 profile

This stuff is rather niche, so let's move it to a profile similar to
lvm and raid.

Merge pull request #3613 from DaanDeMeyer/build

tools: Add "devel" profile

tools: Add "devel" profile

This profile contains tools required to build C/C++ projects. This is
useful to use mkosi sandbox to quickly build one off projects without
having to list a bunch of basic packages over and over again.

tools: Add 3 more packages to misc profile

Merge pull request #3612 from DaanDeMeyer/fixes

Always cache the default tools tree

For the default tools tree, the cached image and the final image
are the same for all intents and purposes, so let's stop storing both
a cached image and a final image for the default tools tree and instead
only store the final image and use it as the cached image by always
writing a cache manifest next to it.

At the same time always use the name mkosi.tools to reduce the chance
of conflicts as "tools" is an incredibly common directory name.

user: Replace INVOKING_USER.name() with getpass.getuser()

run: Bind mount entire /home into relaxed sandbox

Let's simplify things and make the entirety of /home available. The
relaxed sandbox is not about security, and permissions already make sure
only the user's own home can be accessed.

user: Make INVOKING_USER.cache_dir() return the user cache directory

user: Replace INVOKING_USER.home() with Path.home()

Make sync script sandbox more relaxed

Let's simplify and mount in the entirety of /home, /run and the
invoking user's environment to make stuff just work more often than
not and avoid too many implementation details of specific tools leaking
into mkosi itself.

user: Make INVOKING_USER.runtime_dir() return the user runtime dir

Let's not return the mkosi specific directory, but the wider runtime
directory.

Fix grub.cfg install path on almalinux

docs: Mention mkosi -t none in rpm doc

Implement linux-noinitrd firmware

Useful for direct kernel booting without an initrd even if one was
built.

kmod: Include all kernel modules if no include patterns were specified

Fixes #3603

Merge pull request #3601 from DaanDeMeyer/fix

Various kmod fixes