mkosi-obs: Only disable History= for main image

History= cannot be set anymore for subimages, so only disable it for
the main image.

Make sure we chdir() to builtin config path before parsing

initrd: Copy Arch Linux keyring from host when running as root

When running as root, we run with --cache-only=metadata, which means
we won't try to sync the keyring, so let's reuse the one from the host
to make sure that a keyring is available.

Fixes #3635

pacman: Don't mount keyring dir if it's empty

This allows providing the keyring via sandbox trees which we'll make
use of in mkosi-initrd.

Fix test_tools on unknown distributions

Make sure /etc/ and /var/ always exist in sandbox

Fixes #3637

Merge pull request #3636 from DaanDeMeyer/tools

Move default tools tree configuration to config.py

Allow adding extra tools tree configuration via mkosi.tools.conf

Instead of adding ever more ToolsTreeXXX= settings, let's allow
adding extra tools tree configuration via mkosi.tools.conf which can
be either a file or a directory containing extra configuration for the
default tools tree.

Switch tools tree parsing to ParseContext

Default tools tree configuration currently depends on manually plumbing
through settings from the main configuration to the tools tree configuration.
This has already bitten us a few times where we forgot to add the necessary
plumbing when adding a new setting.

Instead, let's improve by encoding in the settings themselves whether they
apply to the tools tree or not. We call settings that apply to the tools tree
and all subimages "multiversal" settings (one step bigger than "universal"
settings).

For the tools tree specific settings (e.g. ToolsTreeDistribution= and friends),
we simply copy the fields from the main image configuration namespace to the tools
tree configuration namespace.

Additionally, we restrict which settings can be applied to the tools tree by
a new "tools" field for each setting which has to be set to True to make a setting
configurable in the default tools tree configuration.

Finally, we stop storing the tools tree specific settings in the main image config,
and instead store the tools tree configuration separately in the history JSON and
summary. This will allow us to add more ways to configure the default tools tree in
the future as well.

ci: Show summary

Disable orphan_file automatically if not supported

Let's automatically detect if the orphan_file ext4 feature needs to
be disabled if it's not supported by the target distribution official
kernel.

config: Use dicts everywhere in favor of argparse.Namespace()

These behave the same, except that argparse.Namespace() allows dot
based accessed to its keys and dict does not. Dot based access suggests
to the reader that a typed property is being accessed that definitely
exists, whereas that's anything but guaranteed when using argparse.Namespace().

Let's switch to using dicts everywhere so that whenever we access a
property, we do so in a way that suggests to the reader that we're doing
an untyped access into a dictionary.

Fix default values for key/certificate source parsers

Do not make directory, none and oci images bootable by default

It's more likely to not want these bootable, so let's default to that
and drop the explicit disablement from mkosi-tools at the same time.

Disable selinux relabeling by default for directory images

For directory images it's more likely to not want these selinux
relabeled, so let's default to that. Also drop the explicitly selinux
relabeling disablement from mkosi-tools.

mkosi-tools: Stop disabling ManifestFormat=

We don't produce a manifest by default these days so no need to
explicitly disable it.

mkosi-tools: Stop removing BuildSources=

Tools tree prepare scripts are now a thing so it's possible to require
build sources for the default tools tree so let's stop removing them
unconditionally.

resources: Fix up resources without parse_config()

config: Various cleanups for the directory attribute

- Make sure it is always set and looked up on the config ns
- Make sure we set it before parsing includes from the command line

config: Introduce ParseContext.finalize()

Make CompressLevel= an inherited setting

Introduce 'main' setting scope

There's a bunch of settings that aren't universal but also don't make
sense to be configured in subimages, so let's add a new 'main' setting
scope that disallows configuring these settings in subimages without
passing them to subimages.

Store tools and initrd profiles as a list of strings

There's no benefit to storing these as a list of enums, so let's
get rid of that and store these as a list of strings like we store
regular profiles.

Rename paths, recursive_paths to path_suffixes, recursive_path_suffixes

This reduces duplication and allows us to make the prefix configurable
in a later commit.

Make passed environment variables an inherited setting

Remove unneeded default factory depends from ToolsTreeDistribution

The default tools tree distribution does not depend on the selected
target distribution anymore.

Do not pass --incremental=no explicitly to default tools tree

It's the default value for --incremental=.

Move default tools tree parsing to parse_config()

Merge pull request #3634 from aafeijoo-suse/env-debug

mkosi: pass DEBUG enviroment variable to scripts

So scripts can run debugging code if mkosi is running with `--debug`.

man: sort table with environment variables received by scripts

Allow combining --force and --rerun-build-scripts

Until now we didn't allow this, but it turns out there's actually
a use case for this, build the image if it doesn't exist yet, reuse
the existing image otherwise.

mkosi-initrd: fix misleading "mkosi not found" error message

There is a special handling when a script under /work fails with 127, which is
also reached when mkosi is called within mkosi-initrd.

```
‣ Running finalize script /etc/mkosi-initrd/mkosi.finalize…
/work/finalize: line 5: strip: command not found
‣ /work/finalize failed with non-zero exit code 127
‣ (Maybe a program was not found or the script interpreter (e.g. bash) is not installed?)
‣ mkosi not found.
```

Merge pull request #3631 from DaanDeMeyer/local

pacman: Always bind mount /var/lib/pacman/local from sandbox

We want any writes to /var/lib/pacman/local to go to any configured
overlayfs on /buildroot, instead of going directly to the
/var/lib/pacman/local directory which might be a lowerdir in the
overlayfs if one is used. Let's implement this by simply specifying
a path relative to the sandbox instead of specifying the path on the
host.

Fixes #3625

sandbox: Allow taking bind source paths relative to the sandbox root

mkosi-initrd: Add amd_atl to default modules

Another harmless CPU module without any dependencies that gets loaded
by default.

config: explicitly type make_simple_config_parser to work with dataclasses

config: Cache lookups of fields

We were calling inspect.signature() > 4000 times because it was evaluated
over and over again in the list comprehensions. Move the fields lookup into
a cached classmethod where possible to make sure we only do it once.

This reduces the time needed to parse the systemd config from history from
1.18s => 188ms on my machine.

mkosi-initrd: add key files for crypttab entries

Handle at least absolute paths and the automatic
`/etc/cryptsetup-keys.d/<volume>.key` search path.

Merge pull request #3626 from UweSauter/only-force-clean-tools

Only force clean tools tree

Formatting correction.

mkosi clean will now require --force in order to remove the tools tree.

Single source code change. Related documentation updates.
Also unrelated typo fix for ToolsSyncScripts=, --tools-tree-sync-script=.

centos: Add hyperscale-packages-kernel repository

Merge pull request #3622 from DaanDeMeyer/tools

qemu: Set device_id for scsi-hd and scsi-cd devices

When we used -drive this was done automatically but that's not the
case anymore with -blockdev, so do it explicitly ourselves.

Make Profiles= an inherited setting

Skip a few steps when we're building a default tools tree

None of these steps matter for tools trees so let's skip them when
we know we're building a default tools tree.

Don't cache the package manager used in the tools tree cache manifest

Doing this causes issues when using mkosi sandbox as have_cache(tools)
will be different inside and outside of the sandbox when building Fedora
and only dnf is available outside the sandbox but dnf5 is available inside
the sandbox. Since we don't need to cache the package manager used anyway
when building the default tools tree because we don't cache the package
manager metadata either, don't cache it to avoid this problem.

Implement ToolsTreeSyncScripts=

In systemd, we have prepare scripts for the build image to install
all the build dependencies of the corresponding distribution's systemd
packaging spec. The distribution packaging spec is checked out by a sync
script.

We also need the systemd build dependencies installed in the default tools
tree in systemd, so that we can build all the systemd tools required to build
the image in the tools tree as well to later be used to build the image. Currently
we list the the required dependencies manually as packages since we can't reuse
the prepare script from the build image as the sync scripts run after the default
tools tree has been built which means we can't depend on the packaging specs
being available when building the default tools tree.

Let's fix the issue by introducing ToolsTreeSyncScripts= to define sync scripts
to run before building the default tools tree.

Merge pull request #3618 from DaanDeMeyer/tmpfiles

Add mkosi init to install a tmpfiles dropin for the cache dir

Let's clean up packages after they haven't been touched for 90
days.

Note that this has to be explicitly enabled by users by running mkosi
init for now. In the future we can look into automatically enabling
this.

man/mkosi-initrd: document "pkcs11" profile

Follow-up for a63dd993db1dd7e58ff86ac75780fb4ad39a923c

Drop logic for using /root/.cache

Let's just have root use the cache in /var/cache/mkosi to avoid accidentally
leaking files into /root/.cache accidentally where it's much less likely that
they'll ever get cleaned up.

Merge pull request #3616 from DaanDeMeyer/sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Currently, when in the sandbox, the tools tree will always be recorded
as "null" in the history. This causes problems if an image build is done
inside of mkosi sandbox and mkosi is later invoked outside of the sandbox
as the history will say no tools tree was used and so the tools tree won't
be used, even if we're running outside of the sandbox.

To fix the issue, let's make sure we always record the proper tools tree,
but let's not make use of it in the sandbox by moving the sandbox check to
the Config object's tools() method.

We also simplify all the tools tree related checks in run_verb() and add a
check to make sure we don't try to rebuild the default tools tree when in
"mkosi sandbox" as that can't ever work.

Store default tools tree outside of output directory

A common workflow is to build the same image multiple times with
slightly different settings, using a different output directory for
each build. By storing the default tools tree inside the configured
output directory, we end up rebuilding the tools tree for every single
one of these builds, even though in almost all cases the tools tree for
each image will be identical.

Let's address this issue by not storing the default tools tree in the
configured output directory but instead storing it in the current working
directory.

initrd: Move p11-kit to pksc11 profile

This stuff is rather niche, so let's move it to a profile similar to
lvm and raid.

Merge pull request #3613 from DaanDeMeyer/build

tools: Add "devel" profile

tools: Add "devel" profile

This profile contains tools required to build C/C++ projects. This is
useful to use mkosi sandbox to quickly build one off projects without
having to list a bunch of basic packages over and over again.

tools: Add 3 more packages to misc profile

Merge pull request #3612 from DaanDeMeyer/fixes

Always cache the default tools tree

For the default tools tree, the cached image and the final image
are the same for all intents and purposes, so let's stop storing both
a cached image and a final image for the default tools tree and instead
only store the final image and use it as the cached image by always
writing a cache manifest next to it.

At the same time always use the name mkosi.tools to reduce the chance
of conflicts as "tools" is an incredibly common directory name.

user: Replace INVOKING_USER.name() with getpass.getuser()

run: Bind mount entire /home into relaxed sandbox

Let's simplify things and make the entirety of /home available. The
relaxed sandbox is not about security, and permissions already make sure
only the user's own home can be accessed.

user: Make INVOKING_USER.cache_dir() return the user cache directory

user: Replace INVOKING_USER.home() with Path.home()

Make sync script sandbox more relaxed

Let's simplify and mount in the entirety of /home, /run and the
invoking user's environment to make stuff just work more often than
not and avoid too many implementation details of specific tools leaking
into mkosi itself.

user: Make INVOKING_USER.runtime_dir() return the user runtime dir

Let's not return the mkosi specific directory, but the wider runtime
directory.

Fix grub.cfg install path on almalinux

docs: Mention mkosi -t none in rpm doc

Implement linux-noinitrd firmware

Useful for direct kernel booting without an initrd even if one was
built.

kmod: Include all kernel modules if no include patterns were specified

Fixes #3603

Merge pull request #3601 from DaanDeMeyer/fix

Various kmod fixes

kmod: Fix regex compilation in filter_firmware()

kmod: Fix exclusion via glob in filter_firmware()

We have to remove firmware if it "doesn't" match, not if it matches.

kmod: Only log includes/excludes if there are any

Formatting nit

mkosi/config: show deprecated *Exlude options only if set

Those settings were deprecated in the docs, so only show them
in the Summary output if they are set to make them less prominent.

initrd: Install gzip in all initrds, not just the Arch one

Fedora also has keymaps compressed with gzip and doesn't pull in gzip
by default so let's just install gzip everywhere to make the problem
go away.

Merge pull request #3598 from DaanDeMeyer/fix

Fix KernelModulesExclude= settings

Have filter_kernel_modules() return a list of module names

The only caller of this function only needs the list of module names,
not the full paths so let's just return the list of module names.

Fix KernelModulesExclude= settings

With eecf8b3b5c43e4832a11c8718ae43e559a755829, exclude settings have
started taking priority over include or the new glob settings whereas
they should not. Fix the logic so the globs and include patterns always
take priority over the exclude patterns.

Merge pull request #3597 from DaanDeMeyer/bind-user

Simplify package manager code a little

qemu: Remove unused argument from finalize_drive()

Drop mkosi-as-caller

Let's drop this trivial helper as well to clean things up. Migration
is trivial, just drop usage of the helper.

Drop git safe.directory="*" environment variables

Not required anymore now that we run builds as the user invoking mkosi.

Drop expand_specifier()

man: remove "=" in boolean option

Merge pull request #3531 from keszybz/module-globs

Add new option syntax with globs

mkosi-initrd: protect existing initrd image against errors

When `copy_tree()` ends up calling `cp`, if it fails because there is not enough
space, it leaves an incomplete initrd image in the output directory. If we are
writing the initrd image directly where a bootloader entry has an initrd
configured, the system will fail to boot. So, instead of copying the initrd
image directly to the output, copy it next to it in the same output directory,
and if the copy is successful, replace it.

Make user provided command line take preference over roothash=

If the user provides their own root= or mount.usr= configuration,
let's always have that take preference over the partition roothash=
or usrhash=

This is preparation for adding support for root=dissect in which case
we don't need roothash= or usrhash= on the kernel command line.

Replace conf tag with ini in markdown

No markdown renderer has any clue which highlighting to use for conf files
whereas INI is well defined and results in proper highlighting.

mkosi/kmod: add typing info to make mypy happy

ci/codespell: add ignore-words-list

man: soft-deprecate Firmware{Include,Exclude}

Rework firmware-list settings to use globs instead of regexps

This mirrors the change to module-list options. The two FirmwareInclude/FirmwareExclude
options are replaced by one FirmwareFiles option that takes positive and negative
globs. (Firmware name is already taken.)

man: soft-deprecate KernelModules{Initrd,}{Include,Exclude}

The docs are updated to describe Kernel{Initrd,}Modules. The old settings
continue to work.

Switch over to the new glob syntax

This creates the following difference:
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ipsec/ch_ipsec.ko.xz
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ktls/ch_ktls.ko.xz

In the previous syntax, we included those modules accidentally because
'inline_crypto/' matches 'crypto/'.