Formatting correction.

mkosi clean will now require --force in order to remove the tools tree.

Single source code change. Related documentation updates.
Also unrelated typo fix for ToolsSyncScripts=, --tools-tree-sync-script=.

centos: Add hyperscale-packages-kernel repository

Merge pull request #3622 from DaanDeMeyer/tools

qemu: Set device_id for scsi-hd and scsi-cd devices

When we used -drive this was done automatically but that's not the
case anymore with -blockdev, so do it explicitly ourselves.

Make Profiles= an inherited setting

Skip a few steps when we're building a default tools tree

None of these steps matter for tools trees so let's skip them when
we know we're building a default tools tree.

Don't cache the package manager used in the tools tree cache manifest

Doing this causes issues when using mkosi sandbox as have_cache(tools)
will be different inside and outside of the sandbox when building Fedora
and only dnf is available outside the sandbox but dnf5 is available inside
the sandbox. Since we don't need to cache the package manager used anyway
when building the default tools tree because we don't cache the package
manager metadata either, don't cache it to avoid this problem.

Implement ToolsTreeSyncScripts=

In systemd, we have prepare scripts for the build image to install
all the build dependencies of the corresponding distribution's systemd
packaging spec. The distribution packaging spec is checked out by a sync
script.

We also need the systemd build dependencies installed in the default tools
tree in systemd, so that we can build all the systemd tools required to build
the image in the tools tree as well to later be used to build the image. Currently
we list the the required dependencies manually as packages since we can't reuse
the prepare script from the build image as the sync scripts run after the default
tools tree has been built which means we can't depend on the packaging specs
being available when building the default tools tree.

Let's fix the issue by introducing ToolsTreeSyncScripts= to define sync scripts
to run before building the default tools tree.

Merge pull request #3618 from DaanDeMeyer/tmpfiles

Add mkosi init to install a tmpfiles dropin for the cache dir

Let's clean up packages after they haven't been touched for 90
days.

Note that this has to be explicitly enabled by users by running mkosi
init for now. In the future we can look into automatically enabling
this.

man/mkosi-initrd: document "pkcs11" profile

Follow-up for a63dd993db1dd7e58ff86ac75780fb4ad39a923c

Drop logic for using /root/.cache

Let's just have root use the cache in /var/cache/mkosi to avoid accidentally
leaking files into /root/.cache accidentally where it's much less likely that
they'll ever get cleaned up.

Merge pull request #3616 from DaanDeMeyer/sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Make sure tools tree recorded in history doesn't change when in sandbox

Currently, when in the sandbox, the tools tree will always be recorded
as "null" in the history. This causes problems if an image build is done
inside of mkosi sandbox and mkosi is later invoked outside of the sandbox
as the history will say no tools tree was used and so the tools tree won't
be used, even if we're running outside of the sandbox.

To fix the issue, let's make sure we always record the proper tools tree,
but let's not make use of it in the sandbox by moving the sandbox check to
the Config object's tools() method.

We also simplify all the tools tree related checks in run_verb() and add a
check to make sure we don't try to rebuild the default tools tree when in
"mkosi sandbox" as that can't ever work.

Store default tools tree outside of output directory

A common workflow is to build the same image multiple times with
slightly different settings, using a different output directory for
each build. By storing the default tools tree inside the configured
output directory, we end up rebuilding the tools tree for every single
one of these builds, even though in almost all cases the tools tree for
each image will be identical.

Let's address this issue by not storing the default tools tree in the
configured output directory but instead storing it in the current working
directory.

initrd: Move p11-kit to pksc11 profile

This stuff is rather niche, so let's move it to a profile similar to
lvm and raid.

Merge pull request #3613 from DaanDeMeyer/build

tools: Add "devel" profile

tools: Add "devel" profile

This profile contains tools required to build C/C++ projects. This is
useful to use mkosi sandbox to quickly build one off projects without
having to list a bunch of basic packages over and over again.

tools: Add 3 more packages to misc profile

Merge pull request #3612 from DaanDeMeyer/fixes

Always cache the default tools tree

For the default tools tree, the cached image and the final image
are the same for all intents and purposes, so let's stop storing both
a cached image and a final image for the default tools tree and instead
only store the final image and use it as the cached image by always
writing a cache manifest next to it.

At the same time always use the name mkosi.tools to reduce the chance
of conflicts as "tools" is an incredibly common directory name.

user: Replace INVOKING_USER.name() with getpass.getuser()

run: Bind mount entire /home into relaxed sandbox

Let's simplify things and make the entirety of /home available. The
relaxed sandbox is not about security, and permissions already make sure
only the user's own home can be accessed.

user: Make INVOKING_USER.cache_dir() return the user cache directory

user: Replace INVOKING_USER.home() with Path.home()

Make sync script sandbox more relaxed

Let's simplify and mount in the entirety of /home, /run and the
invoking user's environment to make stuff just work more often than
not and avoid too many implementation details of specific tools leaking
into mkosi itself.

user: Make INVOKING_USER.runtime_dir() return the user runtime dir

Let's not return the mkosi specific directory, but the wider runtime
directory.

Fix grub.cfg install path on almalinux

docs: Mention mkosi -t none in rpm doc

Implement linux-noinitrd firmware

Useful for direct kernel booting without an initrd even if one was
built.

kmod: Include all kernel modules if no include patterns were specified

Fixes #3603

Merge pull request #3601 from DaanDeMeyer/fix

Various kmod fixes

kmod: Fix regex compilation in filter_firmware()

kmod: Fix exclusion via glob in filter_firmware()

We have to remove firmware if it "doesn't" match, not if it matches.

kmod: Only log includes/excludes if there are any

Formatting nit

mkosi/config: show deprecated *Exlude options only if set

Those settings were deprecated in the docs, so only show them
in the Summary output if they are set to make them less prominent.

initrd: Install gzip in all initrds, not just the Arch one

Fedora also has keymaps compressed with gzip and doesn't pull in gzip
by default so let's just install gzip everywhere to make the problem
go away.

Merge pull request #3598 from DaanDeMeyer/fix

Fix KernelModulesExclude= settings

Have filter_kernel_modules() return a list of module names

The only caller of this function only needs the list of module names,
not the full paths so let's just return the list of module names.

Fix KernelModulesExclude= settings

With eecf8b3b5c43e4832a11c8718ae43e559a755829, exclude settings have
started taking priority over include or the new glob settings whereas
they should not. Fix the logic so the globs and include patterns always
take priority over the exclude patterns.

Merge pull request #3597 from DaanDeMeyer/bind-user

Simplify package manager code a little

qemu: Remove unused argument from finalize_drive()

Drop mkosi-as-caller

Let's drop this trivial helper as well to clean things up. Migration
is trivial, just drop usage of the helper.

Drop git safe.directory="*" environment variables

Not required anymore now that we run builds as the user invoking mkosi.

Drop expand_specifier()

man: remove "=" in boolean option

Merge pull request #3531 from keszybz/module-globs

Add new option syntax with globs

mkosi-initrd: protect existing initrd image against errors

When `copy_tree()` ends up calling `cp`, if it fails because there is not enough
space, it leaves an incomplete initrd image in the output directory. If we are
writing the initrd image directly where a bootloader entry has an initrd
configured, the system will fail to boot. So, instead of copying the initrd
image directly to the output, copy it next to it in the same output directory,
and if the copy is successful, replace it.

Make user provided command line take preference over roothash=

If the user provides their own root= or mount.usr= configuration,
let's always have that take preference over the partition roothash=
or usrhash=

This is preparation for adding support for root=dissect in which case
we don't need roothash= or usrhash= on the kernel command line.

Replace conf tag with ini in markdown

No markdown renderer has any clue which highlighting to use for conf files
whereas INI is well defined and results in proper highlighting.

mkosi/kmod: add typing info to make mypy happy

ci/codespell: add ignore-words-list

man: soft-deprecate Firmware{Include,Exclude}

Rework firmware-list settings to use globs instead of regexps

This mirrors the change to module-list options. The two FirmwareInclude/FirmwareExclude
options are replaced by one FirmwareFiles option that takes positive and negative
globs. (Firmware name is already taken.)

man: soft-deprecate KernelModules{Initrd,}{Include,Exclude}

The docs are updated to describe Kernel{Initrd,}Modules. The old settings
continue to work.

Switch over to the new glob syntax

This creates the following difference:
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ipsec/ch_ipsec.ko.xz
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ktls/ch_ktls.ko.xz

In the previous syntax, we included those modules accidentally because
'inline_crypto/' matches 'crypto/'.

Rework module-list settings to use globs instead of regexps

"If you have a problem, and use a regexp, now you have two problems."
I don't think this quip applies in all cases, but the existing interface with
regexps was problematic for a few reasons:

- users usually want to match at a word boundary, but regexps apply anywhere in
  the string, so to actually match correctly, the regexp has to be carefully
  constructed with word boundary assertions.
  Even our own config for initrds included some modules by mistake,
  e.g. drivers/net/ethernet/chelsio/inline_crypto/ch_ipsec/ch_ipsec.ko.xz
  was matched by crypto/.

- once the regexps include the word boundary assertions, they became quite
  complex and hard to read.

- because of the separate evaluation of include and exlude patterns, we
  need to have exclude patterns in the include patterns. The example given
  in the review:
    ^drivers/net/(?!wireless/)
  But this means that we can do exclusions in two places, making the whole
  scheme very complex.

- the default to include all modules by default goes against the general
  design of mkosi, where only things that are explicitly configured are
  put in the image. That default is only useful when trying to build a
  "maximal" image that matches the current machine. In most uses, the
  default of including only requested modules makes more sense (initrd,
  addons, any not-host-only images).

A new setting that takes glob patterns is added. There is only one setting
instead of a pair, exclusion patterns are prefixed by '-'. The last matching
glob wins. The details of how those globs are interpreted is crafted to
match our particular use cases.

For a single glob, the rules are:
- 'foo' matches the basename, /some/path/foo.ko
- 'bar/foo' matches the last component of the path, bar/foo.ko
- '/full/path/bar' only matches /full/path/bar.ko.
- crypto/* or crypto/ match all modules any crypto/ directory.
- /crypto/* matches the modules in the top-level directory.

This might seem complicated at first glance, but apart from the special
handling of the suffix, those rules mostly match how 'ls' would handle
a local path argument.

Suffixes are not specified in the globs. '-' and '_' are treated as equivalent,
except when part of special glob syntax with […].

New settings are added:
KernelModules=GLOB
KernelInitrdModules=GLOB

(KernelModulesInitrd=BOOL already exists and specifies whether to create a
separate initrd.)

I think the new syntax is more pleasant to read and write. Backward
compatibility is maintained by keeping the old options in place. The change to
exclude all modules by default is a breaking change, but in most uses both
options were used in combination anyway, so I think this should be fine.

The example given in the review:
  KernelModulesInclude=
    ^drivers/net/(?!wireless/)
becomes
  KernelModules=
    /drivers/net/
    -/drivers/net/wireless/

mkosi,addon: print the mkosi cmdline with --debug

This is very important, without that it's hard to figure out what is actually
hapenning.

Use Path more in initrd.py and addon.py

fedora: Change default release to rawhide

Fedora releases new versions quite regularly, sometimes more regularly
than we do mkosi releases. This means that users on the latest official
mkosi release can end up building EOL fedora releases because the default
release will be the latest fedora release at the time of the mkosi release
which might be EOL already. Let's switch to rawhide as the default release
so users are guaranteed to get something recent regardless of how old their
mkosi version is.

This matches what we already do for debian, opensuse, arch and other distros.

Merge pull request #3543 from keszybz/initrd-version-short-option

Add short option for initrd kernel version

initrd: add -k as shorthand for --kernel-version

--kernel-version is the option that I use the most often. Having a short
option would be nice.

'-v' would another option for the option, but I think it could be confused
with --version.

initrd: split out argument parser creation to helper function

mkosi/dependencies: make invocations shorter

Both styles were used by the existing code: ['--foo=bar'] and ['--foo', 'bar'].
Switch to the former exclusively. A single arg like '--foo=bar' is easier to
read and/or select&paste in the log output. Also, we avoid explicit str()
wrappers in a bunch of places.

Merge pull request #3588 from behrmann/sandboxfix

Check for CAP_SYS_ADMIN instead of root

Try to find volatile overlay upperdir directory that's not on overlayfs

Making a directory on overlayfs the upperdir of another overlayfs is
rejected by the kernel. Let's try to find a directory that's not on
overlayfs. The /dev/shm fallback is because on a default podman container
even /tmp is on overlayfs.

tree: Make security.selinux detection more robust

Check for CAP_SYS_ADMIN instead of root

Even if we're running as root, we might not have CAP_SYS_ADMIN, so
let's always check for CAP_SYS_ADMIN.

Add option to persist runtime drives

Merge pull request #3585 from DaanDeMeyer/doc

Rework --run-build-scripts

Instead of (optionally) building the image when this option is enabled,
let's insist that the image has already been built and cached. This allows
us to reuse the history of the previous build if History= is enabled. At
the same time, rename the option to --rerun-build-scripts to indicate more
clearly that the image needs to have been built once already.

This allows the option to be used in systemd's mkosi.clangd script to replace
"-t none" and "--incremental=strict" there.

Don't run configure scripts if we're reusing the history

Drop unnecessary condition

A few lines earlier, we already short-circuit run_verb() if the verb
does not need a build, so no need to check here again.

Use target path as mount tags

This prevents collisions when mounting something
to directories of the same name or root.

Revert 9f4d174daac954aaa9e18ee9bb58c6d7a946ec9d

The declarative package pulls in perl which is not ideal, let's
switch back to the previous approach.

Merge pull request #3582 from DaanDeMeyer/downgrade

Move package installation and removal to PackageManager interface

There's no need for these to be implemented by the Distribution
interface as they don't need distribution specific knowledge so let's
move them to the PackageManager interface instead.

apt: Add higher priority for mkosi local repository

Apt actually supports priorities as well, so add a high priority like
we do for the other package managers as well for the local mkosi repository.

debian: Install policy-rcd-declarative by default

Debian switched to systemd ages ago, but as we know legacy stuff
tends to linger in Debian for quite a while. Let's standardize on
using systemd presets to enable daemons by installing packages for
a deny-all policy for sysv-init style packages instead of messing
with the script ourselves.

Sort packages during parsing

Fix grammar

Follow up for aa4c8339484363df032ac72d4a739f4bbc16e183

Merge pull request #3580 from DaanDeMeyer/rocky

centos: Handle major/minor releases in derivatives properly

While centos doesn't have major/minor releases, rocky, alma and rhel
do, so let's make sure we handle those cases properly.

Additionally, we also fix EPEL to use the proper major/minor release
when we're doing EPEL 10, as since EPEL 10 there's major/minor releases
for EPEL as well.

initrd: Pass process environment to mkosi as well

Improve error message slightly

Add "raid" initrd profile

This initrd profile provides support for assembling RAID arrays.

Parse both mkosi.local.conf and mkosi.local/

This aligns more with what the users expects
and allows working around some limitations of the config system
(esp. regarding the interplay of `Include=` and `Profiles=`).

Add --pretty=no to suppress output from systemd-repart when updating

Don't mount input read-only if it's the same as output in sign_efi_binary()

Otherwise the output file cannot be written.

Replaces #3573

Fix Drives= documentation

Follow up for 7ff9a890c1947b4111010e81e0e64e06a0e8d800

Revert "Bypass tmpfiles, sysusers and presets as well when running package ma…"

This reverts commit 824d63e0d30e56ee34a193f624230c1ae5af0d58.

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.5.1 to 5.5.3.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/5fa026e4797665181a0f7c6fa4a73c09348ae78c...dd551ce780d8af741f8cd8bab6982667b906b457)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 3.28.8 to 3.28.10

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.8 to 3.28.10.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/dd746615b3b9d728a6a37ca2045b68ca76d4841a...b56ba49b26e50535fa1e7f7db0f4f7b4bf65d80d)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bypass tmpfiles, sysusers and presets as well when running package managers

We invoke all of these ourselves so there's no need to run them
while invoking package managers.

Rename "storage" initrd profile to "lvm"

Since it actually only provides support for LVM, it's best to keep the different
specific functionalities separate.

Merge pull request #3561 from aafeijoo-suse/initrd-profiles

mkosi-initrd: add --profile option

Enable only the initrd profiles specified with this option, rather than all by
default. This saves space and allows the user to choose only what is needed on
each system.