mkosi/kmod: add typing info to make mypy happy

ci/codespell: add ignore-words-list

man: soft-deprecate Firmware{Include,Exclude}

Rework firmware-list settings to use globs instead of regexps

This mirrors the change to module-list options. The two FirmwareInclude/FirmwareExclude
options are replaced by one FirmwareFiles option that takes positive and negative
globs. (Firmware name is already taken.)

man: soft-deprecate KernelModules{Initrd,}{Include,Exclude}

The docs are updated to describe Kernel{Initrd,}Modules. The old settings
continue to work.

Switch over to the new glob syntax

This creates the following difference:
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ipsec/ch_ipsec.ko.xz
-usr/lib/modules/6.14.0-0.rc1.15.fc42.x86_64/kernel/drivers/net/ethernet/chelsio/inline_crypto/ch_ktls/ch_ktls.ko.xz

In the previous syntax, we included those modules accidentally because
'inline_crypto/' matches 'crypto/'.

Rework module-list settings to use globs instead of regexps

"If you have a problem, and use a regexp, now you have two problems."
I don't think this quip applies in all cases, but the existing interface with
regexps was problematic for a few reasons:

- users usually want to match at a word boundary, but regexps apply anywhere in
  the string, so to actually match correctly, the regexp has to be carefully
  constructed with word boundary assertions.
  Even our own config for initrds included some modules by mistake,
  e.g. drivers/net/ethernet/chelsio/inline_crypto/ch_ipsec/ch_ipsec.ko.xz
  was matched by crypto/.

- once the regexps include the word boundary assertions, they became quite
  complex and hard to read.

- because of the separate evaluation of include and exlude patterns, we
  need to have exclude patterns in the include patterns. The example given
  in the review:
    ^drivers/net/(?!wireless/)
  But this means that we can do exclusions in two places, making the whole
  scheme very complex.

- the default to include all modules by default goes against the general
  design of mkosi, where only things that are explicitly configured are
  put in the image. That default is only useful when trying to build a
  "maximal" image that matches the current machine. In most uses, the
  default of including only requested modules makes more sense (initrd,
  addons, any not-host-only images).

A new setting that takes glob patterns is added. There is only one setting
instead of a pair, exclusion patterns are prefixed by '-'. The last matching
glob wins. The details of how those globs are interpreted is crafted to
match our particular use cases.

For a single glob, the rules are:
- 'foo' matches the basename, /some/path/foo.ko
- 'bar/foo' matches the last component of the path, bar/foo.ko
- '/full/path/bar' only matches /full/path/bar.ko.
- crypto/* or crypto/ match all modules any crypto/ directory.
- /crypto/* matches the modules in the top-level directory.

This might seem complicated at first glance, but apart from the special
handling of the suffix, those rules mostly match how 'ls' would handle
a local path argument.

Suffixes are not specified in the globs. '-' and '_' are treated as equivalent,
except when part of special glob syntax with […].

New settings are added:
KernelModules=GLOB
KernelInitrdModules=GLOB

(KernelModulesInitrd=BOOL already exists and specifies whether to create a
separate initrd.)

I think the new syntax is more pleasant to read and write. Backward
compatibility is maintained by keeping the old options in place. The change to
exclude all modules by default is a breaking change, but in most uses both
options were used in combination anyway, so I think this should be fine.

The example given in the review:
  KernelModulesInclude=
    ^drivers/net/(?!wireless/)
becomes
  KernelModules=
    /drivers/net/
    -/drivers/net/wireless/

mkosi,addon: print the mkosi cmdline with --debug

This is very important, without that it's hard to figure out what is actually
hapenning.

Use Path more in initrd.py and addon.py

fedora: Change default release to rawhide

Fedora releases new versions quite regularly, sometimes more regularly
than we do mkosi releases. This means that users on the latest official
mkosi release can end up building EOL fedora releases because the default
release will be the latest fedora release at the time of the mkosi release
which might be EOL already. Let's switch to rawhide as the default release
so users are guaranteed to get something recent regardless of how old their
mkosi version is.

This matches what we already do for debian, opensuse, arch and other distros.

Merge pull request #3543 from keszybz/initrd-version-short-option

Add short option for initrd kernel version

initrd: add -k as shorthand for --kernel-version

--kernel-version is the option that I use the most often. Having a short
option would be nice.

'-v' would another option for the option, but I think it could be confused
with --version.

initrd: split out argument parser creation to helper function

mkosi/dependencies: make invocations shorter

Both styles were used by the existing code: ['--foo=bar'] and ['--foo', 'bar'].
Switch to the former exclusively. A single arg like '--foo=bar' is easier to
read and/or select&paste in the log output. Also, we avoid explicit str()
wrappers in a bunch of places.

Merge pull request #3588 from behrmann/sandboxfix

Check for CAP_SYS_ADMIN instead of root

Try to find volatile overlay upperdir directory that's not on overlayfs

Making a directory on overlayfs the upperdir of another overlayfs is
rejected by the kernel. Let's try to find a directory that's not on
overlayfs. The /dev/shm fallback is because on a default podman container
even /tmp is on overlayfs.

tree: Make security.selinux detection more robust

Check for CAP_SYS_ADMIN instead of root

Even if we're running as root, we might not have CAP_SYS_ADMIN, so
let's always check for CAP_SYS_ADMIN.

Add option to persist runtime drives

Merge pull request #3585 from DaanDeMeyer/doc

Rework --run-build-scripts

Instead of (optionally) building the image when this option is enabled,
let's insist that the image has already been built and cached. This allows
us to reuse the history of the previous build if History= is enabled. At
the same time, rename the option to --rerun-build-scripts to indicate more
clearly that the image needs to have been built once already.

This allows the option to be used in systemd's mkosi.clangd script to replace
"-t none" and "--incremental=strict" there.

Don't run configure scripts if we're reusing the history

Drop unnecessary condition

A few lines earlier, we already short-circuit run_verb() if the verb
does not need a build, so no need to check here again.

Use target path as mount tags

This prevents collisions when mounting something
to directories of the same name or root.

Revert 9f4d174daac954aaa9e18ee9bb58c6d7a946ec9d

The declarative package pulls in perl which is not ideal, let's
switch back to the previous approach.

Merge pull request #3582 from DaanDeMeyer/downgrade

Move package installation and removal to PackageManager interface

There's no need for these to be implemented by the Distribution
interface as they don't need distribution specific knowledge so let's
move them to the PackageManager interface instead.

apt: Add higher priority for mkosi local repository

Apt actually supports priorities as well, so add a high priority like
we do for the other package managers as well for the local mkosi repository.

debian: Install policy-rcd-declarative by default

Debian switched to systemd ages ago, but as we know legacy stuff
tends to linger in Debian for quite a while. Let's standardize on
using systemd presets to enable daemons by installing packages for
a deny-all policy for sysv-init style packages instead of messing
with the script ourselves.

Sort packages during parsing

Fix grammar

Follow up for aa4c8339484363df032ac72d4a739f4bbc16e183

Merge pull request #3580 from DaanDeMeyer/rocky

centos: Handle major/minor releases in derivatives properly

While centos doesn't have major/minor releases, rocky, alma and rhel
do, so let's make sure we handle those cases properly.

Additionally, we also fix EPEL to use the proper major/minor release
when we're doing EPEL 10, as since EPEL 10 there's major/minor releases
for EPEL as well.

initrd: Pass process environment to mkosi as well

Improve error message slightly

Add "raid" initrd profile

This initrd profile provides support for assembling RAID arrays.

Parse both mkosi.local.conf and mkosi.local/

This aligns more with what the users expects
and allows working around some limitations of the config system
(esp. regarding the interplay of `Include=` and `Profiles=`).

Add --pretty=no to suppress output from systemd-repart when updating

Don't mount input read-only if it's the same as output in sign_efi_binary()

Otherwise the output file cannot be written.

Replaces #3573

Fix Drives= documentation

Follow up for 7ff9a890c1947b4111010e81e0e64e06a0e8d800

Revert "Bypass tmpfiles, sysusers and presets as well when running package ma…"

This reverts commit 824d63e0d30e56ee34a193f624230c1ae5af0d58.

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.5.1 to 5.5.3.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/5fa026e4797665181a0f7c6fa4a73c09348ae78c...dd551ce780d8af741f8cd8bab6982667b906b457)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 3.28.8 to 3.28.10

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.8 to 3.28.10.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/dd746615b3b9d728a6a37ca2045b68ca76d4841a...b56ba49b26e50535fa1e7f7db0f4f7b4bf65d80d)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bypass tmpfiles, sysusers and presets as well when running package managers

We invoke all of these ourselves so there's no need to run them
while invoking package managers.

Rename "storage" initrd profile to "lvm"

Since it actually only provides support for LVM, it's best to keep the different
specific functionalities separate.

Merge pull request #3561 from aafeijoo-suse/initrd-profiles

mkosi-initrd: add --profile option

Enable only the initrd profiles specified with this option, rather than all by
default. This saves space and allows the user to choose only what is needed on
each system.

Skip createrepo() for apt if there are no debs

reprepro fails if there are no packages passed to it so skip it if
there are no packages.

man: remove "=" in boolean options

Ensure environment GNUGPHOME is an absolute path

Add InitrdProfiles= with initial storage profile

Let's allow not installing lvm2 in the initrd by introducing a
storage profile which users can disable.

qemu: Switch to -blockdev instead of -drive where possible

-drive is considered legacy whereas -blockdev is the new interface.
It's slightly more verbose but not incredibly so, let's switch to it.

Merge pull request #3556 from DaanDeMeyer/build-overlay

Implement build overlay mounting with mkosi-sandbox

Merge pull request #3555 from DaanDeMeyer/history

Introduce --run-build-scripts (-R) to always run build scripts

Implement build overlay mounting with mkosi-sandbox

Now that we have Context.rootoptions(), we can switch out how we set
up the root mount without having to modify code all over the place.

Let's use this to get rid of mount_build_overlay() and instead replace
it with setup_build_overlay(), which simply configures a bunch of
fields on Context that make rootoptions() set up the root mount as an
overlay instead of a bind mount.

Introduce Context.rootoptions()

Introduce --run-build-scripts (-R) to always run build scripts

Currently we run "mkosi -t none" in systemd and mkosi-kernel to run
the build script(s) without rebuilding the entire image. Using the
"none" output format for this purpose is a hack. It also breaks when
using History=yes as running mkosi -t none will change the output
format in the history after which running mkosi qemu will fail saying
it can't boot the "none" output format.

Let's introduce a --run-build-scripts argument which will make us always
run the build scripts regardless of whether the image has already been
built or not. At the same time, remove various behaviors from the "none"
format that were solely added to enable the hack of using it to run build
scripts without rebuilding the image:

- Clean up outputs from the previous build when the "none" output format
  is used

tree: Ignore symlinks when checking for subvolumes in rmtree()

installer: Do not modify buildroot in setup() methods

Remove outputs as well if we don't have a cached image

Introduce Config.is_incremental()

Rename remove_output_dir to remove_outputs in run_clean()

Drop rmtree(context.root) in "none" return path as well

Follow up for c71c7d933bbad8851a80d1db83ddc1d8a8b362e1

Don't call finalize_staging() for "none" output format

The none output format generates no outputs so there's no need to
call finalize_staging().

Save all images to history JSON

Preparation for the upcoming commit where we'll need all the images
instead of just the main one when reading the history.

Merge pull request #3554 from bluca/netesp

mkosi-obs: assorted fixes for netesp

mkosi-obs: rearrange settings into a subfile that is only for Profile=main

These cannot be used with subimages, so move them down one level

mkosi-obs: support multiple mkosi.postoutput invocations

When multiple images are built mkosi.postoutput runs once
per image, so add access to output directory and ensure
the hashes.cpio.rsasign archive accumulates the hashes for
all images before proceeding to the next stage

mkosi-obs: rearrange second stage so that only unsigned hashes are staged for third

Create cpio for next stage at the very end, after all
signed hashes have been handled and removed, to avoid
resigning already signed files

mkosi-obs: drop leftover debug env

mkosi-obs: fix compression detection

The recompress variable is not reset in the loop, so if
there is a compressed ddi and an uncompressed one, the
variable will be true for the second one. Reset it.

mkosi-obs: carry over all raw and efi files, not just those that match IMAGE_ID

e.g.: netesp in particleos

Merge pull request #3553 from DaanDeMeyer/cow

Enable Hyperscale rpm COW plugin

Enable Hyperscale rpm COW plugin

The CentOS Hyperscale SIG provides rpm/dnf plugins to enable rpm
COW which drastically speeds up image builds so let's ship the
necessary logic to make use of it when building images with the
Hyperscale experimental repositories.

rpm: Enable plugins again

We disabled this a long time ago, likely when we were still using
/etc from the host, let's try enabling the plugins again and see
what happens in CI.

Add Image= match

Move /work directory cleanup out of remove_files()

This has to be done after running the finalize scripts as a
mkosi.finalize.chroot might recreate the /work directory.

Merge pull request #3550 from bluca/authvars

mkosi-obs: fixes, secureboot self-enroll, sign bootloaders

mkosi-obs: add support for UEFI SecureBoot self enrollment

Create authvars and store them in the ESP with the project cert
used as PK/KEK/db

mkosi-obs: sign bootloaders in ESPs

If there are bootloaders in the ESP(s), sign them too. Useful to
ensure everything is signed also with the certificate in the project
where the image is built.

mkosi-obs: add support for .raw.img

Needed for netesp

mkosi-obs: create directories in ESP before calling mcopy

It does not create leading directories. Set -D s to skip when
they already exist.

mkosi-obs: also check that ESP offset is not an empty string

Can also happen, not just 'null'

Fix parse_drive()

docs: Update building-rpms-from-source.md

Merge pull request #3545 from DaanDeMeyer/suppress-sync

Specify --suppress-sync when running package managers

Package managers tend to make sure of sync() and friends to ensure
that any files they write are actually written to disk. This is
important when a package manager is used to do system package upgrades,
but is unnecessary when using package managers to build OS images. So
let's make sync() and friends a noop when we invoke package managers

Replaces #3544

sandbox: Add --suppress-sync option to suppress sync() syscalls

We'll make use of this to suppress calls to sync() when running
package managers.

mkosi-obs: use new sd-keyutil verb to attach dm-verity signature

Reduce the number of filesystems we remount noexec/nosuid/nodev when root

For mkosi-initrd, /etc might very well contain executable scripts which
we should allow to run, so let's only mount /boot and /efi nodev/nosuid/noexec.

Add --debug-sandbox option to mkosi-initrd and mkosi-addon

Use Config.finalize_environment() in Installer.finalize_environment()

Otherwise we don't get the required proxy environment variables.

initrd: add modules for fido2 and amd laptop

Needed for FIDO2 unlock and other stuff on my laptop. Adds
~200kb or so to the UKI.

Copy /etc/group into the sandbox tree instead of passwd

README: Reference EXAMPLES and mkosi documentation

Generally, examples are a great way to get started with a new tool.
Additionally, there does not appear to be formal getting started
documentation for mkosi.

Bump Fedora initrd size

Fixes CI failure because the Fedora initrd increased in size again.

mkosi-obs: fix searching for multiple files to sign

Due to quotes a single entry in the array is created by 'find', instead of one
entry per file

mkosi-obs: fix creating subfolder structure for signature cpio

The signature file will be stored in the same directory structure it was
picked from, to allow having multiple files with the same name

Clean up default tools tree package lists

- util-linux is not needed anymore since we do mounts ourselves now
- dpkg is pulled in by apt on arch and we don't list it explicitly elsewhere
- glibc-gconv-modules-extra should be pulled in by something else on opensuse by now
- python3-cryptography is only required on ubuntu, rest already has a dependency on
  it in systemd-ukify or is already on systemd v257 which doesn't need it anymore
- libarchive-tools seems like a leftover that isn't installed anywhere else

Merge pull request #3527 from DaanDeMeyer/dependencies