Simplify package manager code a little

qemu: Remove unused argument from finalize_drive()

Drop mkosi-as-caller

Let's drop this trivial helper as well to clean things up. Migration
is trivial, just drop usage of the helper.

Drop git safe.directory="*" environment variables

Not required anymore now that we run builds as the user invoking mkosi.

Drop expand_specifier()

Make user provided command line take preference over roothash=

If the user provides their own root= or mount.usr= configuration,
let's always have that take preference over the partition roothash=
or usrhash=

This is preparation for adding support for root=dissect in which case
we don't need roothash= or usrhash= on the kernel command line.

Replace conf tag with ini in markdown

No markdown renderer has any clue which highlighting to use for conf files
whereas INI is well defined and results in proper highlighting.

Use Path more in initrd.py and addon.py

fedora: Change default release to rawhide

Fedora releases new versions quite regularly, sometimes more regularly
than we do mkosi releases. This means that users on the latest official
mkosi release can end up building EOL fedora releases because the default
release will be the latest fedora release at the time of the mkosi release
which might be EOL already. Let's switch to rawhide as the default release
so users are guaranteed to get something recent regardless of how old their
mkosi version is.

This matches what we already do for debian, opensuse, arch and other distros.

Merge pull request #3543 from keszybz/initrd-version-short-option

Add short option for initrd kernel version

initrd: add -k as shorthand for --kernel-version

--kernel-version is the option that I use the most often. Having a short
option would be nice.

'-v' would another option for the option, but I think it could be confused
with --version.

initrd: split out argument parser creation to helper function

mkosi/dependencies: make invocations shorter

Both styles were used by the existing code: ['--foo=bar'] and ['--foo', 'bar'].
Switch to the former exclusively. A single arg like '--foo=bar' is easier to
read and/or select&paste in the log output. Also, we avoid explicit str()
wrappers in a bunch of places.

Merge pull request #3588 from behrmann/sandboxfix

Check for CAP_SYS_ADMIN instead of root

Try to find volatile overlay upperdir directory that's not on overlayfs

Making a directory on overlayfs the upperdir of another overlayfs is
rejected by the kernel. Let's try to find a directory that's not on
overlayfs. The /dev/shm fallback is because on a default podman container
even /tmp is on overlayfs.

tree: Make security.selinux detection more robust

Check for CAP_SYS_ADMIN instead of root

Even if we're running as root, we might not have CAP_SYS_ADMIN, so
let's always check for CAP_SYS_ADMIN.

Add option to persist runtime drives

Merge pull request #3585 from DaanDeMeyer/doc

Rework --run-build-scripts

Instead of (optionally) building the image when this option is enabled,
let's insist that the image has already been built and cached. This allows
us to reuse the history of the previous build if History= is enabled. At
the same time, rename the option to --rerun-build-scripts to indicate more
clearly that the image needs to have been built once already.

This allows the option to be used in systemd's mkosi.clangd script to replace
"-t none" and "--incremental=strict" there.

Don't run configure scripts if we're reusing the history

Drop unnecessary condition

A few lines earlier, we already short-circuit run_verb() if the verb
does not need a build, so no need to check here again.

Use target path as mount tags

This prevents collisions when mounting something
to directories of the same name or root.

Revert 9f4d174daac954aaa9e18ee9bb58c6d7a946ec9d

The declarative package pulls in perl which is not ideal, let's
switch back to the previous approach.

Merge pull request #3582 from DaanDeMeyer/downgrade

Move package installation and removal to PackageManager interface

There's no need for these to be implemented by the Distribution
interface as they don't need distribution specific knowledge so let's
move them to the PackageManager interface instead.

apt: Add higher priority for mkosi local repository

Apt actually supports priorities as well, so add a high priority like
we do for the other package managers as well for the local mkosi repository.

debian: Install policy-rcd-declarative by default

Debian switched to systemd ages ago, but as we know legacy stuff
tends to linger in Debian for quite a while. Let's standardize on
using systemd presets to enable daemons by installing packages for
a deny-all policy for sysv-init style packages instead of messing
with the script ourselves.

Sort packages during parsing

Fix grammar

Follow up for aa4c8339484363df032ac72d4a739f4bbc16e183

Merge pull request #3580 from DaanDeMeyer/rocky

centos: Handle major/minor releases in derivatives properly

While centos doesn't have major/minor releases, rocky, alma and rhel
do, so let's make sure we handle those cases properly.

Additionally, we also fix EPEL to use the proper major/minor release
when we're doing EPEL 10, as since EPEL 10 there's major/minor releases
for EPEL as well.

initrd: Pass process environment to mkosi as well

Improve error message slightly

Add "raid" initrd profile

This initrd profile provides support for assembling RAID arrays.

Parse both mkosi.local.conf and mkosi.local/

This aligns more with what the users expects
and allows working around some limitations of the config system
(esp. regarding the interplay of `Include=` and `Profiles=`).

Add --pretty=no to suppress output from systemd-repart when updating

Don't mount input read-only if it's the same as output in sign_efi_binary()

Otherwise the output file cannot be written.

Replaces #3573

Fix Drives= documentation

Follow up for 7ff9a890c1947b4111010e81e0e64e06a0e8d800

Revert "Bypass tmpfiles, sysusers and presets as well when running package ma…"

This reverts commit 824d63e0d30e56ee34a193f624230c1ae5af0d58.

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.5.1 to 5.5.3.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/5fa026e4797665181a0f7c6fa4a73c09348ae78c...dd551ce780d8af741f8cd8bab6982667b906b457)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 3.28.8 to 3.28.10

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.8 to 3.28.10.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/dd746615b3b9d728a6a37ca2045b68ca76d4841a...b56ba49b26e50535fa1e7f7db0f4f7b4bf65d80d)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bypass tmpfiles, sysusers and presets as well when running package managers

We invoke all of these ourselves so there's no need to run them
while invoking package managers.

Rename "storage" initrd profile to "lvm"

Since it actually only provides support for LVM, it's best to keep the different
specific functionalities separate.

Merge pull request #3561 from aafeijoo-suse/initrd-profiles

mkosi-initrd: add --profile option

Enable only the initrd profiles specified with this option, rather than all by
default. This saves space and allows the user to choose only what is needed on
each system.

Skip createrepo() for apt if there are no debs

reprepro fails if there are no packages passed to it so skip it if
there are no packages.

man: remove "=" in boolean options

Ensure environment GNUGPHOME is an absolute path

Add InitrdProfiles= with initial storage profile

Let's allow not installing lvm2 in the initrd by introducing a
storage profile which users can disable.

qemu: Switch to -blockdev instead of -drive where possible

-drive is considered legacy whereas -blockdev is the new interface.
It's slightly more verbose but not incredibly so, let's switch to it.

Merge pull request #3556 from DaanDeMeyer/build-overlay

Implement build overlay mounting with mkosi-sandbox

Merge pull request #3555 from DaanDeMeyer/history

Introduce --run-build-scripts (-R) to always run build scripts

Implement build overlay mounting with mkosi-sandbox

Now that we have Context.rootoptions(), we can switch out how we set
up the root mount without having to modify code all over the place.

Let's use this to get rid of mount_build_overlay() and instead replace
it with setup_build_overlay(), which simply configures a bunch of
fields on Context that make rootoptions() set up the root mount as an
overlay instead of a bind mount.

Introduce Context.rootoptions()

Introduce --run-build-scripts (-R) to always run build scripts

Currently we run "mkosi -t none" in systemd and mkosi-kernel to run
the build script(s) without rebuilding the entire image. Using the
"none" output format for this purpose is a hack. It also breaks when
using History=yes as running mkosi -t none will change the output
format in the history after which running mkosi qemu will fail saying
it can't boot the "none" output format.

Let's introduce a --run-build-scripts argument which will make us always
run the build scripts regardless of whether the image has already been
built or not. At the same time, remove various behaviors from the "none"
format that were solely added to enable the hack of using it to run build
scripts without rebuilding the image:

- Clean up outputs from the previous build when the "none" output format
  is used

tree: Ignore symlinks when checking for subvolumes in rmtree()

installer: Do not modify buildroot in setup() methods

Remove outputs as well if we don't have a cached image

Introduce Config.is_incremental()

Rename remove_output_dir to remove_outputs in run_clean()

Drop rmtree(context.root) in "none" return path as well

Follow up for c71c7d933bbad8851a80d1db83ddc1d8a8b362e1

Don't call finalize_staging() for "none" output format

The none output format generates no outputs so there's no need to
call finalize_staging().

Save all images to history JSON

Preparation for the upcoming commit where we'll need all the images
instead of just the main one when reading the history.

Merge pull request #3554 from bluca/netesp

mkosi-obs: assorted fixes for netesp

mkosi-obs: rearrange settings into a subfile that is only for Profile=main

These cannot be used with subimages, so move them down one level

mkosi-obs: support multiple mkosi.postoutput invocations

When multiple images are built mkosi.postoutput runs once
per image, so add access to output directory and ensure
the hashes.cpio.rsasign archive accumulates the hashes for
all images before proceeding to the next stage

mkosi-obs: rearrange second stage so that only unsigned hashes are staged for third

Create cpio for next stage at the very end, after all
signed hashes have been handled and removed, to avoid
resigning already signed files

mkosi-obs: drop leftover debug env

mkosi-obs: fix compression detection

The recompress variable is not reset in the loop, so if
there is a compressed ddi and an uncompressed one, the
variable will be true for the second one. Reset it.

mkosi-obs: carry over all raw and efi files, not just those that match IMAGE_ID

e.g.: netesp in particleos

Merge pull request #3553 from DaanDeMeyer/cow

Enable Hyperscale rpm COW plugin

Enable Hyperscale rpm COW plugin

The CentOS Hyperscale SIG provides rpm/dnf plugins to enable rpm
COW which drastically speeds up image builds so let's ship the
necessary logic to make use of it when building images with the
Hyperscale experimental repositories.

rpm: Enable plugins again

We disabled this a long time ago, likely when we were still using
/etc from the host, let's try enabling the plugins again and see
what happens in CI.

Add Image= match

Move /work directory cleanup out of remove_files()

This has to be done after running the finalize scripts as a
mkosi.finalize.chroot might recreate the /work directory.

Merge pull request #3550 from bluca/authvars

mkosi-obs: fixes, secureboot self-enroll, sign bootloaders

mkosi-obs: add support for UEFI SecureBoot self enrollment

Create authvars and store them in the ESP with the project cert
used as PK/KEK/db

mkosi-obs: sign bootloaders in ESPs

If there are bootloaders in the ESP(s), sign them too. Useful to
ensure everything is signed also with the certificate in the project
where the image is built.

mkosi-obs: add support for .raw.img

Needed for netesp

mkosi-obs: create directories in ESP before calling mcopy

It does not create leading directories. Set -D s to skip when
they already exist.

mkosi-obs: also check that ESP offset is not an empty string

Can also happen, not just 'null'

Fix parse_drive()

docs: Update building-rpms-from-source.md

Merge pull request #3545 from DaanDeMeyer/suppress-sync

Specify --suppress-sync when running package managers

Package managers tend to make sure of sync() and friends to ensure
that any files they write are actually written to disk. This is
important when a package manager is used to do system package upgrades,
but is unnecessary when using package managers to build OS images. So
let's make sync() and friends a noop when we invoke package managers

Replaces #3544

sandbox: Add --suppress-sync option to suppress sync() syscalls

We'll make use of this to suppress calls to sync() when running
package managers.

mkosi-obs: use new sd-keyutil verb to attach dm-verity signature

Reduce the number of filesystems we remount noexec/nosuid/nodev when root

For mkosi-initrd, /etc might very well contain executable scripts which
we should allow to run, so let's only mount /boot and /efi nodev/nosuid/noexec.

Add --debug-sandbox option to mkosi-initrd and mkosi-addon

Use Config.finalize_environment() in Installer.finalize_environment()

Otherwise we don't get the required proxy environment variables.

initrd: add modules for fido2 and amd laptop

Needed for FIDO2 unlock and other stuff on my laptop. Adds
~200kb or so to the UKI.

Copy /etc/group into the sandbox tree instead of passwd

README: Reference EXAMPLES and mkosi documentation

Generally, examples are a great way to get started with a new tool.
Additionally, there does not appear to be formal getting started
documentation for mkosi.

Bump Fedora initrd size

Fixes CI failure because the Fedora initrd increased in size again.

mkosi-obs: fix searching for multiple files to sign

Due to quotes a single entry in the array is created by 'find', instead of one
entry per file

mkosi-obs: fix creating subfolder structure for signature cpio

The signature file will be stored in the same directory structure it was
picked from, to allow having multiple files with the same name

Clean up default tools tree package lists

- util-linux is not needed anymore since we do mounts ourselves now
- dpkg is pulled in by apt on arch and we don't list it explicitly elsewhere
- glibc-gconv-modules-extra should be pulled in by something else on opensuse by now
- python3-cryptography is only required on ubuntu, rest already has a dependency on
  it in systemd-ukify or is already on systemd v257 which doesn't need it anymore
- libarchive-tools seems like a leftover that isn't installed anywhere else

Merge pull request #3527 from DaanDeMeyer/dependencies

mkosi-tools: Split off misc, package-manager and runtime profiles

Let's make the dependencies verb a little more flexible by splitting
off various profiles in mkosi-tools, the misc, package-manager and
runtime profiles. The misc profile contains all the useful tools we
install to make sure they're available in scripts. The package manager
contains non-native package managers and related tools. The runtime
profile contains all the tools required to boot images. The regular
configuration now only includes the tools required to build native images
with mkosi.

The default tools tree still includes both the misc, package-manager and
runtime profiles by default but the list of profiles can be changed with
the new ToolsTreeProfiles= setting. The dependencies verb includes neither
profile, but we now allow passing arbitrary settings to the dependency verb
as arguments so that packages from additional profiles can be requested if
needed.