config: Fix formatting with newer ruff

action: Run apt-get update before installing packages

The repository metadata in the image can get out of date. Let's run
apt-get update to make sure it is fresh.

Add MakeScriptsExecutable= setting to optionally try to make scripts executable before bailing out

If it fails, it was going to die() anyway.

OBS sources defined inline (ie, not in a tarball) cannot have the mode preserved,
so it's not possible to have mkosi.build or so as a bare script
in an OBS project, one needs to tar it up and extract it again later,
which means it cannot be edited by the inline editor, which is very
convenient for small and trivial builds like an addon.

build(deps): bump github/codeql-action from 4.31.9 to 4.32.0

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 4.31.9 to 4.32.0.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/5d4e8d1aca955e8d8589aabd499c5cae939e33c7...b20883b0cd1f46c72ae0ba6d1090936928f9fa30)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-version: 4.32.0
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 6.0.1 to 6.0.2

Bumps [actions/checkout](https://github.com/actions/checkout) from 6.0.1 to 6.0.2.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/8e8c483db84b4bee98b60c0593521ed34d9990e8...de0fac2e4500dabe0009e67214ff5f5447ce83dd)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-version: 6.0.2
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

docs: remove superfluous definition colon

mkosi-tools: add libarchive-tools package.

Fix Arch image build failure due to missing bsdtar.
Fixes discussions/4135.

Merge pull request #4143 from behrmann/fedoranpm

ci: add nodejs-npm to tools tree packages for Fedora

ci: switch tools tree from Fedira Rawhide to Arch

ci: try multiple npm binaries in prepare script

ci: add nodejs-npm to tools tree packages for Fedora

docs: Add information about gui mkosi-tools profile

Add missing call to run_locale_gen()

And mention the new feature in the news file.

rpm: Set pkgverify_level to digest

This was changed to all in rpm 6.0.0, which means that rpm is checking
for signatures from dnf/zypper repos that have gpgcheck=0. dnf5 was updated
to deal with this but for some reason the fix isn't working in Arch and zypper
doesn't deal with this at all, so revert back to the previous level until
package managers can actually deal with this.

dnf: Give advanced users some control over plugins

Let's add some environment variables to control plugins for cases
where users have some dnf plugin they can't touch on their host system
which doesn't behave properly in mkosi-sandbox and which they can't
remove themselves.

run: Improve sandbox command logging

Replaces #4068

Fix environment variable name for systemd-repart

Allow specifying "default" value for Initrds=

Also use it as the default value for Initrds= when we decide a default
initrd is needed. This allows both using the default initrd alongside
other initrds as well as disabling building the default initrd by assigning
the empty string to Initrds=.

Allow setting PORTABLE_PREFIXES= via Environment=

opensuse: More GPG key handling fixes

- Pass GPG keys to rpm --import as paths inside the sandbox. This
  makes sure that overrides from mkosi.sandbox are taken into account.
  e.g. atm we pass mkosi.tools/usr/share/distribution-gpg-keys/... whereas
  now we pass /usr/share/distribution-gpg-keys/...
- Make sure we figure out keys once when using zypper. zypper downloads
  GPG keys (when fetching is enabled) when refreshing repositories. These
  keys are stored in the rpm database in the temporary root we use when
  syncing repository metadata. To make sure they are not lost, we extract
  the keys using rpmkeys and store them in the keyring directory which we
  use from then onwards. For all image builds we then simply import the
  keys from the keyring directory.

Merge pull request #4122 from DaanDeMeyer/opensuse-fixes

Opensuse fixes

opensuse: Log when importing GPG keys into RPM database

opensuse: List local GPG keys for Leap as well

opensuse: Log when we're potentially going to curl()

opensuse: Fix gpgkey URL

opensuse: Simplify error messages slightly

opensuse: Import GPG keys downloaded by zypper as well

When syncing repository metadata, zypper will download keys if
--gpg-auto-import-keys is specified. When installing packages, we need
to make sure these keys are imported into the rpmdb as well.

opensuse: Simplify GPG logic

No need to check ourselves, we can delegate the check to find_rpm_gpgkey()
instead.

opensuse: Fetch remote keys as well if RepositoryKeyFetch= is enabled

Also improve error handling for if local keys do not exist.

ci: Use mkosi box for unit test CI as well

Merge pull request #4117 from behrmann/tyfixes

Ty(ping) fixes

Remove deprecated logging.warn call

Remove unused type ignore statements

Make sure we pass the right context to finalize_default_initrd()

We mess around with the context object to make it for for use when
reading the subimages. But we need the full context again for parsing
the default initrd later on, so make a copy before we delete stuff and
pass that to finalize_default_initrd()

Fixes #4114

Merge pull request #4111 from DaanDeMeyer/vsock

qemu: Start vsock notify handler thread after starting qemu

Stop running auxiliary programs in systemd scopes

Similar to the same change made in systemd-vmspawn, let's stop running
virtiofsd, systemd-journal-remote and swtpm in scopes. Nobody ever makes
use of the features this provides and it simplifies our code quite a bit.

This also means we drop the UnitProperties setting, which was effectively
unused anyway.

This allows us to get rid of the --suspend setting in mkosi-sandbox, which
only really existed to allow waiting for systemd-run to finish its setup
before registering the machine. Because registering a machine means it needs
a cgroup, we allow systemd-machined to create the scope itself if needed.

qemu: Start vsock notify handler thread after starting qemu

tools: don't pull in virtiofsd in bookworm tools trees

build(deps): bump github/codeql-action from 4.31.6 to 4.31.9

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 4.31.6 to 4.31.9.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/fe4161a26a8629af62121b670040955b330f9af2...5d4e8d1aca955e8d8589aabd499c5cae939e33c7)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-version: 4.31.9
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 6.0.0 to 6.0.1

Bumps [actions/checkout](https://github.com/actions/checkout) from 6.0.0 to 6.0.1.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/1af3b93b6815bc44a9784bd300feb67ff0d1eeb3...8e8c483db84b4bee98b60c0593521ed34d9990e8)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-version: 6.0.1
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

opensuse: Import GPG keys for all repositories

Let's not just import GPG keys for our own repositories, but for
all repositories.

Add support for locale-gen

If locales are configured in /etc/locale.gen, let's run locale-gen.

Merge pull request #4100 from Ma27/systemd-hacking-on-nixos

nixos: Use repository key fetching by default on nixos

nixos generally won't have any keys in the expected locations so let's
use repository key fetching by default if we're building from a nixos
host (or tools tree).

mkosi/run: pass through LD_LIBRARY_PATH

The sandbox expects that the host has a `libseccomp.so` in its global
search-path (usually `/usr/lib`). However, that path doesn't exist on
NixOS. Another standard way of passing lookup paths to `dlopen()` is
using LD_LIBRARY_PATH which is now passed through to the sandbox.

treewide: use `/usr/bin/env bash` instead of `/bin/bash` as shebang

E.g. NixOS doesn't have a `/bin/bash` and some of the scripts are seemingly
running inside the host's context. Hence, use the more cautious variant of
`/usr/bin/env bash` and just do it everywhere for consistency.

mkosi/run: inherit store paths from nix-shell into sandbox

On NixOS most interesting stuff is either in store-paths from $PATH
(e.g. when working in a nix-shell).

Add these PATH entries to the new $PATH and ensure everything
interesting is in the sandbox.

docs: Reword dependencies vs tools tree requirement a bit

docs: Minor correction on enabling unprivileged namespaces

apparmor_restrict_unprivileged_unconfined should be set to 0 to allow
unprivileged namespaces.

docs: Update unprivileged user namespace docs

Let's not recommend fiddling around with apparmor profiles, but
instead recommend enabling unprivileged user namespaces unconditionally.
Users that care about security can figure out apparmor profiles on their own.

Also reorder and reword the REQUIREMENTS section in general.

kmod: Only use --modname if available

--modname is only available since 2022, and not available in kmod in
CentOS Stream 9, so query if it is available and only use it if it is
available.

Querying --help every time isn't the most efficient but adds negligible
time to the modinfo step in practice.

arch: Download archlinux-keyring with pacman

curl-ing the Arch Linux website fails quite often due to connection
issues. Let's try downloading the archlinux-keyring package with
Pacman so we go directly to a mirror and avoid hitting the Arch
Linux website.

Merge pull request #4092 from DaanDeMeyer/kmod

kmod: Stop retrieving dependency info of all modules

kmod: Reorder ko extension list

It's unsure whether python uses a hash based lookup for this or not,
so let's list the most commonly expected extensions first. Kernel
modules tend to be compressed these days, so those are the ones we
list first, with preference to zstd and xz.

kmod: Use same ko glob everywhere

kmod: Stop retrieving dependency info of all modules

Instead of running modinfo once to retrieve the dependency information
of all modules, let's only retrieve the dependency information of the
modules that are to be included in the image and their transitive
dependencies. This means we have to run modinfo multiple times, but with
far fewer modules than before. This ends up being faster than retrieving
the dependency information of all modules, especially after the optimization
from e276dac87a530efac4376a5059b980f2d43460f5.

For the mkosi default image build on Arch Linux this reduces the time for
calculating the required kernel modules and firmware on my laptop from 5s
to 0.5s.

Co-Authored-By: Laurence Kiln <246209442+LaurenceKiln@users.noreply.github.com>

kmod: Use Sequence instead of Reversible/Iterable

We generally use Sequence everywhere else as well and there's no good
reason to use Reversible/Iterable here, so let's switch to Sequence.

kmod: Streamline step logging

Let's track the full runtime of filter_kernel_modules(), filter_firmware()
and resolve_module_dependencies().

Merge pull request #4091 from p5/dev/p5/reproducibility-updates

Fix reproducibility for microcode initrd and gzip compression

kmod: Move modinfo output parsing into modinfo()

compressor_command: Use gzip -n for reproducible output

The gzip format includes an MTIME field in its header that stores the
modification time of the original file. This causes compressed archives
to differ between builds even when the uncompressed content is identical.

Add the --no-name flag to gzip which suppresses storing the original
filename and timestamp, making gzip output reproducible.

Signed-off-by: Robert Sturla <rsturla@redhat.com>

build_microcode_initrd: Normalize timestamps for reproducible builds

When building the microcode initrd, files are created in a temporary
directory with current timestamps. These timestamps are then embedded
in the CPIO archive, causing non-reproducible builds even when
SourceDateEpoch is set.

Fix this by normalizing the modification times of all files in the
microcode root directory to source_date_epoch before creating the
CPIO archive.

Signed-off-by: Robert Sturla <rsturla@redhat.com>

Merge pull request #4090 from DaanDeMeyer/proc

sandbox: Drop --proc

Fix --debug-shell

While we're at it, let's save ourselves from having to reason about
Python's capture rules for nested functions by moving _preexec() out
of spawn() and passing in arguments via functools.partial().

sandbox: Drop --proc

This is trivially replaced with --bind /proc $DST, so let's drop the
separate option. Maybe in the future we'll add --proc back but have it
actually mount a new procfs instance.

Merge pull request #4089 from DaanDeMeyer/sandbox

Various fixes

run: Remove hack to keep packed file descriptors intact

Now that we execute execvp() in the preexec function and therefore
skip python's close file descriptors logic, we don't need our hack
anymore to tell python the right file descriptors to close so let's
drop it.

mkosi-tools: Install libmicrohttpd explicitly on Arch

It was made an optional dependency of the systemd package.

sandbox: Refactor mount_rbind()

Let's split out separate functions for the mount API syscalls.

Remove unneeded lambdas

Merge pull request #4086 from DaanDeMeyer/fix

run: Call execvpe() from preexec function

run: Call execvpe() from preexec function

Python does its own executable lookup in $PATH before executing the preexec function, and
hence before we have set up the sandbox which influences the lookup results. To get around
that, let's call execvpe() ourselves inside the preexec() function, and not give Python the
chance to do it itself. This ensures we can do the proper executable lookup after setting
up the sandbox. If we can't find the executable, do nothing, and let Python do its own
search logic so it can return a proper error, which we cannot do from the preexec function.
Note that by doing this we also skip Python closing all open file descriptors except the
ones specified by the user in pass_fds, but since Python opens all file descriptors with
O_CLOEXEC anyway, we'll assume we're good and don't need to close open file descriptors
explicitly.

Merge pull request #4087 from behrmann/morelint

More linters

linter: enable flake8-bugbear

run: use nosandbox for default sandbox arguments

This also adds nosandbox as an immutable function for bugbear to silence B008
[1].

[1] https://docs.astral.sh/ruff/rules/function-call-in-default-argument/

Clear environment in scopedenv before recreating it

This fixes B003 [1].

[1] https://docs.astral.sh/ruff/rules/assignment-to-os-environ/

Don't name unused variable in find_unused_vsock_cid

This fixes B007 [1].

[1] https://docs.astral.sh/ruff/rules/unused-loop-control-variable/

Clobber original ValueError when GIT_CONFIG_COUNT fails to parse.

This fixes B904 [1]. The original error is safe to discard, since we give a
proper error message to act on the error.

[1] https://docs.astral.sh/ruff/rules/raise-without-from-inside-except/

Fix: capturing of loop variable for systemd-dissect call

This fixes B023 [1]. Before only the last loop value would be captured.

[1] https://docs.astral.sh/ruff/rules/function-uses-loop-variable/

linter: take all W lints from pycodestyle

This doesn't add any new warnings, so it seems okay to add.

run: Pass cmd instead of cmdline

cmd is already stringified.

linter: reformat ruff's linter.select table

Configure pyright included files

Let's configure the files on which pyright should run to avoid long
startup times where it tries to check every single file in the workspace
directory.

qemu: Register with systemd-machined in user session

Now that machine registration works unprivileged
since systemd v259, let's switch to unconditionally
registering machines with the user session
systemd-machined instance.

This breaks compat but the previous implementation
arguably wasn't useful or used, since registration
would only be done when running as root or if the
Register= feature was explicitly enabled. And if
not running as root, you'd have to authenticate
every time when booting the image to register it
which is arguably too annoying that anyone actually
bothered with it.

As vmspawn doesn't yet support registering with the
user machined instance, we stop registering vmspawn
machines for now. https://github.com/systemd/systemd/pull/40185
will add support for user machined regisration to
vmspawn.

For nspawn we stick with system machined registration
for now.

Create package cache dir before invoking pacman

Fixes #4081, works around upstream issue, see
https://gitlab.archlinux.org/pacman/pacman/-/issues/292

Merge pull request #4080 from DaanDeMeyer/reflink

util: Add reflink file-copying helpers

Cache hwdb step

Running hwdb takes roughly a second and is
unlikely to ever rely on files added by extra
trees or such, so let's cache the step instead of
re-running it every single time.

tree-wide: Migrate some uses of copy_tree() to copyfile()

util: Add reflink file-copying helpers

shutil.copyfile() doesn't do reflinks internally,
so let's add our own helpers which do.

distribution: do not default to release=VERSION_ID for openSUSE Tumbleweed

`config_default_release()` calls `detect_distribution()` to get the default
release if it's not set, which picks the value from os-release's `VERSION_ID`.
In openSUSE Tumbleweed this property has the snapshot number. Since
`mkosi-initrd` does not set `Release=` via config, mkosi thinks that it's Leap
and fails:

```
$ mkosi-initrd
‣ Validating certificates and keys
‣ Building main image
‣  Copying in sandbox trees…
‣  Installing openSUSE
Warning: Enforced setting: $releasever=20251217
Loading repository data...
Reading installed packages...
'Leap-release' not found in package names. Trying capabilities.
No provider of 'Leap-release' found.
‣ "zypper --installroot=/buildroot --cache-dir=/var/cache/zypp --non-interactive --no-refresh --releasever=20251217 --no-gpg-checks install --download in-advance --no-recommends --force-resolution filesystem Leap-release" returned non-zero exit code 104.
‣ "mkosi --force --directory= --format=cpio --output=initrd --output-directory=/tmp/tmpcvx9let7 --extra-tree=/usr/lib/modules/6.17.0-2-default:/usr/lib/modules/6.17.0-2-default --extra-tree=/usr/lib/firmware:/usr/lib/firmware '--remove-files=/usr/lib/firmware/*-ucode' --build-sources= --include=mkosi-initrd --kernel-modules=host --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko:/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko:/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko:/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko --package-cache-dir=/var --cache-only=metadata --output-mode=600 --include /usr/lib/mkosi-initrd --include /etc/mkosi-initrd --sandbox-tree=/tmp/tmp0tjr7mwr --extra-tree=/etc/vconsole.conf:/etc/vconsole.conf" returned non-zero exit code 104.
```

Fixes 0b701c690ddcf3543bc1a698a1977ea390dbfd36

sandbox: Add close context manager

Wrap build_microcode_initrd in complete_step

Fix typo in manpage

mkosi-addon: drop Output=addon, addon.py already has a default

addon.py already passes mkosi-local.addon.efi by default if nothing
else is given, so it's not necessary to override it here. And it makes
it impossible to give custom names via Output= in your own config.

sandbox: return raw error code from the kernel and friends on failure

When a system error occurs, the libseccomp returns -ECANCELED and
hides the original error code. That makes harder to debug the failure.
Let's make libseccomp propagate the original error code.

config: replace deprecated sandbox verb with box in help message

Follow-up for f1eab5a783bd3f5f0fb6a1d3dd60e9517cfae353.

Merge pull request #4061 from LaurenceKiln/measure_steps

Migrate log_step to complete_step in places

Report duration of complete_step with --debug

sandbox: fix wrong errno passed to OSError()