Merge pull request #4090 from DaanDeMeyer/proc

sandbox: Drop --proc

Fix --debug-shell

While we're at it, let's save ourselves from having to reason about
Python's capture rules for nested functions by moving _preexec() out
of spawn() and passing in arguments via functools.partial().

sandbox: Drop --proc

This is trivially replaced with --bind /proc $DST, so let's drop the
separate option. Maybe in the future we'll add --proc back but have it
actually mount a new procfs instance.

Merge pull request #4089 from DaanDeMeyer/sandbox

Various fixes

run: Remove hack to keep packed file descriptors intact

Now that we execute execvp() in the preexec function and therefore
skip python's close file descriptors logic, we don't need our hack
anymore to tell python the right file descriptors to close so let's
drop it.

mkosi-tools: Install libmicrohttpd explicitly on Arch

It was made an optional dependency of the systemd package.

sandbox: Refactor mount_rbind()

Let's split out separate functions for the mount API syscalls.

Remove unneeded lambdas

Merge pull request #4086 from DaanDeMeyer/fix

run: Call execvpe() from preexec function

run: Call execvpe() from preexec function

Python does its own executable lookup in $PATH before executing the preexec function, and
hence before we have set up the sandbox which influences the lookup results. To get around
that, let's call execvpe() ourselves inside the preexec() function, and not give Python the
chance to do it itself. This ensures we can do the proper executable lookup after setting
up the sandbox. If we can't find the executable, do nothing, and let Python do its own
search logic so it can return a proper error, which we cannot do from the preexec function.
Note that by doing this we also skip Python closing all open file descriptors except the
ones specified by the user in pass_fds, but since Python opens all file descriptors with
O_CLOEXEC anyway, we'll assume we're good and don't need to close open file descriptors
explicitly.

Merge pull request #4087 from behrmann/morelint

More linters

linter: enable flake8-bugbear

run: use nosandbox for default sandbox arguments

This also adds nosandbox as an immutable function for bugbear to silence B008
[1].

[1] https://docs.astral.sh/ruff/rules/function-call-in-default-argument/

Clear environment in scopedenv before recreating it

This fixes B003 [1].

[1] https://docs.astral.sh/ruff/rules/assignment-to-os-environ/

Don't name unused variable in find_unused_vsock_cid

This fixes B007 [1].

[1] https://docs.astral.sh/ruff/rules/unused-loop-control-variable/

Clobber original ValueError when GIT_CONFIG_COUNT fails to parse.

This fixes B904 [1]. The original error is safe to discard, since we give a
proper error message to act on the error.

[1] https://docs.astral.sh/ruff/rules/raise-without-from-inside-except/

Fix: capturing of loop variable for systemd-dissect call

This fixes B023 [1]. Before only the last loop value would be captured.

[1] https://docs.astral.sh/ruff/rules/function-uses-loop-variable/

linter: take all W lints from pycodestyle

This doesn't add any new warnings, so it seems okay to add.

run: Pass cmd instead of cmdline

cmd is already stringified.

linter: reformat ruff's linter.select table

Configure pyright included files

Let's configure the files on which pyright should run to avoid long
startup times where it tries to check every single file in the workspace
directory.

qemu: Register with systemd-machined in user session

Now that machine registration works unprivileged
since systemd v259, let's switch to unconditionally
registering machines with the user session
systemd-machined instance.

This breaks compat but the previous implementation
arguably wasn't useful or used, since registration
would only be done when running as root or if the
Register= feature was explicitly enabled. And if
not running as root, you'd have to authenticate
every time when booting the image to register it
which is arguably too annoying that anyone actually
bothered with it.

As vmspawn doesn't yet support registering with the
user machined instance, we stop registering vmspawn
machines for now. https://github.com/systemd/systemd/pull/40185
will add support for user machined regisration to
vmspawn.

For nspawn we stick with system machined registration
for now.

Create package cache dir before invoking pacman

Fixes #4081, works around upstream issue, see
https://gitlab.archlinux.org/pacman/pacman/-/issues/292

Merge pull request #4080 from DaanDeMeyer/reflink

util: Add reflink file-copying helpers

Cache hwdb step

Running hwdb takes roughly a second and is
unlikely to ever rely on files added by extra
trees or such, so let's cache the step instead of
re-running it every single time.

tree-wide: Migrate some uses of copy_tree() to copyfile()

util: Add reflink file-copying helpers

shutil.copyfile() doesn't do reflinks internally,
so let's add our own helpers which do.

distribution: do not default to release=VERSION_ID for openSUSE Tumbleweed

`config_default_release()` calls `detect_distribution()` to get the default
release if it's not set, which picks the value from os-release's `VERSION_ID`.
In openSUSE Tumbleweed this property has the snapshot number. Since
`mkosi-initrd` does not set `Release=` via config, mkosi thinks that it's Leap
and fails:

```
$ mkosi-initrd
‣ Validating certificates and keys
‣ Building main image
‣  Copying in sandbox trees…
‣  Installing openSUSE
Warning: Enforced setting: $releasever=20251217
Loading repository data...
Reading installed packages...
'Leap-release' not found in package names. Trying capabilities.
No provider of 'Leap-release' found.
‣ "zypper --installroot=/buildroot --cache-dir=/var/cache/zypp --non-interactive --no-refresh --releasever=20251217 --no-gpg-checks install --download in-advance --no-recommends --force-resolution filesystem Leap-release" returned non-zero exit code 104.
‣ "mkosi --force --directory= --format=cpio --output=initrd --output-directory=/tmp/tmpcvx9let7 --extra-tree=/usr/lib/modules/6.17.0-2-default:/usr/lib/modules/6.17.0-2-default --extra-tree=/usr/lib/firmware:/usr/lib/firmware '--remove-files=/usr/lib/firmware/*-ucode' --build-sources= --include=mkosi-initrd --kernel-modules=host --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko:/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko:/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko:/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko --package-cache-dir=/var --cache-only=metadata --output-mode=600 --include /usr/lib/mkosi-initrd --include /etc/mkosi-initrd --sandbox-tree=/tmp/tmp0tjr7mwr --extra-tree=/etc/vconsole.conf:/etc/vconsole.conf" returned non-zero exit code 104.
```

Fixes 0b701c690ddcf3543bc1a698a1977ea390dbfd36

sandbox: Add close context manager

Wrap build_microcode_initrd in complete_step

Fix typo in manpage

mkosi-addon: drop Output=addon, addon.py already has a default

addon.py already passes mkosi-local.addon.efi by default if nothing
else is given, so it's not necessary to override it here. And it makes
it impossible to give custom names via Output= in your own config.

sandbox: return raw error code from the kernel and friends on failure

When a system error occurs, the libseccomp returns -ECANCELED and
hides the original error code. That makes harder to debug the failure.
Let's make libseccomp propagate the original error code.

config: replace deprecated sandbox verb with box in help message

Follow-up for f1eab5a783bd3f5f0fb6a1d3dd60e9517cfae353.

Merge pull request #4061 from LaurenceKiln/measure_steps

Migrate log_step to complete_step in places

Report duration of complete_step with --debug

sandbox: fix wrong errno passed to OSError()

verity: do not copy signing cert in addons/portables/extensions

It makes no sense to include these in portables or addons
or extensions, it's for the rootfs so pid1 can use it

Follow-up for 4bdb47b6dafec4f258a2dca446d67ee662dbedd4

Bump version to 27~devel

Release 26

Adjust logging messages for kmod/fw resolution

Revert "Do not try to install packages that are listed in RemovePackages="

This reverts commit b3d6e69d8e01e0fcaf8409935ebe8ebf95d546c3.

Fixes #3911

portable: Make sure mountpoints exist in the image

Fixes #4012

initrd: Inherit keymap, timezone, hostname and rootpw by default

Fixes #3951

pacman: Make sure hookdir exists

Workaround for regression in pacman 7.1.

make_image: log systemd-repart *.conf files at the --debug level

As discussed in #3948, systemd-repart *.conf files have default values
which is convenient until this fails with some dreaded "disk full" error
- then it becomes very mysterious. To considerably speed up the
investigation about what exactly is full, show the configuration files
in use when using --debug.

Signed-off-by: Marc Herbert <marc.herbert@intel.com>
(cherry picked from commit 7040a6add12c8f8c1c8393d5e35c747ee2876472)
Signed-off-by: Marc Herbert <marc.herbert@intel.com>

Merge pull request #4062 from DaanDeMeyer/sandbox-debug

sandbox: Don't make overlay an absolute path if tmpfs

Fixes #4039

sandbox: Add better error reporting for overlayfs

Let's do some basic checks up front so we catch
trivial errors ourselves instead of having to
debug obscure errors we get back from the kernel
when calling mount().

run: Increase string limit for strace when debugging sandbox

Ring the terminal bell after the last image has been built

Add glob in default initrd to exclude some exotic drivers

Allow KernelModules= globs to also match relative to modules root dir

zypper: add --force-resolution flag

kmod: Only add fully resolved fw path if it exists

The symlinks in /usr/lib/firmware might be
dangling and we shouldn't try to add the target of
a dangling symlink to the list of firmware as cpio
will error out later because it can't find the
file or directory.

Replaces #4053

Merge pull request #4050 from DaanDeMeyer/sandbox-preexec

Add details to KernelModulesInitrd= doc

Fix SplitArtifacts=repart-definitions for addons

is_extension_or_portable_image() includes addon images, which should
be skipped in copy_repart_definitions(), so list the formats individually
instead.

Follow up for 1acab18874433b504b080dcf8753826c8b0d5bd9

Add log_step call in build_kernel_modules_initrd

run: Set up sandbox with a preexec function

There's no need to initialize a new python interpreter every single
time we need a sandbox when we can use the one we already have by
setting up the sandbox with a preexec_fn. A preexec_fn executes before
execve(), so we can reuse the same python interpreter we're already
running in instead of having to spawn a new one.

If we're debugging the sandbox or running a setup command, we stick to
the old approach of invoking a separate python interpreter.

Move setup argument to run() instead of sandbox_cmd()

It's a bit up in the air whether this belongs in sandbox_cmd() or
spawn() but let's move it to spawn since it shouldn't be impossible
to have a setup command without having sandbox.

Use proper constants for ansi colors

I was playing around with mypyc again and it did not like class
attributes like the Style ones. While mypyc ended up not working for
other reasons, let's switch to something it is happy with which is just
regular constants named identically to how they're named in systemd. It's
arguably not uglier than the Style namespace class.

mkosi-obs: add SplitArtifacts=repart-definitions and use it

Allows signing portable/sysext/confext images

Copy repart definitions to staging directory

We should always use the staging directory while the image is being
built, at the end everything is moved to the output directory.

Merge pull request #4042 from DaanDeMeyer/vmspawn

Two vmspawn improvements

Add SplitArtifacts=repart-definitions

For use in mkosi-obs

Merge pull request #4036 from bluca/mkosi_obs_fixes

mkosi-obs: prepare EFI authvars only if there is at least an ESP

No point otherwise, a DDI might be a portable image with no ESP

mkosi-obs: 'offset' in sd-repart's json might be empty string rather than null

[   67s] ++ systemd-repart --json=short /work/out/nest-octopus_5.2.raw
[   67s] ++ jq -r '.[] | select(.type == "esp") | .offset'
[   67s] No machine ID set, using randomized partition UUIDs.
[   67s] No changes.
[   67s] + offset=
[   67s] + '[' '' = null ']'

nspawn/vmspawn: Add --bind-user-group=wheel

We want bound users to be able to elevate privileges inside the
container.

vmspawn: Only set --grow-image= if RuntimeSize= is specified

mkosi-obs: always include verity certificate

Ensure it is included in images for verification

Revert "Use Path.relative_to instead of Path.parts"

This reverts commit 5a476a92deca8ad54869e5d416217aa1bb137b25.

action: Use environment variables instead of inputs

Let's simplify and just use environment variables
instead of inputs. While we're at it, use
environment variables for everything since I don't
know which variables are broken in composite
actions and which are not (see linked github
actions bug).

portable: support split roothash

Portable images are DDIs too, support writing a split roothash
as with OS images

Use Path.relative_to instead of Path.parts

Update doc for mkosi ssh to mention sd v256 sshd-vsock

Rewrite note on fw deps of kernel modules in manpage

Add python3-pefile to fedora tools conf

python3-pefile is a dep of `system-ukify` which `mkosi` depends on,
so it gets installed indirectly by `dnf install  $(mkosi dependencies)`
runs. But mkosi depends on it directly, so make it an explicit dependency.

Fix truthy condition

Merge pull request #4018 from DaanDeMeyer/btrfs-ioctl

tree: Use btrfs ioctls instead of btrfs tool

The btrfs ioctls are trivial to use so let's avoid
the overhead of spawning sandboxes and processes
and just use the ioctls directly.

code review

code review

code review

Don't discard ordering of include/exclude entries in KernelModules=

Since eecf8b3b5 `KernelModules=` supports both inclusion and exclusion
of kmods. When resolving kmod presets like "default" and "host"
(and perhaps others in the future) it's important to retain the
ordering of entries, so that the user can add a preset and then
subtract only specific modules from the working set.

`filter_kernel_modules` relies on this ordering to do its job.

Fix case where we don't check for box verb

build(deps): bump github/codeql-action from 4.31.2 to 4.31.6

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 4.31.2 to 4.31.6.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/0499de31b99561a6d14a36a5f662c2a54f91beee...fe4161a26a8629af62121b670040955b330f9af2)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-version: 4.31.6
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 5.0.0 to 6.0.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 5.0.0 to 6.0.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/08c6903cd8c0fde910a37f88322edcfb5dd907a8...1af3b93b6815bc44a9784bd300feb67ff0d1eeb3)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-version: 6.0.0
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Add zram and nfnetlink to default initrd

zram-generator has been on by default in fedora
since fc33 (2020) and runs during early boot.
If the zram module is missing, users are hit with a nasty
45s systemd timeout.

firewalld.service is also on by default and fails to start
without nfnetlink.

Let's make sure an image built with `KernelModules=default`,
which pulls in the default mkosi-initrd modules, brings up
a fedora system in a non-degraded state

Before:
52038188 fedora.initrd

After:
52105776 fedora.initrd

verity: copy signing certificate to /usr/lib/verity.d/

If a signing certificate for verity is specified copy it in the image
to /usr/lib/verity.d/ so that it can be used for userspace verification
when not using secure boot

Improve manpage output using pandoc lua filter (#4005)

* Improve manpage output using pandoc lua filter

Pass environment to systemd-sysusers invocation

Signed-off-by: bakhtin <a@bakhtin.net>

Make Ruff check for dangling whitespace

qemu: Add missing sandbox

Follow up for 21675c4822b53db357108d1456006231cd889f60

Ssh=yes maps to Ssh=always, update the manpage

Warn of mkosi's sshd lacking support in distros' SElinux policy

Manpage: Update supported output formats

Merge pull request #4003 from bluca/arm_pi

Fix cross-builds kmods config parsing and add a few modules for RPI to mkosi-initrd