nixos: Use repository key fetching by default on nixos

nixos generally won't have any keys in the expected locations so let's
use repository key fetching by default if we're building from a nixos
host (or tools tree).

docs: Reword dependencies vs tools tree requirement a bit

docs: Minor correction on enabling unprivileged namespaces

apparmor_restrict_unprivileged_unconfined should be set to 0 to allow
unprivileged namespaces.

docs: Update unprivileged user namespace docs

Let's not recommend fiddling around with apparmor profiles, but
instead recommend enabling unprivileged user namespaces unconditionally.
Users that care about security can figure out apparmor profiles on their own.

Also reorder and reword the REQUIREMENTS section in general.

kmod: Only use --modname if available

--modname is only available since 2022, and not available in kmod in
CentOS Stream 9, so query if it is available and only use it if it is
available.

Querying --help every time isn't the most efficient but adds negligible
time to the modinfo step in practice.

arch: Download archlinux-keyring with pacman

curl-ing the Arch Linux website fails quite often due to connection
issues. Let's try downloading the archlinux-keyring package with
Pacman so we go directly to a mirror and avoid hitting the Arch
Linux website.

Merge pull request #4092 from DaanDeMeyer/kmod

kmod: Stop retrieving dependency info of all modules

kmod: Reorder ko extension list

It's unsure whether python uses a hash based lookup for this or not,
so let's list the most commonly expected extensions first. Kernel
modules tend to be compressed these days, so those are the ones we
list first, with preference to zstd and xz.

kmod: Use same ko glob everywhere

kmod: Stop retrieving dependency info of all modules

Instead of running modinfo once to retrieve the dependency information
of all modules, let's only retrieve the dependency information of the
modules that are to be included in the image and their transitive
dependencies. This means we have to run modinfo multiple times, but with
far fewer modules than before. This ends up being faster than retrieving
the dependency information of all modules, especially after the optimization
from e276dac87a530efac4376a5059b980f2d43460f5.

For the mkosi default image build on Arch Linux this reduces the time for
calculating the required kernel modules and firmware on my laptop from 5s
to 0.5s.

Co-Authored-By: Laurence Kiln <246209442+LaurenceKiln@users.noreply.github.com>

kmod: Use Sequence instead of Reversible/Iterable

We generally use Sequence everywhere else as well and there's no good
reason to use Reversible/Iterable here, so let's switch to Sequence.

kmod: Streamline step logging

Let's track the full runtime of filter_kernel_modules(), filter_firmware()
and resolve_module_dependencies().

Merge pull request #4091 from p5/dev/p5/reproducibility-updates

Fix reproducibility for microcode initrd and gzip compression

kmod: Move modinfo output parsing into modinfo()

compressor_command: Use gzip -n for reproducible output

The gzip format includes an MTIME field in its header that stores the
modification time of the original file. This causes compressed archives
to differ between builds even when the uncompressed content is identical.

Add the --no-name flag to gzip which suppresses storing the original
filename and timestamp, making gzip output reproducible.

Signed-off-by: Robert Sturla <rsturla@redhat.com>

build_microcode_initrd: Normalize timestamps for reproducible builds

When building the microcode initrd, files are created in a temporary
directory with current timestamps. These timestamps are then embedded
in the CPIO archive, causing non-reproducible builds even when
SourceDateEpoch is set.

Fix this by normalizing the modification times of all files in the
microcode root directory to source_date_epoch before creating the
CPIO archive.

Signed-off-by: Robert Sturla <rsturla@redhat.com>

Merge pull request #4090 from DaanDeMeyer/proc

sandbox: Drop --proc

Fix --debug-shell

While we're at it, let's save ourselves from having to reason about
Python's capture rules for nested functions by moving _preexec() out
of spawn() and passing in arguments via functools.partial().

sandbox: Drop --proc

This is trivially replaced with --bind /proc $DST, so let's drop the
separate option. Maybe in the future we'll add --proc back but have it
actually mount a new procfs instance.

Merge pull request #4089 from DaanDeMeyer/sandbox

Various fixes

run: Remove hack to keep packed file descriptors intact

Now that we execute execvp() in the preexec function and therefore
skip python's close file descriptors logic, we don't need our hack
anymore to tell python the right file descriptors to close so let's
drop it.

mkosi-tools: Install libmicrohttpd explicitly on Arch

It was made an optional dependency of the systemd package.

sandbox: Refactor mount_rbind()

Let's split out separate functions for the mount API syscalls.

Remove unneeded lambdas

Merge pull request #4086 from DaanDeMeyer/fix

run: Call execvpe() from preexec function

run: Call execvpe() from preexec function

Python does its own executable lookup in $PATH before executing the preexec function, and
hence before we have set up the sandbox which influences the lookup results. To get around
that, let's call execvpe() ourselves inside the preexec() function, and not give Python the
chance to do it itself. This ensures we can do the proper executable lookup after setting
up the sandbox. If we can't find the executable, do nothing, and let Python do its own
search logic so it can return a proper error, which we cannot do from the preexec function.
Note that by doing this we also skip Python closing all open file descriptors except the
ones specified by the user in pass_fds, but since Python opens all file descriptors with
O_CLOEXEC anyway, we'll assume we're good and don't need to close open file descriptors
explicitly.

Merge pull request #4087 from behrmann/morelint

More linters

linter: enable flake8-bugbear

run: use nosandbox for default sandbox arguments

This also adds nosandbox as an immutable function for bugbear to silence B008
[1].

[1] https://docs.astral.sh/ruff/rules/function-call-in-default-argument/

Clear environment in scopedenv before recreating it

This fixes B003 [1].

[1] https://docs.astral.sh/ruff/rules/assignment-to-os-environ/

Don't name unused variable in find_unused_vsock_cid

This fixes B007 [1].

[1] https://docs.astral.sh/ruff/rules/unused-loop-control-variable/

Clobber original ValueError when GIT_CONFIG_COUNT fails to parse.

This fixes B904 [1]. The original error is safe to discard, since we give a
proper error message to act on the error.

[1] https://docs.astral.sh/ruff/rules/raise-without-from-inside-except/

Fix: capturing of loop variable for systemd-dissect call

This fixes B023 [1]. Before only the last loop value would be captured.

[1] https://docs.astral.sh/ruff/rules/function-uses-loop-variable/

linter: take all W lints from pycodestyle

This doesn't add any new warnings, so it seems okay to add.

run: Pass cmd instead of cmdline

cmd is already stringified.

linter: reformat ruff's linter.select table

Configure pyright included files

Let's configure the files on which pyright should run to avoid long
startup times where it tries to check every single file in the workspace
directory.

qemu: Register with systemd-machined in user session

Now that machine registration works unprivileged
since systemd v259, let's switch to unconditionally
registering machines with the user session
systemd-machined instance.

This breaks compat but the previous implementation
arguably wasn't useful or used, since registration
would only be done when running as root or if the
Register= feature was explicitly enabled. And if
not running as root, you'd have to authenticate
every time when booting the image to register it
which is arguably too annoying that anyone actually
bothered with it.

As vmspawn doesn't yet support registering with the
user machined instance, we stop registering vmspawn
machines for now. https://github.com/systemd/systemd/pull/40185
will add support for user machined regisration to
vmspawn.

For nspawn we stick with system machined registration
for now.

Create package cache dir before invoking pacman

Fixes #4081, works around upstream issue, see
https://gitlab.archlinux.org/pacman/pacman/-/issues/292

Merge pull request #4080 from DaanDeMeyer/reflink

util: Add reflink file-copying helpers

Cache hwdb step

Running hwdb takes roughly a second and is
unlikely to ever rely on files added by extra
trees or such, so let's cache the step instead of
re-running it every single time.

tree-wide: Migrate some uses of copy_tree() to copyfile()

util: Add reflink file-copying helpers

shutil.copyfile() doesn't do reflinks internally,
so let's add our own helpers which do.

distribution: do not default to release=VERSION_ID for openSUSE Tumbleweed

`config_default_release()` calls `detect_distribution()` to get the default
release if it's not set, which picks the value from os-release's `VERSION_ID`.
In openSUSE Tumbleweed this property has the snapshot number. Since
`mkosi-initrd` does not set `Release=` via config, mkosi thinks that it's Leap
and fails:

```
$ mkosi-initrd
‣ Validating certificates and keys
‣ Building main image
‣  Copying in sandbox trees…
‣  Installing openSUSE
Warning: Enforced setting: $releasever=20251217
Loading repository data...
Reading installed packages...
'Leap-release' not found in package names. Trying capabilities.
No provider of 'Leap-release' found.
‣ "zypper --installroot=/buildroot --cache-dir=/var/cache/zypp --non-interactive --no-refresh --releasever=20251217 --no-gpg-checks install --download in-advance --no-recommends --force-resolution filesystem Leap-release" returned non-zero exit code 104.
‣ "mkosi --force --directory= --format=cpio --output=initrd --output-directory=/tmp/tmpcvx9let7 --extra-tree=/usr/lib/modules/6.17.0-2-default:/usr/lib/modules/6.17.0-2-default --extra-tree=/usr/lib/firmware:/usr/lib/firmware '--remove-files=/usr/lib/firmware/*-ucode' --build-sources= --include=mkosi-initrd --kernel-modules=host --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko:/usr/lib/modules/6.17.0-1-default/updates/hdaps.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko:/usr/lib/modules/6.17.0-1-default/updates/thinkpad_ec.ko --extra-tree=/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko:/usr/lib/modules/6.17.0-1-default/updates/tp_smapi.ko --package-cache-dir=/var --cache-only=metadata --output-mode=600 --include /usr/lib/mkosi-initrd --include /etc/mkosi-initrd --sandbox-tree=/tmp/tmp0tjr7mwr --extra-tree=/etc/vconsole.conf:/etc/vconsole.conf" returned non-zero exit code 104.
```

Fixes 0b701c690ddcf3543bc1a698a1977ea390dbfd36

sandbox: Add close context manager

Wrap build_microcode_initrd in complete_step

Fix typo in manpage

mkosi-addon: drop Output=addon, addon.py already has a default

addon.py already passes mkosi-local.addon.efi by default if nothing
else is given, so it's not necessary to override it here. And it makes
it impossible to give custom names via Output= in your own config.

sandbox: return raw error code from the kernel and friends on failure

When a system error occurs, the libseccomp returns -ECANCELED and
hides the original error code. That makes harder to debug the failure.
Let's make libseccomp propagate the original error code.

config: replace deprecated sandbox verb with box in help message

Follow-up for f1eab5a783bd3f5f0fb6a1d3dd60e9517cfae353.

Merge pull request #4061 from LaurenceKiln/measure_steps

Migrate log_step to complete_step in places

Report duration of complete_step with --debug

sandbox: fix wrong errno passed to OSError()

verity: do not copy signing cert in addons/portables/extensions

It makes no sense to include these in portables or addons
or extensions, it's for the rootfs so pid1 can use it

Follow-up for 4bdb47b6dafec4f258a2dca446d67ee662dbedd4

Bump version to 27~devel

Release 26

Adjust logging messages for kmod/fw resolution

Revert "Do not try to install packages that are listed in RemovePackages="

This reverts commit b3d6e69d8e01e0fcaf8409935ebe8ebf95d546c3.

Fixes #3911

portable: Make sure mountpoints exist in the image

Fixes #4012

initrd: Inherit keymap, timezone, hostname and rootpw by default

Fixes #3951

pacman: Make sure hookdir exists

Workaround for regression in pacman 7.1.

make_image: log systemd-repart *.conf files at the --debug level

As discussed in #3948, systemd-repart *.conf files have default values
which is convenient until this fails with some dreaded "disk full" error
- then it becomes very mysterious. To considerably speed up the
investigation about what exactly is full, show the configuration files
in use when using --debug.

Signed-off-by: Marc Herbert <marc.herbert@intel.com>
(cherry picked from commit 7040a6add12c8f8c1c8393d5e35c747ee2876472)
Signed-off-by: Marc Herbert <marc.herbert@intel.com>

Merge pull request #4062 from DaanDeMeyer/sandbox-debug

sandbox: Don't make overlay an absolute path if tmpfs

Fixes #4039

sandbox: Add better error reporting for overlayfs

Let's do some basic checks up front so we catch
trivial errors ourselves instead of having to
debug obscure errors we get back from the kernel
when calling mount().

run: Increase string limit for strace when debugging sandbox

Ring the terminal bell after the last image has been built

Add glob in default initrd to exclude some exotic drivers

Allow KernelModules= globs to also match relative to modules root dir

zypper: add --force-resolution flag

kmod: Only add fully resolved fw path if it exists

The symlinks in /usr/lib/firmware might be
dangling and we shouldn't try to add the target of
a dangling symlink to the list of firmware as cpio
will error out later because it can't find the
file or directory.

Replaces #4053

Merge pull request #4050 from DaanDeMeyer/sandbox-preexec

Add details to KernelModulesInitrd= doc

Fix SplitArtifacts=repart-definitions for addons

is_extension_or_portable_image() includes addon images, which should
be skipped in copy_repart_definitions(), so list the formats individually
instead.

Follow up for 1acab18874433b504b080dcf8753826c8b0d5bd9

Add log_step call in build_kernel_modules_initrd

run: Set up sandbox with a preexec function

There's no need to initialize a new python interpreter every single
time we need a sandbox when we can use the one we already have by
setting up the sandbox with a preexec_fn. A preexec_fn executes before
execve(), so we can reuse the same python interpreter we're already
running in instead of having to spawn a new one.

If we're debugging the sandbox or running a setup command, we stick to
the old approach of invoking a separate python interpreter.

Move setup argument to run() instead of sandbox_cmd()

It's a bit up in the air whether this belongs in sandbox_cmd() or
spawn() but let's move it to spawn since it shouldn't be impossible
to have a setup command without having sandbox.

Use proper constants for ansi colors

I was playing around with mypyc again and it did not like class
attributes like the Style ones. While mypyc ended up not working for
other reasons, let's switch to something it is happy with which is just
regular constants named identically to how they're named in systemd. It's
arguably not uglier than the Style namespace class.

mkosi-obs: add SplitArtifacts=repart-definitions and use it

Allows signing portable/sysext/confext images

Copy repart definitions to staging directory

We should always use the staging directory while the image is being
built, at the end everything is moved to the output directory.

Merge pull request #4042 from DaanDeMeyer/vmspawn

Two vmspawn improvements

Add SplitArtifacts=repart-definitions

For use in mkosi-obs

Merge pull request #4036 from bluca/mkosi_obs_fixes

mkosi-obs: prepare EFI authvars only if there is at least an ESP

No point otherwise, a DDI might be a portable image with no ESP

mkosi-obs: 'offset' in sd-repart's json might be empty string rather than null

[   67s] ++ systemd-repart --json=short /work/out/nest-octopus_5.2.raw
[   67s] ++ jq -r '.[] | select(.type == "esp") | .offset'
[   67s] No machine ID set, using randomized partition UUIDs.
[   67s] No changes.
[   67s] + offset=
[   67s] + '[' '' = null ']'

nspawn/vmspawn: Add --bind-user-group=wheel

We want bound users to be able to elevate privileges inside the
container.

vmspawn: Only set --grow-image= if RuntimeSize= is specified

mkosi-obs: always include verity certificate

Ensure it is included in images for verification

Revert "Use Path.relative_to instead of Path.parts"

This reverts commit 5a476a92deca8ad54869e5d416217aa1bb137b25.

action: Use environment variables instead of inputs

Let's simplify and just use environment variables
instead of inputs. While we're at it, use
environment variables for everything since I don't
know which variables are broken in composite
actions and which are not (see linked github
actions bug).

portable: support split roothash

Portable images are DDIs too, support writing a split roothash
as with OS images

Use Path.relative_to instead of Path.parts

Update doc for mkosi ssh to mention sd v256 sshd-vsock

Rewrite note on fw deps of kernel modules in manpage

Add python3-pefile to fedora tools conf

python3-pefile is a dep of `system-ukify` which `mkosi` depends on,
so it gets installed indirectly by `dnf install  $(mkosi dependencies)`
runs. But mkosi depends on it directly, so make it an explicit dependency.

Fix truthy condition

Merge pull request #4018 from DaanDeMeyer/btrfs-ioctl

tree: Use btrfs ioctls instead of btrfs tool

The btrfs ioctls are trivial to use so let's avoid
the overhead of spawning sandboxes and processes
and just use the ioctls directly.

code review