Filter and sort all mounts in sandbox_cmd()

We don't want users of sandbox_cmd() to have to care about mount
ordering. Currently, if mounts with a more general destination are
ordered after mounts with a more specific destination, the earlier
mount is hidden by the later mount. By sorting by destination, we
avoid this issue.

Introduce Mount named tuple to pass mounts to sandbox_cmd()

No change in behavior, but this will allow us to post-process mounts
in sandbox_cmd() in later commits.

Merge pull request #2510 from DaanDeMeyer/microcode

Microcode improvements

Build microcode initrd for ESP and UKI images in save_uki_components()

Otherwise the necessary files might have already been removed from
the rootfs.

Don't remove microcode files in process_kernel_modules()

These are somewhat special so let's not remove them in
process_kernel_modules().

kmod: Simplify

Both m and fw are already absolute paths to within the root.

Merge pull request #2508 from CodethinkLabs/richardmaw/shared-build-machine-fixes

Misc fixes for running mkosi as root on a shared build machines

Restore all of a user's groups when running sync

Shared development hardware often has storage partitioned up by project
groups, with the root of the shared storage owned by root:project.

Since this group isn't the primary group of the user
using setgroups and restoring groups to just the user's primary gid
will mean that it does not have this project group gid
and so won't be able to see the contents of this shared directory.

Using getgrouplist to get all of the groups from the user database
allows these additional groups to be set.

Reorder ExtraSearchPaths mounts before options

When not running in a tools tree the extra search paths are
read-only bind-mounted into the sandbox.

Files are initially created in the workspace tree but then moved
into the output directory after they are complete.

If the directories are on different devices the rename syscall
falls back to a copy then delete.

It is not unusual to have a single build output directory
and you might potentially want your mkosi output directory in there.

If you are adding ExtraSearchPaths to use just-built executables
then this probably points to your `build/` directory.

If search paths are bind-mounted in read-only after the copy command's
sandboxing options, then this generates a command-line with options:
`--bind build/mkosi.output build/mkosi.output ... --bind-ro build build`
which means that the output directory is not writable.

Ordering the sandbox's own mount arguments before the command's options
should ensure the read-only search paths mount doesn't inferfere with
the command's writable bind-mounts.

Merge pull request #2507 from DaanDeMeyer/flock

Be more careful about concurrent access to outputs

Introduce flock_or_die() and use it in various places

Let's avoid weird error cases caused by two instances of mkosi trying
to currently do stuff with the same output by taking a BSD lock when
trying to do something with the output.

Introduce lock_repository_metadata()

Add flags argument to flock()

Release 22

Update NEWS

Set $PROFILE to the current profile

Merge pull request #2487 from behrmann/cisection

ci: print group section lines for GitHub workflow

ci: print group section lines for GitHub workflow

Partially fixes: #2361

arch: install dbus-broker and dbus-broker-units explicitly

dbus and dbus-units have been split in Arch recently. Currently everything
seems to be pulled in CI, let's see whether we can get this down to just
dbus-broker.

ci: Remove btrfs logic

Doesn't seem to noticeably speed things up.

Merge pull request #2499 from DaanDeMeyer/async-rm

ci: Free up disk space asynchronously

ci: Btrfs mount option tuning

Let's choose the lowest compression level so as to not impact CPU
usage too much. Use noatime as it's generally a straight speed boost
and make sure some new btrfs features are enabled (should already
be enabled but never hurts to be sure).

ci: Free up disk space asynchronously

Free-ing up disk space can take up to 8 minutes so let's make sure
we do it asynchronously since we don't need the free space immediately.

Merge pull request #2497 from DaanDeMeyer/btrfs

Use btrfs in CI

ci: Do all work on a btrfs filesystem

Let's make sure we take advantage of our COW and subvolume support
in CI by doing all work in a btrfs filesystem. Additionally enable
compression and user subvolume deletes on the btrfs filesystem to
speed things up even more.

Always create directories as invoking user if not invoked as root

We don't want to leak the subuids into the system, so make sure any
directories created by INVOKING_USER.mkdir() are always created as
the invoking user if we're not invoked as root.

Fix double whitespace

Optimize rmtree() for btrfs subvolumes

Try "btrfs subvolume delete" on subvolumes and fall back to a regular
delete since it will fail for unprivileged users without the
user_subvol_rm_allowed mount option.

Optimize is_subvolume()

Try the condition that doesn't need a subprocess to run first.

Use KVM when running an x86 image on x86_64

ci: Enable KVM

Since https://github.blog/2024-01-17-github-hosted-runners-double-the-power-for-open-source/,
it seems that KVM has started working, so let's make sure we take
advantage of it to speed up CI.

Merge pull request #2492 from DaanDeMeyer/timeout

Extend timeout of systemd-machine-id-commit.service to 90s

Run sync scripts in strict sandbox again

We can't use a relaxed sandbox as we need to be able to mount the
directories containing certificates and keys from the tools tree
(finalize_crypto_mounts()) which will fail with permission errors
in a relaxed sandbox if the required mountpoints do not already
exist in the host filesystem.

So let's switch back to a strict sandbox, except that we now always
run as root in the strict sandbox so the overlay mount for /usr from
the package manager tree won't fail anymore.

Partial revert of 9dd49ad22944bdb90a748d5b35d138ed1ce0ae2a

Extend timeout of systemd-machine-id-commit.service to 90s

Should hopefully reduce the number of CI failures.
See https://github.com/systemd/systemd/pull/31750

Remove mkosi.extra from .gitignore

It's way to complicated to include files in an excluded directory so
let's simply not exclude it.

Fix typing error

We drop the special logic for TERM since we do **env later which
will make sure any value for TERM from env overrides the default
value we pick.

Merge pull request #2478 from DaanDeMeyer/shim

Boot improvements

Rework QemuFirmware=

- Use the qemu official firmware descriptions to look up OVMF
  firmware instead of having our own homegrown logic.
- Add QemuFirmware=uefi-secure-boot to explicitly look for firmware
  with secure boot support
- Add QemuFirmwareVariables=microsoft to use OVMF variables with
  Microsoft keys enrolled
- Add QemuFirmwareVariables=custom to enroll the certificate from
  SecureBootCertificate= into the OVMF variables

This commit also contains the changes from a second commit that
was accidentally rebased into this one:

Only use already signed binaries when ShimBootloader=signed

When we're using signed shim, we need to make sure we use already
signed bootloaders, kernel images and UKIs. Anything we sign ourselves
will cause security violations in shim.

Don't log sandbox for every command

This is excessively verbose. Let's instead log only the command
we're executing but still log the full sandbox if a command fails.

Pass custom environment to other verbs as well

Let's use both the host environment and the custom env variables,
and let the custom env variables override the host ones.

Check for TERM=unknown and set TERM=dumb if not on tty

in CI, TERM is set to "unknown" so let's check for that and translate
it to "dumb" if we're not on a tty which systemd checks for when it
decides whether to enable logging or not. Also set TERM itself on
the kernel command line which is another thing parsed by systemd to check
whether to log colors or not. Finally, make sure we set "TERM" correctly
in our own environment that is passed to scripts

Use sandbox for cp --version

So that we detect the correct version.

Simplify chroot_cmd()

Reduce number of mounts in rmtree()

Make sure we mount each parent directory only once.

Drop --verbose from grub tools if --debug is specified

This makes grub tools incredibly noisy so let's drop it given
this has been working smoothly for a while now.

Stop setting SYSTEMD_LOG_LEVEL=debug when --debug is specified

This is generally too noisy (tmpfiles, sysusers and presets especially).
Let's not imply it when using --debug.

Disable SELinux relabeling by default for default image

Sometimes selinux-policy gets pulled in as a dependency, causing
SELinux relabels even though we don't care about SELinux at all in
the general case, so let's by default not relabel anything.

Streamline test logging

Let's get rid of the status messages in favor of logging the journal
itself to the console. Let's also make sure we get info messages on
the console from the journal. Finally, make the kernel log at INFO
level instead of the default WARNING.

Skip UKI/ESP/CPIO format boot for all distributions

We need to write a separate test with a minimal image for these as
these images have to fit into memory.

Catch ENODEV as well when checking if a device is available

This triggers on kernel updates on Arch without rebooting first so
let's make sure we handle it as well.

Use --close with flock and drop --no-fork

Let's make sure only flock holds the lock and it's not inherited by
the child process it spawns. This fixes an SELinux denial on some
systems.

Don't remount /usr read-only if the output dir is inside of it

Because some build systems use output directories in /usr, let's only remount
/usr read-only if the output directory is not relative to it.

Fix --local-mirror mounting

This can be specified as a URI, let's make sure we handle that
properly.

Only mount /etc/resolv.conf if it actually exists

Handle symlink explicitly in finalize_staging()

move_tree() doesn't handle symlinks so add some special casing for
the symlink we create in the staging directory.

Fixes #2479

Merge pull request #2477 from DaanDeMeyer/fix

Run sync scripts in relaxed sandbox without package manager trees

Run sync scripts in relaxed sandbox without package manager trees

Sync scripts run as the invoking user in the sandbox, which means
that they're not able to mount an overlayfs over /usr in the sandbox
to overlay extra files from package manager trees.

To circumvent the issue, let's run sync scripts in a relaxed sandbox
without package manager trees, which shouldn't be crucial to have
when running sync scripts.

Always run as root in Context sandbox

If there's files in /usr in the package manager tree, we need to
be running as root to mount an overlayfs on top of /usr so make
sure we are always root in the Context sandbox.

Merge pull request #2476 from DaanDeMeyer/grub

Add grub for EFI support

Add grub for EFI support

We also rework the grub setup to not copy the grub modules into the
ESP anymore. We do this as grub for EFI booted in secure boot mode
does not load any unsigned modules for security reasons so we opt
to include all necessary modules into the grub image itself.

Make sign_efi_binary work on same input/output

Merge pull request #2475 from DaanDeMeyer/uki

Add UnifiedKernelImages=

Add UnifiedKernelImages=

Allows configuring whether we use UKIs or BLS Type 1 entries with
systemd-boot and grub on UEFI.

The BLS Type 1 logic we already had for grub on BIOS is made generic
and reused to implement this feature.

Partially fixes #2472.

Return output path from sign_efi_binary()

Rename various initrd files

Let's use consistent naming with ".initrd" as the extension for
initrds we create.

Set $SYSTEMD_ESP_PATH and $SYSTEMD_XBOOTLDR_PATH when invoking kernel-install

Just like bootctl, kernel-install looks at these environment variables
so let's make sure to set them for kernel-install as well.

Set $SYSTEMD_XBOOTLDR_PATH when invoking bootctl install

This makes sure various directories are created in /boot instead
of /efi.

Add support for io.systemd.boot.kernel-cmdline-extra

See https://github.com/systemd/systemd/pull/31706

Make config available as a json file

Allows to access cli arguments and profile settings without reparsing the
config in scripts

Document default KernelCommandLine

Fix cleaning of package cache directory

Merge pull request #2470 from DaanDeMeyer/initrd

Make sure the default initrd cache is properly cleaned up by mkosi clean

Make sure the default initrd cache is properly cleaned up by mkosi clean

Instead of doing the cleanup in build_default_initrd(), let's split off
finalize_default_initrd() so that we can clean up the cache in run_clean()
instead.

Use lint.select in pyproject.toml

Fixes the following warning:

"""
warning: The top-level linter settings are deprecated in favour of their counterparts in the `lint` section. Please update the following options in `pyproject.toml`:
  - 'select' -> 'lint.select'
"""

Merge pull request #2469 from DaanDeMeyer/logging

Two fixes

Don't fix package manager metadata ownership after syncing metadata

Syncing metadata is now done as the invoking user, so there's no need
to fix ownership after syncing.

Only log once about syncing package manager metadata

Release 21

Copy existing crypto policies from the host into package manager tree

apt on Fedora uses gnutls which requires
/etc/crypto-policies/back-ends/gnutls.config to work properly. Let's
copy the default crypto policies from the tools tree into the package
manager tree to make sure things keep working.

Merge pull request #2465 from DaanDeMeyer/kmod

Speed up kernel modules initrd generation if no excludes were specified

Check for bootctl before checking its version

Fixes #2466

Speed up kernel modules initrd generation if no excludes were specified

If no excludes were specified, we can just glob all modules and firmware
without going via modinfo. We can only do this if no firmware was installed
as otherwise we end up copying firmware into the initrd that's not depended
on by any kernel modules.

Use rglob() in one more place

Fix kernel_modules_include_host in summary

clarify use of secure boot key for PCR signature

Make mkosi-check-and-shutdown log to console as well

Helps debugging CI failures

Merge pull request #2463 from DaanDeMeyer/news

Update NEWS

Don't explicitly run sync scripts as invoking user anymore

We now change user to the invoking user when running sync scripts so
there's no need to explicitly run sync scripts as the invoking user
anymore.

Update NEWS

Add systemd tooling version checks for OpenSSL engine settings

Merge pull request #2451 from keszybz/string-strip-prefix-helper

Add string strip prefix helper

Merge pull request #2460 from DaanDeMeyer/clean

Package manager metadata cleaning fixes

Add little helper that combines str.startswith and str.removeprefix

This way we don't need to repeat the prefix string.

Inline always variable

Prefer to not clean package manager metadata when building directory or tar image

These output formats are often intended to be used as base trees on
which to build extension images so let's not remove package manager
metadata from these unless explicitly requested by the user.

Always copy repository metadata to workspace directory

Even if the repository metadata is not removed in
clean_package_manager_metadata(), it might still be removed by
RemoveFiles= or in a finalize script later on, so let's be safe
rather than sorry and always copy the package manager metadata if
it's located inside the image root directory.

Do not clean package manager metadata when building an overlay

In this case the package manager metadata comes from the base tree
and we should not try to remove it in the overlayfs.

Merge pull request #2444 from DaanDeMeyer/sync

Change user to invoking user for syncing

Merge pull request #2459 from DaanDeMeyer/kmod

Only remove kernel modules when not generating a cached image

Make sure unpacked resources can be accessed by the invoking user

Sometimes we run commands as the invoking user and these commands
should be able to access the resources. If the resources are unpacked
to a temporary directory, this directory will have mode 0700 so we
need to relax the permissions to make sure it can be accessed by the
invoking user.