Add grub EFI support

Note that we only generate the necessary menu entries for the grub
configuration to chainload into our generated UKIs, we do not yet
install grub for EFI ourselves as this is a distribution specific
mess that we still need to figure out. On Fedora, because the
shim and grub2-efi packages install directly to /boot which we
redirect to /efi, this is sufficient to boot with grub on EFI by
simply installing the shim and grub2-efi packages.

For other distributions, a post install or finalize script will be
necessary that installs grub (and optionally shim) to the correct
locations in the ESP.

Add back BIOS support using grub

Let's add back support for booting on BIOS using grub. This comes
with the following limitations:

- grub does not support UKIs on BIOS, so we set up the individual
components instead
- grub cannot search partitions by PARTUUID, so we're forced to have
it find the ESP by partition number instead.

We opt to generate grub.cfg ourselves instead of relying on grub-mkconfig.
grub-mkconfig is basically like kernel-install but for grub configuration,
it has a ton of distro specific cruft that we want to ignore, so we simply
don't use it and generate the grub configuration ourselves.

To allow for unprivileged installation of grub, we can't use grub-install
as it insists on opening the root device and probing its filesystem, which
isn't possible unprivileged. Instead, we run grub-mkimage and grub-bios-setup
ourselves, and manually copy the required files to the ESP.

We use the ESP to store the kernels, initrds and grub config. In the event
that grub adds support for UKIs on BIOS in the future, we can simply modify
the generated grub configuration to use our generated UKIs instead.

Add QemuBios= option

Make ESP logic bootloader independent

Let's simply check if a bootloader was placed in the right location
instead of having systemd-boot specific checks.

Add none Bootloader option

This disables adding any EFI bootloader altogether. Preparation
for adding BIOS support.

Run tput smam to make sure line wrapping is reenabled

When running seabios, it disables line wrapping for some weird
reason, so let's make sure we reenable it before we exit.

Drop XFS workaround

Heuristic was changed upstream so should work OOTB now.

Make /boot/efi a symlink to /efi

Let's make sure all EFI stuff is installed to /efi by making
/boot/efi a symlink to /efi.

ci: Install tzdata on Debian/Ubuntu

To make sure a timezone is set up so systemd-firstboot doesn't
prompt for it on boot.

Unset TMPDIR in apivfs_cmd()

dnf seems to have issues with this as well so let's unset TMPDIR
whenever we set up APIVFS as that's a good indication something is
going to chroot and we should unset TMPDIR.

ci: Install base group for Arch

Packages have implicit dependencies on base so let's install it.

Reset terminal cursor if tput is available

When interrupting dnf5 or other programs, they sometimes mess up
the terminal cursor. So let's make sure we reset the cursor state
when we exit mkosi if tput is available.

Merge pull request #1804 from DaanDeMeyer/boot

systemd-boot improvements

Set --no-variables when we invoke bootctl

We already don't install variables because we're operating on a
root directory, but if we set --no-variables we don't get warnings
from bootctl about it.

Rename install_bootloader() to install_systemd_boot()

Add Bootloader option

For some use cases, we don't want systemd-boot but to boot directly
from a UKI, so let's support that by bringing back the --bootloader
option.

repart: Set sector size using SectorSize=

Use paths and path_read_text to process mkosi.version file

Reword systemd version requirement a bit

We should use wording that still makes sense when reading documentation
from the distro packaged version of mkosi as well. Let's also mention
that the systemd requirement is only for bootable disk images.

Make sure we pass through TMPDIR to run()

Run with --offline=no when Subvolumes= is used in repart definition files

skip passwd bind mounts if the path does not exist on the host

Merge pull request #1790 from DaanDeMeyer/grub

Various cleanups

Document QemuCdrom=

Fix typo

Make sure we Clean up cd-rom image after qemu exits

Fix gray ansi color definition

We weren't actually getting gray output with the previous definition.
Let's steal the one from systemd to make it work.

Import full modules instead of individual members

Let's lean more towards importing full modules except for a few
exceptions like typing and Path from pathlib.

Rework make_image_output()

Instead of returning a tuple containing all the bits we're interested
in, let's just return a typed version of the repart json output and
calculate what we need based on that in install_unified_kernel(). We
also move the split paths logic into make_image().

Introduce build_initrd() and build_kernel_modules_initrd()

Remove git blame section from README

The paragraph introduced in #585 became stale after #1777 was merged.

update man page link

Log systemd-repart json output at debug level

Use copy.deepcopy() to copy os.environ

Otherwise any changes we make to os.environ propagate into our
shallow copy.

Add QemuCdrom= option

This attaches the image as a CD-ROM instead of a hard drive to the
virtual machine.

set Dir::Etc option on apt based distros

Pass through stdin when we call systemd-repart with --image=

When mounting an image, systemd's dissect logic might prompt for
verity/encryption passphrases. Let's make sure the user can enter
those if needed.

Make sure we use python-pefile from the tools tree

Make sure we load pefile early

Otherwise we'll run into trouble later if we're using a tools tree.

Release 15.1

Update NEWS

Merge pull request #1781 from keszybz/man-page-prep

Add script to prepare man pages, retitle release commits

Retitle release commits to "Release vNN"

I think this is just nicer and stands out more in the git log.

Add helper to build the man page

Don't use capsh to figure out capabilities

Merge pull request #1779 from DaanDeMeyer/tmpfs

Make sure the private tmpfs in bwrap() doesn't hide workspace

Only unshare network namespace if we have CAP_NET_ADMIN

Make sure the private tmpfs in bwrap() doesn't hide workspace

The workspace might be in /tmp so we need to make sure we mount it
first before we mount the workspace so that the workspace is on top
of the private tmpfs.

Merge pull request #1778 from DaanDeMeyer/all-packages

List all subpackages in pyproject.toml

Remove unused package-data globs

Also add mkosi.1 to package-data

Add mkosi.md to package-data

Don't try to tun timedatectl or ssh-add if not available

List all subpackages in pyproject.toml

Bump version numbers for v15

Remove .git-blame-ignore-revs file

This has outlived its usefulness, there's no need to ignore the black
commit anymore when doing a git blame due to its age.

Update do-a-release.sh script

Reorder fields of MkosiConfig to match summary() and MkosiConfigSettings

Merge pull request #1679 from behrmann/helpverb

Make docs available via the help verb.

add --doc-format option for choosing the output of the documentation verb

add NEWS entry for documentation verb.

add symlink to docs in resources

action: Don't install pandoc

make mkosi docs from resources available via the documentation verb

This allows, especially when running different versions of mkosi, to always
have the right documentation on hand no matter how that version of mkosi was
installed.

move mkosi.md to mkosi/resources

Replace dd with pefile's get_data() method

ci: Add job to check that we can still generate the man page

Introduce preset dependencies

Instead of building presets in alphanumerical order, let's introduce
a proper concept of dependencies. Dependencies are configured with
the new "Dependencies=" option in the new "[Preset]" section. All
presets configured with "Dependencies=" are built before the current
preset.

We drop the alphanumerical preset in favor of explicit dependencies.

Set agetty autologin credentials by default

Eventually we'll replace --autologin with these but for now let's
set both.

Make sure we output signed kernel instead of unsigned kernel

Fixes #1589

Prefer gcpio over cpio

Fixes #1201

Set GPGTTY when calling gpg

Fixes #351

Don't reverse list option values found in the same option

Items from earlier settings should take precedence over items from
later settings, but that doesn't mean we should reverse items found
in the same setting.

Fixes #1707

Touch /usr/lib/clock-epoch during the build

We'll handle the reproducible builds part of this together with all
the other changes for reproducible builds.

Fixes #1218

Run finalize script after selinux relabel

Let's make the finalize script true to its name and run it as the
final operation before we start packaging things up.

Merge pull request #1763 from DaanDeMeyer/udev

Install udev instead of systemd-udev

Make sure we install udev in the initrd

Follow up for 7bb87d7d011162f503b842b02bbe9e157cb6f116

Install extra packages for centos/alma/rocky to fix CI failure

This increases the size of the generated image a bit which makes
sure repart calculates a minimal partition size for the XFS
filesystem so that populating the partition doesn't run out of space.

Install udev instead of systemd-udev

Installing systemd-udev means running into
https://bugzilla.redhat.com/show_bug.cgi?id=2183279 so let's install
udev which avoids that issue.

Mark gentoo as experimental and unsupported

Gentoo issues won't be actively looked at by the core maintainers and
there's no guarantee that gentoo PRs will get reviewed or not (or they
might just be merged without review). Gentoo specific hacks outside of
gentoo.py will generally not be accepted.

- We also drop all gentoo specific modifications outside of gentoo.py
- We also stop running CI for gentoo

Conditions for dropping the experimental status of gentoo:

- No more stage 3 tarball required to build a gentoo image. Either we only
do binary packages or gentoo images can be built from directly from an immutable
host system or tools tree with portage and compiler tools installed
- Proper division of systemd components into subpackages so that we can build
a gentoo initrd with systemd installed but without pulling in ukify and python
- An official and up-to-date binary package repository that allows gentoo CI
to complete in a similar amount of time as the other distributions

Merge pull request #1754 from DaanDeMeyer/preset-docs

Document presets

Remove setup.py and use setuptools build backend in pyproject.toml

Also remove setup.cfg, since we don't use flake8 and everything else can be
handled by pyproject.toml

Fix BuildSources= and BuildDirectory= docs

Document presets

Also skip files in mkosi.presets that do not have the .conf suffix.

gentoo: swith to llvm (clang)

This will pave the way for actual arch support and cross-compiling

Signed-off-by: Paymon MARANDI <darwinskernel@gmail.com>

Merge pull request #1753 from DaanDeMeyer/resolv

Make sure options are always applied last in bwrap() and chroot_cmd()

Add ip=enp0s2:any to default kernel cmdline extra

When booting with --qemu-gui, the network interface is named
differently so let's account for that and configure networkd to
manage that interface as well.

Make sure options are always applied last in bwrap() and chroot_cmd()

That way, if the options remount anything read-only, we can be sure
it doesn't affect any of the operations set up in bwrap() and chroot_cmd()
themselves.

Move network argument from chroot_cmd() to bwrap()

If we're not supposed to use the network, that should apply to the
script running on the host as well, so move the network argument
from chroot_cmd() to bwrap().

We just always mount resolv.conf into the image now. If the network
namespace is unshared, there's not much that can be done with the
info in there anyway.

Merge finalize_source_mounts() and finalize_writable_mounts()

We need to sort both lists so let's merge the two functions to make
that easier. Let's also make sure we remove any duplicates while we're
at it.

Merge pull request #1750 from DaanDeMeyer/kvm-log

Add logging to qemu_check_kvm_support()

Remove outdated comment

Don't drop privileges when running qemu and invoked as root

Depending on the environment and what options are used, running qemu
might require root privileges. So if we're invoked as root and we're
going to run qemu, let's not drop privileges.

Add logging to qemu_check_kvm_support()

qemu: do not enable kvm when booting on non-native arch

kvm is only supported on the native architecture, so skip it
when booting a non-native one (eg: aarch64 on x86_64)

Merge pull request #1747 from DaanDeMeyer/check-inputs

Rework check_inputs()

Default workspace directory to the current working directory

This was already the implicit assumption, let's make it explicit.

Make sure we create an empty output file when using no output

Allocate workspace outside of MkosiState

This way MkosiState doesn't need to be a context manager and we can
just use the workspace as a context manager directly.

Don't resolve paths in two cases

- Target paths should not be resolved
- When checking paths for the paths logic, let's not resolve either
  and leave that to the parser implementation itself