Install ca-certificates in tools tree and make sure it's used

Too old ca-certificates on the host can cause package manager failures
when using a tools tree, so let's install ca-certificates into the
tools tree and make sure it is used.

Pass environment to initrd and tools tree builds

The environment might contain http_proxy and https_proxy which
need to be passed on to child builds to make things work correctly.

Remove package manager generated hwdb from /etc

We generate the hwdb in /usr, so remove any existing one that is
leftover in /etc.

Ignore ConnectionResetError in vsock notify handler

Let's handle this one gracefully but still debug log about it when
it happens.

ci: use https for OpenSUSE again

The CI is now running a version of libzypp that should improve the https
situation, let's test it for a while

Follow up for 5462f5e31c4223a001c2ed5aa8d44177fb8454fc

The value can't be None anymore so remove redundant check.

Merge pull request #1869 from DaanDeMeyer/reset

Make the empty string reset settings to their default value

Make the empty string reset settings to their default value

If the empty string is assigned, we should make sure the setting
is assigned its default value so let's make sure we return None in
that case after all

We also simplify the match callbacks to not take optional values
anymore. If the value is set to None, then we automatically fail
the match.

Use array destructuring more

Update NEWS

Do not run modinfo on builtin modules

This causes issues on CentOS Stream 8 with errors about not being
able to find builtin modules.

Aside from the issues, running modinfo on builtin modules also does
not make a lot of sense. We run modinfo to fetch module and firmware
dependencies, but a builtin module that has non-builtin module
dependencies is not really valuable because the dependent module has
to be loaded from disk then. The same goes for firmware dependencies.

Check for None explicitly more when parsing config

Empty values are now possible, so let's explicitly check for None
when determining if we should return the default value.

Use yes_no() in one more place

Merge pull request #1858 from DaanDeMeyer/tools

Allow using a default tools tree

Add missing Preset section to parse_ini() call

Allow using a default tools tree

Instead of requiring users to always set up a tools tree preset, let's
allow specifying "default" as the tools tree to have mkosi build a default
tools tree itself. This default tools tree includes all the software that
might be necessary to build an image (excluding software that might be
required by various user scripts).

For distributions that do not have a rolling release variant, we use the
closest matching distribution. e.g. for CentOS, we use Fedora and for
Ubuntu we use Debian.

Drop absolute= argument from parse_path

resolve does more or less the same thing already, so let's drop
absolute=

Drop unnecessary long= for ToolsTree=

Use logging more

Only pass extra tools to ukify when not using tools tree

If we're using a tools tree, we don't want to use any binaries
specifed in extra search paths as they will very likely be incompatible
with the tools tree being used.

run openssl with empty configuration file

We generally don't want host configuration to influence the image build,
so let's make sure we override whatever distro shipped configuration file
with an empty one to avoid the host system interfering with the image build.

Stop installing makepkg in github action

Stop passing tools tree to default initrd build

It's already mounted if needed so no need to pass it to the initrd
build.

Use array destructuring more

Make fedora 39 the default fedora release

Fedora 39 will release soon so let's go ahead and make it the new
default release.

Move default release logic to per distribution installer class

Temporarily disable keyring checking for Arch

Until the archlinux-keyring package is updated, let's disable
keyring checking for Arch.

CI: pin CentOS 9 kernel to workaround panic on shutdown

Newer kernels are affected by a regression that causes a kernel panic
on shutdown, so pin them for now. Can be reverted once that problem is
fixed.

https://bugzilla.redhat.com/show_bug.cgi?id=2234390

ci: enable jammy-proposed-updates to test new libzypp

I got some patches backported to jammy to try and fix https issues,
enable proposed-updates so that it can be tested before moving to
the release stage

Merge pull request #1855 from DaanDeMeyer/qemu-firmware

QemuFirmware= and QemuKernel=

Don't run depmod unless needed

For distro kernels, depmod is already executed by the package
manager, so let's make sure we don't rerun it unless needed.

To make this work, we have to run depmod and modinfo from inside the
image, as running modinfo from the host on files generated by depmod
from the image can lead to all sorts of compatibility issues so we opt
to run both depmod and modinfo from inside the image.

Add QemuKernel= option

This allows specifying the kernel to use for direct kernel boot
via an explicit option instead of having to rely on the QemuArgs=
option.

Prefer kernel specified via -kernel over kernel installed in the image

Generalize QemuBios to QemuFirmware

We also add a third option "none", in which case we'll use direct
kernel boot.

Merge pull request #1854 from DaanDeMeyer/empty-list

Replace ! operator for lists with empty string assignment

Move test_parse_load_args.py tests into test_config.py

Get rid of textwrap in test_parse_load_args.py

parse_config() already dedents internally so no need to do it in
the tests.

Use tmp_path in test_parse_load_args.py

Add config parsing test

Drop asyncio_mode from pyproject.toml

pytest complains this option is unknown so let's drop it.

Make argv default to an empty tuple in parse_config()

Makes it easier to use parse_config() from tests.

Use tmp_path fixture in test_parse_ini()

Replace MkosiConfigParser with parse_config()

The only reason that MkosiConfigParser is a class is to store the
lookup hashmaps required for configuration parsing. Yet we can
easily do that as well by just declaring the functions that need
those inline in a function. So let's simplify the configuration
parsing interface by replacing MkosiConfigParser with a function
parse_config().

Revert "config: Test last assignment wins with defaults"

This reverts commit 2fe014bc643dcc1442d0b057e20451f46345be9d.

Get rid of cd_temp_dir()

Let's opt to just use the chdir() helper we have already instead.

Replace `!` operator for lists with empty string assignment

Let's behave more like systemd and replace the `!` operator for
removing values from lists with assigning the empty string to remove
all values instead.

SourceDateEpoch followups

- Move normalize_mtime() a little close to where its used
- Put the --source-date-epoch argument on one line like the others

Merge pull request #1845 from DaanDeMeyer/ini

Rework ini file parsing

Rework ini file parsing

Python's configparser module is rather inadequate for our purposes.
Specifically, it's built around every setting only being specified once
in a config file and even though we got it to kind of parse more than
one of the same setting with our own custom dict type, there's a lot of
limitations involved. Specifically, assigning the empty value is
impossible with the current approach. To avoid all these issues, let's
introduce our own ini parser.

This also splits off the matching logic into a new method match_config()
and moves setting the debugging level just after we've parsed CLI options
so we get debug messages from the parser as well.

Read paths after parsing configuration files

Let's first take into account the main configuration file before parsing
any configured paths. This allow the main configuration files to reset
any configured settings without resetting its own defaults configured via
paths.

Ignore ssh configuration files when running ssh

When in a user namespace, the ssh config files from /etc/ will be
owned by nobody which makes ssh fail. Let's ignore these configuration
files when running ssh to avoid such failures.

Fixes #1848

Use shlex.join in more places

normalize mtime

If set, the time stamp from SOURCE_DATE_EPOCH is used to normalize
mtime of files. We also need to pass the environment trough when
mkosi is invoking itself.

Co-authored-by: Malte Poll <mp@edgeless.systems>

Don't fail if tput commands fail

Let's consider these best effort, no need to fail mkosi if we can't
fix the terminal.

Fixes #1846

config: Test last assignment wins with defaults

Merge pull request #1844 from bcbnz/overlay-options

Disable index and metacopy options of overlayfs

Move mount options into original declaration.

Disable index and metacopy options of overlayfs.

If these are enabled (e.g., if the kernel enables them by default), the
mount will fail if the upper directory has been earlier used with a
different lower directory, such as with a build overlay that was
generated on top of a different temporary root.

Closes #1841.

Fix passwd check

Fixes #1842

Merge pull request #1836 from DaanDeMeyer/defaults

Support configuring default values for settings

add config setting seed to set systemd-repart --seed

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Introduce config_default_compression() default factory

Move all environment handling into load_environment()

Support configuring default values for settings

This allows configuring the default value for a setting. This is
useful to set a custom default value for a setting while still
allowing an explicit value from the CLI to take precedence.

To make this work properly in combination with default_factory, we
also introduce a new default_factory_depends field that lists all
the other settings that a setting's default_factory implementation
depends on. Then, when we finalize a setting's default value, we also
finalize the default value of settings it depends on so that its
default_factory function can do the right thing.

We also integrate the "paths" field from MkosiConfigSetting in this.
By default, paths will modify the defaults namespace instead of the
regular namespace, meaning their values will only be used if the
setting is not explicitly configured. The only exception to this are
mkosi.extra/, mkosi.skeleton/ and mkosi.repart/, whose values are just
merged with any explicitly specified directories.

doc: make formatting more uniform

- Quotes are exchanged in favour of emphasis markers. Emphasis for terms,
  strong emphasis section names.
- Section names formatted as truetype/monospace are exchanged from strong
  emphasis.
- Section names are written consistently.
- Literals for settings, setting snippets and paths are formatted as
  monospace.
- Paragraphs that are formmated incorrectly in the markdown extensions for
  definition lists (using :) are moved such, that generate a single visual
  block in the pandoc generated man page.
- Superfluous quotes are removed.
- A numbered list is used for the execution flow to make it easier to follow
  and to visually seperate it from the list of mounted directories.
- URLs are formatted as links with adjacent text, since this formats them
  less bare in the generated man page.
- The remaning http URL is moved to https

propagate SOURCE_DATE_EPOCH when calling systemd-repart

Fix globbing

Drop list reset on empty value

This does not work properly with python's configparser, which will
insert empty lines when doing something like the following:

```
Packages=
       abc
```

Instead, we restore the "!" operator for lists to remove values from
the list as it did originally instead of preventing values from being
added.

Mention backward compat break regarding overrides in man page

Merge pull request #1830 from DaanDeMeyer/config

Drop "first assignment wins" logic

Drop "first assignment wins" logic

From experience in the systemd repository's usage of presets, we've
learned that we want to have fixed values for certain settings for
presets that cannot be overridden by either the CLI options or by
global config. Good examples are that the Format= of a base image
should always be "directory" and the Format= of an initrd image
should always be "cpio" or that Bootable= should always be "no" for
both the base image and the initrd image and their list of packages
should not be affected by any packages specified on the CLI.

The issue is that with "first assignment wins" logic, we need to add
an explicit "override" mechanism which almost all settings in these
presets would then use to make sure they can't be changed by CLI
options. This seems rather backwards, and is a good indication that
any settings configured in config should not be overridden by settings
set on the CLI.

Even disregarding usage of presets, any existing mkosi config will almost
certainly not be written to expect arbitrary changes in the config due
to options set on the CLI.

Also, it's currently not entirely trivial to set default values for
presets from the global config, because any values set in the global
config cannot be overridden anymore by presets. By not doing "first
assignment wins" logic, this becomes trivial as the global config can
simply set a default value and it can be overridden by presets.

Of course by removing "first assignment wins" logic, we do introduce
the issue again that "first assignment wins" solves in the first place,
which is that it becomes possible to assign a value to a setting, match
on that value and then change the setting later. We acknowledge this by
documenting it in the manual. Also, in some cases, this is exactly what
you want. For example, if you want to use a Fedora rawhide tools tree to
build CentOS 8 images, you have to first match on distribution == centos
and then set Distribution=fedora afterwards for the tools tree preset, so
this actually makes perfect sense in some cases.

While this is technically a compat break, it will only be noticed by users
doing advanced stuff with mkosi, which AFAIK does not exist yet outside of
the systemd repo. In fact even the systemd repo was not broken by this change,
so we should be OK with making it, given the large benefits we get out of it.

This commit also simplifies the interfaces of the parser and matching callbacks
to not take the namespace as an argument anymore, but to simply take the existing
value as an argument instead.

Use logging instead of print()

Reword output docs a bit

Merge pull request #1827 from DaanDeMeyer/manifest

Manifest fixes

Do not generate manifest if it is not enabled

Do not generate manifest by default

Generally users are not going to be interested in the manifest so
let's not generate it by default to avoid cluttering the output
directory.

doc: Suggest using a reflink supported FS

Merge pull request #1822 from DaanDeMeyer/fix-archive

Archive fixes

Make's bwrap() read-only logic optional

We only really need this when running scripts, so let's make it
configurable and only enable it when running scripts.

Use default_factory to evaluate Path.cwd() later

Otherwise, we don't take --directory into account as Path.cwd() is
evaluated on module import.

Document our default systemd-repart definition files

Make sure we remove /var/lib/dbus/machine-id from the image

Fixes #1818

mkosi: adjust messages about missing cert+key

Rename mount_image() to mount_base_trees()

Also don't log about mounting the base trees if we're not actually
going to mount them.

Merge pull request #1814 from DaanDeMeyer/uki-name

Drop "mkosi" from UKI names

Drop outdated comment

Drop "mkosi" from UKI names

Let's not leak that the image was generated by mkosi into the image
via the UKI name.

Fix bootloader path

Make sure unit and preset directories exist in configure_ssh()

Fixes #1811

Merge pull request #1797 from DaanDeMeyer/grub

Add back BIOS support using grub

Add mention of BuildSources= change to NEWS.

Add grub EFI support

Note that we only generate the necessary menu entries for the grub
configuration to chainload into our generated UKIs, we do not yet
install grub for EFI ourselves as this is a distribution specific
mess that we still need to figure out. On Fedora, because the
shim and grub2-efi packages install directly to /boot which we
redirect to /efi, this is sufficient to boot with grub on EFI by
simply installing the shim and grub2-efi packages.

For other distributions, a post install or finalize script will be
necessary that installs grub (and optionally shim) to the correct
locations in the ESP.

Add back BIOS support using grub

Let's add back support for booting on BIOS using grub. This comes
with the following limitations:

- grub does not support UKIs on BIOS, so we set up the individual
components instead
- grub cannot search partitions by PARTUUID, so we're forced to have
it find the ESP by partition number instead.

We opt to generate grub.cfg ourselves instead of relying on grub-mkconfig.
grub-mkconfig is basically like kernel-install but for grub configuration,
it has a ton of distro specific cruft that we want to ignore, so we simply
don't use it and generate the grub configuration ourselves.

To allow for unprivileged installation of grub, we can't use grub-install
as it insists on opening the root device and probing its filesystem, which
isn't possible unprivileged. Instead, we run grub-mkimage and grub-bios-setup
ourselves, and manually copy the required files to the ESP.

We use the ESP to store the kernels, initrds and grub config. In the event
that grub adds support for UKIs on BIOS in the future, we can simply modify
the generated grub configuration to use our generated UKIs instead.

Add QemuBios= option

Make ESP logic bootloader independent

Let's simply check if a bootloader was placed in the right location
instead of having systemd-boot specific checks.

Add none Bootloader option

This disables adding any EFI bootloader altogether. Preparation
for adding BIOS support.

Run tput smam to make sure line wrapping is reenabled

When running seabios, it disables line wrapping for some weird
reason, so let's make sure we reenable it before we exit.

Drop XFS workaround

Heuristic was changed upstream so should work OOTB now.

Make /boot/efi a symlink to /efi

Let's make sure all EFI stuff is installed to /efi by making
/boot/efi a symlink to /efi.

ci: Install tzdata on Debian/Ubuntu

To make sure a timezone is set up so systemd-firstboot doesn't
prompt for it on boot.