Make sure we yield an empty section marker at the end of parse_ini()

Fixes #2545

Get rid of "help" test

It starts a pager while running the tests interactively, let's just
remove it as it isn't terribly useful.

Merge pull request #2543 from DaanDeMeyer/proxy

Add proxy settings + various fixes

Only set extra_groups for mkdir() if we were invoked as root

The extra groups of the user are not mapped into the user namespace
we create and as such can't be set when invoking a subprocess if
we weren't invoked as root.

Add checks for sbsiglist and sbvarsign when doing SB auto enrollment

Explicitly set mode of workspace to 700

If the sticky bit is set on the parent directory of the workspace,
it's inherited by the workspace directory and then inherited by the
image root directory and infects the entire image. Let's make sure
it is not set on the workspace directory to avoid leaking host specific
details into the image.

Add proxy settings

These allow using mkosi behind a proxy that requires proxy authentication.
Only dnf seems to allow specifying these certificates as individual settings
so other package managers are not fully supported for now.

We mount the proxy certificates and keys to /proxy.xxx in the sandbox because
otherwise they might end up being mounted at the same location as the certificates
from the tools tree, which means those wouldn't be used.

Mount pkgmngr/etc as a whole instead of individual files in it.

We stopped doing this because bubblewrap would create the /etc/mtab
in the package manager tree /etc and leave it there after exiting,
which would cause bubblewrap to fail the next time we executed it as
the symlink already existed.

To avoid reintroducing this issue, we only have bubblewrap create the
symlink if nothing's going to be mounted to /etc and create the symlink
ourselves in the pkgmngr/etc.

These changes also make sure that the mounts from finalize_passwd_mounts()
take precedence over the passwd and group files from pkgmngr/etc.

Only set some environment variables when invoking package managers

We really only want to set KERNEL_INSTALL_BYPASS and
SYSTEMD_HWDB_UPDATE_BYPASS when we're invoking package managers so
let's make sure those are only set when invoking package managers.

Let's also allow users to override both all of these and let's not
set them when Bootable=no so distros can do whatever they want if
mkosi's bootable image logic is not being used.

Set $HOME to the user's home directory in sync scripts

Makes sure git can find the user's git configuration.

Merge pull request #2534 from CodethinkLabs/richardmaw/non-home-dir-workdirs

Further support for working with sudo and non-home directories

Relax mkdir/rchown subpath of home check to owns a parent dir

"the user owns a parent directory" is a lot less strict than
being under the home directory, but allows using shared directories
that are not mounted under home, and at least requires some explicit config
to create the directory before it can be used
rather than just being any directory the user is able to create.

Set extra groups in INVOKING_USER.mkdir

If a parent directory of the path to create isn't traversable
then mkdir will fail to create the directory even if the immediate parent
exists and has the correct permissions.

This can happen in shared development hardware where storage is allocated
using a directory with a common unix group e.g.

$ ls -ld /data
drwxrws--- 4 root devgroup 4096 Mar 12 17:11 /data

Move extra groups list calculation into INVOKING_USER

Bump github/codeql-action from 3.24.7 to 3.24.8

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.7 to 3.24.8.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/3ab4101902695724f9365a384f86c1074d94e18c...05963f47d870e2cb19a537396c1f668a348c7d8f)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.1.0 to 5.1.1.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/b9df2a9417f69c056e0aeaf870abd9a2065a403e...c15070885a82a2c93db8a765d332c38c50dde8b3)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2535 from DaanDeMeyer/dependabot

Enable dependabot

ci: Pull in specific action commits

Let's copy what the systemd repo does. The specific commits are
the same ones used by the systemd repository.

Enable dependabot

To make sure our actions stay up to date

Add minimal /etc/group

We already have a minimal /etc/passwd, let's add a minimal /etc/group
as well.

Merge pull request #2532 from DaanDeMeyer/kmod

kmod: Don't assume all modules are in kernel/ subdirectory

kmod: Don't assume all modules are in kernel/ subdirectory

When dkms is used or depending on the distribution, there might be modules
in other directories than kernel/.

Don't load configuration for verbs that don't need it

Add specifier for profile

kmod: Simplify resolve_module_dependencies() slightly

ci: Use pcid=off with qemu instead of disabling secure boot

This allows us to boot with secure boot again until the Hyper-V bug
is fixed that causes KVM to crash.

We also switch back to using 2Gs of ram by default as a second Hyper-V
bug prevents us from using any more on Github Actions.

Simplify gen_required_kernel_modules()

- Make sure we yield paths in sorted order
- Use yield from more
- Replace parents_relative_to() with a simpler solution

Merge pull request #2523 from DaanDeMeyer/kmod

Only add directories with modules in them to the kmods initrd

mkosi-initrd: Tighten up kernel module regexes

The previous ones matched more than than the modules we wanted, so
let's make sure we only match the ones we want.

Remove unneeded directories as well in process_kernel_modules()

Only add directories with modules in them to the kmods initrd

Default to UTC timezone if we can't figure out the local one

Merge pull request #2521 from septatrix/fix/include-firmware

Fix erroneous negation leading to omitted firmware files

Fix inclusion of firmware files

Add .venv to gitignore

Merge pull request #2518 from DaanDeMeyer/hypervisor

Introduce VirtualMachineMonitor= and various cleanups

Switch to debian unstable temporarily in default image and tests

pacman got removed from Debian Testing, so let's use unstable until
it's added back.

Hard code cache directory in test framework

Add ToolsTreeDistribution= match

mkosi-initrd: Merge libtss configs again

Removing the Suggests on the old name from systemd in Debian Testing
seems to have fixed the apt error we were getting before.

Check whether ukify is available in want_uki()

Fix missing tss libraries on OpenSUSE

qemu: Set vmm.notify_socket credential even if SMBIOS is not supported

Let's apply the same credential passing logic to vmm.notify_socket that
we apply to all other credentials. Use SMBIOS if available and fall back
to fw_cfg and kernel command line otherwise.

qemu: Use -no-user-config option

We want full control over the qemu command line, so let's make sure
qemu doesn't look up any user config files.

qemu: Introduce generate_scratch_fs()

qemu: Introduce finalize_drive()

vmspawn: Drop unnecessary exists check

config.qemu_kernel is verified to exist at config parsing time
already;

vmspawn: Inline variable

Move condition check into copy_ephemeral()

Introduce apply_runtime_size()

Store cpus and memory as integers

Remove vmspawn verb in favor of VirtualMachineMonitor= setting

Instead of adding a new verb for each new virtual machine monitor  we
want to support, let's configure the vmm to use with a new setting. As
vmspawn is still experimental we don't need to keep backwards compat
intact in this case.

Add link to new blog about mkosi

Merge pull request #2516 from DaanDeMeyer/virtiofsd

Virtiofsd fixes

Merge pull request #2513 from DaanDeMeyer/mounts

Always mount context.root to /buildroot

Fix kernel module glob

When dkms modules are installed there will be .ko modules in directories
other than "kernel" so make sure we only look for modules in the "kernel"
directory.

Always mount context.root to /buildroot

Let's leak fewer host specific details into the sandbox by always
mounting the image root directory to /buildroot in the sandbox. This
also simplifies debugging as the image rootfs will always be at /rootfs
instead of in some host specific path.

Add more logging when we don't reuse cached images

Force virtiofsd to use inode-handles when running as root

When running as root virtiofsd should have all it needs to use
file handles which reduces the chance of running out of file descriptors,
so make sure it uses them when running as root.

Enable --cache=always for virtiofsd

According to the documentation, this can be enabled when virtiofsd
has exclusive access to the directory, which is the case for us so
let's enable this.

apt: Drop duplicate option

This was leftover from earlier times. Let's make sure the first
Dir::Log option we set actually takes effect.

Merge pull request #2511 from DaanDeMeyer/mounts

Filter and sort all mounts in sandbox_cmd()

Filter and sort all mounts in sandbox_cmd()

We don't want users of sandbox_cmd() to have to care about mount
ordering. Currently, if mounts with a more general destination are
ordered after mounts with a more specific destination, the earlier
mount is hidden by the later mount. By sorting by destination, we
avoid this issue.

Introduce Mount named tuple to pass mounts to sandbox_cmd()

No change in behavior, but this will allow us to post-process mounts
in sandbox_cmd() in later commits.

Check sync scripts are executable in run_sync()

check_inputs() is only invoked after sync scripts have already run,
so do the check in run_sync() instead.

Merge pull request #2510 from DaanDeMeyer/microcode

Microcode improvements

Build microcode initrd for ESP and UKI images in save_uki_components()

Otherwise the necessary files might have already been removed from
the rootfs.

Don't remove microcode files in process_kernel_modules()

These are somewhat special so let's not remove them in
process_kernel_modules().

kmod: Simplify

Both m and fw are already absolute paths to within the root.

Merge pull request #2508 from CodethinkLabs/richardmaw/shared-build-machine-fixes

Misc fixes for running mkosi as root on a shared build machines

Restore all of a user's groups when running sync

Shared development hardware often has storage partitioned up by project
groups, with the root of the shared storage owned by root:project.

Since this group isn't the primary group of the user
using setgroups and restoring groups to just the user's primary gid
will mean that it does not have this project group gid
and so won't be able to see the contents of this shared directory.

Using getgrouplist to get all of the groups from the user database
allows these additional groups to be set.

Reorder ExtraSearchPaths mounts before options

When not running in a tools tree the extra search paths are
read-only bind-mounted into the sandbox.

Files are initially created in the workspace tree but then moved
into the output directory after they are complete.

If the directories are on different devices the rename syscall
falls back to a copy then delete.

It is not unusual to have a single build output directory
and you might potentially want your mkosi output directory in there.

If you are adding ExtraSearchPaths to use just-built executables
then this probably points to your `build/` directory.

If search paths are bind-mounted in read-only after the copy command's
sandboxing options, then this generates a command-line with options:
`--bind build/mkosi.output build/mkosi.output ... --bind-ro build build`
which means that the output directory is not writable.

Ordering the sandbox's own mount arguments before the command's options
should ensure the read-only search paths mount doesn't inferfere with
the command's writable bind-mounts.

Merge pull request #2507 from DaanDeMeyer/flock

Be more careful about concurrent access to outputs

Introduce flock_or_die() and use it in various places

Let's avoid weird error cases caused by two instances of mkosi trying
to currently do stuff with the same output by taking a BSD lock when
trying to do something with the output.

Introduce lock_repository_metadata()

Add flags argument to flock()

Release 22

Update NEWS

Set $PROFILE to the current profile

Merge pull request #2487 from behrmann/cisection

ci: print group section lines for GitHub workflow

ci: print group section lines for GitHub workflow

Partially fixes: #2361

arch: install dbus-broker and dbus-broker-units explicitly

dbus and dbus-units have been split in Arch recently. Currently everything
seems to be pulled in CI, let's see whether we can get this down to just
dbus-broker.

ci: Remove btrfs logic

Doesn't seem to noticeably speed things up.

Merge pull request #2499 from DaanDeMeyer/async-rm

ci: Free up disk space asynchronously

ci: Btrfs mount option tuning

Let's choose the lowest compression level so as to not impact CPU
usage too much. Use noatime as it's generally a straight speed boost
and make sure some new btrfs features are enabled (should already
be enabled but never hurts to be sure).

ci: Free up disk space asynchronously

Free-ing up disk space can take up to 8 minutes so let's make sure
we do it asynchronously since we don't need the free space immediately.

Merge pull request #2497 from DaanDeMeyer/btrfs

Use btrfs in CI

ci: Do all work on a btrfs filesystem

Let's make sure we take advantage of our COW and subvolume support
in CI by doing all work in a btrfs filesystem. Additionally enable
compression and user subvolume deletes on the btrfs filesystem to
speed things up even more.

Always create directories as invoking user if not invoked as root

We don't want to leak the subuids into the system, so make sure any
directories created by INVOKING_USER.mkdir() are always created as
the invoking user if we're not invoked as root.

Fix double whitespace

Optimize rmtree() for btrfs subvolumes

Try "btrfs subvolume delete" on subvolumes and fall back to a regular
delete since it will fail for unprivileged users without the
user_subvol_rm_allowed mount option.

Optimize is_subvolume()

Try the condition that doesn't need a subprocess to run first.

Use KVM when running an x86 image on x86_64

ci: Enable KVM

Since https://github.blog/2024-01-17-github-hosted-runners-double-the-power-for-open-source/,
it seems that KVM has started working, so let's make sure we take
advantage of it to speed up CI.

Merge pull request #2492 from DaanDeMeyer/timeout

Extend timeout of systemd-machine-id-commit.service to 90s

Run sync scripts in strict sandbox again

We can't use a relaxed sandbox as we need to be able to mount the
directories containing certificates and keys from the tools tree
(finalize_crypto_mounts()) which will fail with permission errors
in a relaxed sandbox if the required mountpoints do not already
exist in the host filesystem.

So let's switch back to a strict sandbox, except that we now always
run as root in the strict sandbox so the overlay mount for /usr from
the package manager tree won't fail anymore.

Partial revert of 9dd49ad22944bdb90a748d5b35d138ed1ce0ae2a

Extend timeout of systemd-machine-id-commit.service to 90s

Should hopefully reduce the number of CI failures.
See https://github.com/systemd/systemd/pull/31750

Remove mkosi.extra from .gitignore

It's way to complicated to include files in an excluded directory so
let's simply not exclude it.

Fix typing error

We drop the special logic for TERM since we do **env later which
will make sure any value for TERM from env overrides the default
value we pick.

Merge pull request #2478 from DaanDeMeyer/shim

Boot improvements