Only do path logic in config_parse_dict() if value is not empty

Fix credential file parsing falling through to empty values

Only parse arguments again if append was specified

Otherwise we won't parse any arguments anyway.

Reset append ns field value when parsing arguments again

Make sure we don't chdir() again when parsing arguments again

When we parse arguments again for --append, let's make sure we don't
chdir() again as this breaks when using relative paths for --directory

docs: Clarify RuntimeSize=

Allow setting QemuSmp=0 to use all available CPUs

Introduce CACHE_UID/CACHE_GID for use in the cache manifest

The INVOKING_USER uid and gid are potentially modified in become_root(),
causing cache mismatches depending on whether have_cache() is called
inside or outside of the user namespace.

Let's instead introduce two new constants resolved at module load time
which won't change.

Make sure we make all kinds of scripts executable

Drop unnecessary make_executable() calls

Use the builtin constants for --include= to include the default initrd
and tools tree so that parse_config() makes the scripts executable for
us instead of having to do it ourselves.

Make sure /var/lib/dpkg/available exists when setting up apt

Fixes #2610

Store invoking user uid/gid in cache manifest

Much simpler than the complicated logic we have now.

Log when we can't rename in move_tree()

Can help explain why mkosi is slower than it should be.

opensuse: Don't install distribution-release by default

distribution-release is a virtual package that is satisfied by
multiple packages. By installing it by default in the first transaction
we can't override it anymore later. Let's fix the issue by not explicitly
installing distribution-release.

To make sure openSUSE-release is pulled in by default to satisfy
distribution-release, we install patterns-base-minimal_base which has
a Suggests dependency on openSUSE-release.

Fix --debug-shell

Introduce --append argument

In systemd, we want to have a default set of kernel command line
arguments and override a few of them via the command line. Introduce
--append so that we can specify settings via the command line that
are parsed after all configuration have files have been parsed to
make this possible.

Merge pull request #2601 from DaanDeMeyer/stuff

Various improvements

Add RuntimeBuildSources= setting

This setting mounts the build sources and build directory into a
booted container/virtual machine in the same location that they were
mounted to do the build.

This helps both with making gdb more useful in the container as the
sources will be available for use by gdb without having to do any
source directory mapping. It also helps with doing incremental builds
inside the container.

github: add missing label in bug report template

Mount RuntimeTrees= directory without target to /root/src

Let's use the same behavior for RuntimeTrees= as we use with
BuildSources=.

Make sure the build directory is owner by root (in the userns)

The build directory will (unless mkosi-as-caller is used) contain
files owned by root (in the userns). To make sure the correct uidmap
is used when using this directory in RuntimeTrees=, let's make sure
the directory is owned by root (in the userns).

Remove uidmap argument from start_virtiofsd()

Instead, automatically infer whether it's required or not based on
the owner of the directory we're passing in.

Also make whether we do selinux or not an explicit argument, and do
the same for the name used for the virtiofsd scope.

Replace git script with environment variables

git allows setting config values via environment variables, let's
use that instead of our git script.

Remove unnecessary colons from docs

github: add issue template

Merge pull request #2351 from septatrix/feature/oci-output-format

Add support for oci-dir output (fixes #1865)

Implement creation of OCI images

Mount image root directory to /buildroot when running modinfo

Merge pull request #2593 from DaanDeMeyer/tools

Check in spawn() whether the command we're trying to run is available

Translate paths to SELinux policy files to /buildroot

The setfiles call was broken by 62cee058cb116684294831c4cab20924dde93e45
because the binary policy and file context files were still using the
host path in the run arguments.

Fixes the error `Error opening
/home/user/.cache/mkosi/mkosi-workspaceb5nodee6/root/etc/selinux/targeted/policy/policy.33:
No such file or directory`

Check in spawn() whether the command we're trying to run is available

Currently, if we try to run a command within a sandbox, we fail with
an unclear error if the program is not installed. This is because our
FileNotFoundError exception handler is never triggered as the program
we run via subprocess is almost always "sh" or "bwrap". Let's make sure
we also check for the actual program we're going to run in the sandbox
and show a clear error if it's not available.

Move gpg set-priv setup command to sandbox

Move grub-bios-setup shell setup command to sandbox

Pass environment the usual way when we're invoking the package manager

Let's only use "env" in the package manager scripts we make available
when running user scripts. If we're invoking the package manager ourselves,
pass the environment in the usual way.

Add check for depmod

Fixes #2584

Make sure we always sort when iterating over config files in a dir

Add missing sandbox

Merge pull request #2590 from DaanDeMeyer/fix

Implement run() on top of spawn()

Implement run() on top of spawn()

Deduplicate paths in rmtree()

Default to /dev/null for stdin in spawn() as well

Drop extra_groups argument from run()

Drop CalledProcessError handling from spawn()

This exception is never raised by subprocess.Popen().

Add missing raise in spawn()

Add missing cwd argument to spawn()

debian/ubuntu: Always install base-files

In some setups, there might not be any essential packages, so make
sure we always install base-files so that the base directory layout
is always populated.

Fixes #2585

Pick up SYSTEMD_LOG_LOCATION from environment as well

Helps with debugging errors in systemd sometimes.

Trim default image package lists

Let's remove build tools and Fedora/CentOS packaging tools as these
aren't getting used and pull in the kitchen sink.

Install git-core where possible

Let's not pull in hundreds of perl modules if we can avoid it.

Add specifiers for various paths

Fixes #2579

Merge pull request #2580 from DaanDeMeyer/config

Make sure multiple image definitions can parse the same include

Extend bootable docs a little

Fixes #2581

Make sure multiple image definitions can parse the same include

Simplify config parsing

Instead of passing namespace and defaults everywhere, have every
nested function operate on the function global object and simply reset
the objects to the copy we took after we finish parsing a single image
definition.

Merge pull request #2572 from DaanDeMeyer/journal

Add ForwardJournal= to enable log forwarding of VMs and containers

Add ForwardJournal= to enable log forwarding of VMs and containers

In systemd v256, journald will support forwarding to systemd-journal-remote
via the new journal.forward_to_socket credential. Let's expose this
functionality via a new ForwardJournal= setting, which specifies a path to
which logs should be forwarded.

Introduce INVOKING_USER.chown()

Make pass_fds follow the $LISTEN_FDS protocol for socket activation

This allows us to pass file descriptors to binaries implementing
systemd socket activation.

Add setpgid to sandbox instead of cmdline

This makes sure we don't log it in debug mode.

Merge pull request #2575 from DaanDeMeyer/creds

Parse credentials from files/dirs during parsing instead of afterwards

Parse credentials from files/dirs during parsing instead of afterwards

Allocate scopes for virtiofsd and swtpm as well

Bump github/codeql-action from 3.24.8 to 3.24.9

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.8 to 3.24.9.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/05963f47d870e2cb19a537396c1f668a348c7d8f...1b1aada464948af03b950897e5eb522f92603cc2)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Add path_default=False to two more settings

Fix empty config.json caused by buffered write

Move hash_file to utils

Switch to linux-virtual on Ubuntu

linux-virtual finally supports credentials so we don't need to use
linux-generic anymore.

Fix kernel installed check

Pass --quiet when invoking busctl

We don't care about the return value of the DBUS method so let's
silence busctl so it doesn't show it.

Fix scope allocation

Merge pull request #2564 from DaanDeMeyer/ssh

Support mkosi ssh for multiple running instances of the same image

Allocate scope for and register virtual machine if possible

These might be long running so let's make them more introspectible
by allocating a scope for them and registering them with machined
if possible.

Add foreground argument to run()

Rework spawn() process termination slightly

Support mkosi ssh for multiple running instances of the same image

Let's add a stopgap solution until systemd-machined supports everything
we need. We maintain a super basic JSON state file in the runtime directory
that is used to map a machine name to the corresponding SSH proxy command.

We also store the path to the ssh key in there so that mkosi ssh can be
run from every directory.

The new Machine= option allows selecting the machine name to use. Unless
set explicitly, we also use the machine name as the hostname for the machine.

Update NEWS

docs: Mention that only dnf/dnf5 support various proxy settings

Only mount output directory if it exists when running clean scripts

Merge pull request #2561 from DaanDeMeyer/clean

Add CleanScripts=

Add CleanScripts=

Clean scripts can be used to remove any outputs that mkosi doesn't
know about, e.g. packages built in mkosi build scripts and copied
to the output directory.

Move ConfigureScripts= to [Config] section

Don't pass final argument to configure scripts

Merge pull request #2559 from DaanDeMeyer/osrelease

Extension image fixes

Don't rebuild local package repository if OutputFormat == none

We're not going to do anything anymore if the output format == none
so don't rebuild the local package repository.

Extension image fixes

- Insist on /usr/lib/os-release existing and read only from it instead
  of /etc/os-release
- Don't fail if /usr/lib/os-release doesn't exist when building a sysext
  or confext.
- Skip more operations when building sysext/confext images

Fix PCR banks

Fixes: d44e0f8eaa9bc4837d27bbbb55969f2fa5187897

Stop measuring for SHA1 TPM bank

Let's avoid having to deal with openssl configuration to re-enable
SHA1 support by not measuring for the SHA1 TPM bank.

Merge pull request #2553 from behrmann/jsonkeys

Capitalise inner JSON keys

Pass through SYSTEMD_LOG_LEVEL in run() as well

Set TMPDIR and HOME for spawn() as well

config: capitalise inner keys in JSON dump

Merge pull request #2554 from DaanDeMeyer/fix

Make sure we create parent directories as well

Switch back to debian testing

unstable breaks too much to be useful for CI. To keep CI green, we
stop installing pacman-package-manager in the default images and disable
debian tools tree in CI.

Do check_inputs() check before calling run_sync()

Merge pull request #2552 from DaanDeMeyer/configure-scripts

Add support for configure scripts

Add support for configure scripts

These allow dynamically modifying the configuration.

Make sure we create parent directories as well

config: use super in JsonEncoder instead of explicit parent type

tests: test that environment keys are not changed by JSON serialisation

docs: Update execution flow