Don't log about copying in the build tree if it is empty

Resolve symlinks in config paths by default

debian: Don't log about extracting tar archives

There's a lot of them so it becomes rather noisy.

Only set --no-target-directory for cp when src is a directory

This makes sure that when src is a file and dst is a directory that
src is copied into dst.

Fix install_tree() file copy regression

If a target is set and the source is a file, we used to copy the
file directory into the image. Let's restore that behavior.

Always use str as the type parameter for CompletedProcess

We always set text=True when calling subprocess.run(), so we know
that the type is going to be str, so let's encode that to get
better type checking from mypy.

Remove unused TypeVar usages

Split out GenericVersion into its own module

Rename mount_tools() to mount_usr()

And pass in the tree to use directly instead of the full config
object.

Merge pull request #1745 from DaanDeMeyer/archive

Split out more modules

Move run_ssh() to run_qemu()

The ssh verb only works when the machine is booted with qemu so they
belong together.

Do not pass environment when doing selinux relabel

We don't do this for any of the other commands we run, let's not do
it for selinux either.

Move kernel modules logic to kmod.py

We also rework the logic a bit so we have one function
gen_required_kernel_modules() that is used for both trimming kernel
modules and for generating the kernel modules initrd.

Merge pull request #1744 from DaanDeMeyer/stuff

Stuff

Introduce archive.py

Let's gather the cpio and tar functions in archive.py. We also get
rid of the make_tar(), make_initrd() and make_directory() output
functions and make sure we also mount the root's passwd and related
files when creating cpios.

Get rid of final uses of joinpath()

We prefer using parentheses instead of joinpath() these days. This
commit gets rid of the remaining places where we're still using
joinpath().

Documentation and summary improvements

- Reorder config items in the summary to put more related stuff together
- Add missing config items to the summary
- Move Ssh= option to Content as it modifies the image
- Move CacheOnly= option to Distribution
- Document Passphrase=
- Reorder documentation to match summary

Add some newlines to compare_versions()

Let's make the method a little less claustrophobic by adding a few
newlines.

Inline find_image_version()

Only has one call site, so let's inline the function.

Remove unused absolute path conversion in load_config()

We already convert these paths to absolute paths during config
parsing.

Merge pull request #1738 from DaanDeMeyer/tree

tree: Introduce install_tree()

Use umask to control new file/directory permissions

The primary reason to use umask is that python's mkdir() functions
and methods only apply the given mode to the final component of the
path, and not to its parent paths if parents=True is specified. Aside
from that, it's also just nicer to make sure the file/directory has
the right mode from the start instead of having to modify it later with
chmod().

We also clean up permissions in general, making sure we set umask
explicitly whenever we create a file or directory in state.root and
remove explicit permissions when we're not writing files in state.root.

tree: Introduce install_tree()

Get rid of scandir_recursive() and find_files()

- Use rglob() from pathlib instead of scandir_recursive()
- Use absolute paths when dealing with kernel modules instead of
relative paths. Only make the paths relative in make_cpio()

Merge pull request #1742 from DaanDeMeyer/ci

CI fixes

Merge pull request #1740 from DaanDeMeyer/check-root

Get rid of check_root() function

Machine name fixes

- Prefer the image id or preset name over the output name
- Make sure the machine name doesn't contain underscores as those
  are not allowed.

ci: Drop arch geo mirror debug step

ci: Share configs between centos, alma and rocky

Remove unused argument from certificate_common_name()

Move one_zero() to util.py

Get rid of check_root() function

Only has one call site so let's just inline it.

Merge pull request #1736 from DaanDeMeyer/tar

Rework tar archive handling

Rework tar archive handling

- Instead of relying on shutil.unpack_archive(), let's always use tar
- Introduce archive_tree() and extract_tree() to abstract tar archives
- Make sure tar always uses the user/group information from the root dir
- Enable all features
- Make sure tar doesn't overwrite directory permissions

Remove TarStripSelinuxContext=

We now generate images with correct selinux labels. If selinux labels
are not needed, they can simply be excluded when extracting the archive,
but let's always include them when generating the archive and then users
can choose what to do with the labels when extracting.

Align table

Move summary() to config.py

Also removes check_script_input() and its usages since we already
check scripts during config parsing.

Make sure we mount cache and workspace writable when running package managers

Don't log stacktraces for non-zero exits from ssh, qemu or systemd-nspawn

Merge pull request #1731 from DaanDeMeyer/opensuse-distribution-release

opensuse: Install distribution-release by default

Apply all configuration after running the postinst script

Let's put all the functions writing dropins together and run them
after running the postinst script.

Install boot loader after running postinst script

The boot loader package might be installed by the postinst script so let's
account for that and only do the boot loader stuff after running the
postinst script.

Make sure the parent directory where ukify will write the UKI exists

Otherwise we get an exception from ukify.

Add some extra environment variables for scripts

When running a command with mkosi-chroot, one often wants to refer
to paths under $SRCDIR, $OUTPUTDIR, ... inside the chroot. The issue
is that variable expansion happens before mkosi-chroot is called and
has a chance to modify them to point to the locations inside the chroot.

To allow easily referring to the locations inside the chroot, let's
add variants of the directory environment variables prefixed with
"CHROOT_" containing the location of the paths inside the chroot.

Fix typo

opensuse: Install distribution-release by default

This is the package providing /usr/lib/os-release so let's make
sure it's installed by default.

Use a dash in the workspace directory prefix

We used to use a dash here as well so let's keep existing gitignore's
working by keeping that in place.

Make sure package managers are always configured

Currently, when using cached images, setup_dnf() and friends won't
be called when a cached image is used. Yet it's now entirely possible
that dnf might be called to install extra packages in the postinstall
script, so we always need the package managers to be configured
properly. Let's make sure we do that by introducing a new setup()
method that is always called.

Fix shellcheck warning in mkosi-chroot examples

Merge pull request #1701 from DaanDeMeyer/scripts-host

Run scripts on the host by default

Run scripts on the host by default

Scripts currently run chrooted in the image. This is not great because
it means the tool you want to run from a script has to be installed in
the image, even if it has --root support to run from outside the image.

Specifically, to install extra packages from a script, you currently
have to install the package manager inside the image itself. Even then,
it might be completely different than the package manager on the host
(both in version and in build options), possibly leading to all kinds
of weird issues.

To allow users to install extra packages from scripts, we now default
to running scripts on the host. Additionally, to make life easy for
users, we provide a set of scripts in the PATH for the package managers
we support that call them with the necessary options to install packages
in the same way mkosi installs packages into the root directory. This
means all that users have to do is "dnf install xxx" from the script to
install a new package into the root directory.

Because some tools do not have a --root option and to provide an easy
migration for users that depend on scripts running in the image, we
also put a script "mkosi-chroot" in the PATH which uses bubblewrap to chroot
into the image as we did before. Users can keep their old scripts working
by simply adding the following to the top of their script:

```
if [ "$container" != "mkosi" ]; then
    exec mkosi-chroot $SCRIPT "$@"
fi
```

When running scripts on the host, no APIVFS directories are mounted into
the image. When using the "mkosi-chroot" and package manager scripts, the APIVFS
directories are automatically mounted before executing the corresponding
command. The apivfs_cmd() function is introduced to make implementing this
easier.

Additionally, we now always consider the current working directory a
BuildSources= directory. BuildSources= is now used to declare additional
source directories. The current working directory can always be overmounted
with another directory by simply specifying a source directory in BuildSources=
without a target directory.

To allow scripts running on the host to find the image, we set the
BUILDROOT variable for all scripts.

To prevent scripts on the host from messing with the host system when mkosi
is running as root, we extend the sandboxing to cover many more directories
which are all mounted read-only while a script is executing.

This change also allows scripts to be written in python or other scripting
languages without having to install python into the image itself.

Sort packages for every distribution

Fix rename bug in finalize_staging()

Merge pull request #1725 from DaanDeMeyer/stdin

Give scripts access to sys.stdin

centos: Fix extras source repo id

Give scripts access to sys.stdin

It's very useful to be able to put "bash" in a script to get a shell,
so let's support that.

Make sure outputs are always prefixed with the output name

Our output unlinking logic currently works based off the name of
the output. Everything that is prefixed with the output name is
removed. We need to fix that properly, but for now, let's make sure
that all outputs that we generate are prefixed with the name of the
output.

Merge pull request #1723 from DaanDeMeyer/stuff

Stuff

Move run_build_script() next to the other script functions

Use explicit "build" verb when calling ukify

Introduce StrEnum and Use enum.auto() everywhere

run: Fix escaping bug

installer: Return list[PathString] instead of list[str]

Merge pull request #1722 from DaanDeMeyer/fix

More comprehensive tmpfile fix

More comprehensive tmpfile fix

Merge pull request #1721 from DaanDeMeyer/fixes

Fixes

Only do a lazy umount when needed

Make sure the temporary directory is recalculated when we modify TMPDIR

Merge pull request #1719 from DaanDeMeyer/distro

Distribution cleanups

Rework clean_package_manager_metadata()

Rework distributions

Let's make the following changes
- Instead of having an instance of the installer object stored in
  MkosiState, let's have an installer() method on the Distribution
  enum that returns the specific type implementing the distribution
- Let's move Distribution to mkosi.distributions
- Let's add a method to DistributionInstaller to return the package
  type instead of storing it directly in the Distribution enum
- Let's add methods to the Distribution enum that delegate to its
  installer type
- Use enum.auto() instead of specifying values directly.

qemu: Remove debian specific workaround

This seems to not be required anymore so let's drop the workaround

Merge pull request #1718 from DaanDeMeyer/builddep

Add source and debuginfo repositories

centos: Add debuginfo and source repositories

debian/ubuntu: Add source and debug repositories

These are not trivial to integrate into --repositories so we enable
them by default.

fedora: Add source and debuginfo repositories

dnf: Enable builddep plugin

This one is actually useful and has to be invoked explicitly so
there's no harm in enabling it.

apt: Make invoke_apt() and apt_cmd() slightly more generic

Let's allow passing in the apt command we want to execute.

Fix filelists on fedora

We should only download these on older Fedora's, not newer ones.

Set KERNEL_INSTALL_BYPASS=1 in load_environment()

Merge pull request #1714 from DaanDeMeyer/installer

Move package manager logic to separate submodule

Separate out functions to get package manager commands + options

Introduce zypper.py for zypper related logic

Introduce apt.py for apt related logic

Introduce pacman.py for pacman related logic

Introduce dnf.py for dnf related logic

We put this in a new "installer" submodule as well.

docs: fix syntax

Quick fixup for a7944939724bcf1fab8cb9129d5ad9e47d0ddf99.

Introduce rmtree() and remove unlink_try_hard()

Move sandboxing from chroot_cmd() to bwrap()

Let's leave it to bwrap() to set up any sandboxing that we need.
Let's also add a bit more sandboxing to bwrap(), to avoid details
from the host accidentally leaking into the image builds.

run: Make env dict[str, str]

Update documentation

Too many changes to mention. Primarily this commit updates or removes
outdated documentation.

Merge pull request #1708 from DaanDeMeyer/fixes

Fixes

arch: Put testing repositories first if enabled so they take priority

run: Unshare pid namespace again in bwrap()

This was removed when we had a brief experiment with running everything
with bwrap(), but since we don't do that anymore, let's add this back
to make chroot detection work again.

run: Make sure we resolve relative /etc/resolv.conf symlinks properly

If the symlink is relative, we should resolve it relative to /etc/resolv.conf
and not /

Only install bash in the initrd on gentoo

I initially added this because no shell is pulled into the initrd
by default on gentoo when just installing systemd and util-linux.
Since this seems to override other distro's default shell, let's
limit this to just gentoo and rely on other distros pulling in a
shell via dependencies.

Merge pull request #1700 from DaanDeMeyer/stuff

Stuff

Always install bash in the initrd

Let's make sure we always have a shell in the initrd so that sulogin
works correctly.

Make sure all dnf log files are removed

Use input instead of writing to stdin in make_cpio()

Also remove the text= argument from spawn() and default it to True
just like run().