Only unshare network namespace if we have CAP_NET_ADMIN

Make sure the private tmpfs in bwrap() doesn't hide workspace

The workspace might be in /tmp so we need to make sure we mount it
first before we mount the workspace so that the workspace is on top
of the private tmpfs.

Merge pull request #1778 from DaanDeMeyer/all-packages

List all subpackages in pyproject.toml

Remove unused package-data globs

Also add mkosi.1 to package-data

Add mkosi.md to package-data

Don't try to tun timedatectl or ssh-add if not available

List all subpackages in pyproject.toml

Bump version numbers for v15

Remove .git-blame-ignore-revs file

This has outlived its usefulness, there's no need to ignore the black
commit anymore when doing a git blame due to its age.

Update do-a-release.sh script

Reorder fields of MkosiConfig to match summary() and MkosiConfigSettings

Merge pull request #1679 from behrmann/helpverb

Make docs available via the help verb.

add --doc-format option for choosing the output of the documentation verb

add NEWS entry for documentation verb.

add symlink to docs in resources

action: Don't install pandoc

make mkosi docs from resources available via the documentation verb

This allows, especially when running different versions of mkosi, to always
have the right documentation on hand no matter how that version of mkosi was
installed.

move mkosi.md to mkosi/resources

Replace dd with pefile's get_data() method

ci: Add job to check that we can still generate the man page

Introduce preset dependencies

Instead of building presets in alphanumerical order, let's introduce
a proper concept of dependencies. Dependencies are configured with
the new "Dependencies=" option in the new "[Preset]" section. All
presets configured with "Dependencies=" are built before the current
preset.

We drop the alphanumerical preset in favor of explicit dependencies.

Set agetty autologin credentials by default

Eventually we'll replace --autologin with these but for now let's
set both.

Make sure we output signed kernel instead of unsigned kernel

Fixes #1589

Prefer gcpio over cpio

Fixes #1201

Set GPGTTY when calling gpg

Fixes #351

Don't reverse list option values found in the same option

Items from earlier settings should take precedence over items from
later settings, but that doesn't mean we should reverse items found
in the same setting.

Fixes #1707

Touch /usr/lib/clock-epoch during the build

We'll handle the reproducible builds part of this together with all
the other changes for reproducible builds.

Fixes #1218

Run finalize script after selinux relabel

Let's make the finalize script true to its name and run it as the
final operation before we start packaging things up.

Merge pull request #1763 from DaanDeMeyer/udev

Install udev instead of systemd-udev

Make sure we install udev in the initrd

Follow up for 7bb87d7d011162f503b842b02bbe9e157cb6f116

Install extra packages for centos/alma/rocky to fix CI failure

This increases the size of the generated image a bit which makes
sure repart calculates a minimal partition size for the XFS
filesystem so that populating the partition doesn't run out of space.

Install udev instead of systemd-udev

Installing systemd-udev means running into
https://bugzilla.redhat.com/show_bug.cgi?id=2183279 so let's install
udev which avoids that issue.

Mark gentoo as experimental and unsupported

Gentoo issues won't be actively looked at by the core maintainers and
there's no guarantee that gentoo PRs will get reviewed or not (or they
might just be merged without review). Gentoo specific hacks outside of
gentoo.py will generally not be accepted.

- We also drop all gentoo specific modifications outside of gentoo.py
- We also stop running CI for gentoo

Conditions for dropping the experimental status of gentoo:

- No more stage 3 tarball required to build a gentoo image. Either we only
do binary packages or gentoo images can be built from directly from an immutable
host system or tools tree with portage and compiler tools installed
- Proper division of systemd components into subpackages so that we can build
a gentoo initrd with systemd installed but without pulling in ukify and python
- An official and up-to-date binary package repository that allows gentoo CI
to complete in a similar amount of time as the other distributions

Merge pull request #1754 from DaanDeMeyer/preset-docs

Document presets

Remove setup.py and use setuptools build backend in pyproject.toml

Also remove setup.cfg, since we don't use flake8 and everything else can be
handled by pyproject.toml

Fix BuildSources= and BuildDirectory= docs

Document presets

Also skip files in mkosi.presets that do not have the .conf suffix.

gentoo: swith to llvm (clang)

This will pave the way for actual arch support and cross-compiling

Signed-off-by: Paymon MARANDI <darwinskernel@gmail.com>

Merge pull request #1753 from DaanDeMeyer/resolv

Make sure options are always applied last in bwrap() and chroot_cmd()

Add ip=enp0s2:any to default kernel cmdline extra

When booting with --qemu-gui, the network interface is named
differently so let's account for that and configure networkd to
manage that interface as well.

Make sure options are always applied last in bwrap() and chroot_cmd()

That way, if the options remount anything read-only, we can be sure
it doesn't affect any of the operations set up in bwrap() and chroot_cmd()
themselves.

Move network argument from chroot_cmd() to bwrap()

If we're not supposed to use the network, that should apply to the
script running on the host as well, so move the network argument
from chroot_cmd() to bwrap().

We just always mount resolv.conf into the image now. If the network
namespace is unshared, there's not much that can be done with the
info in there anyway.

Merge finalize_source_mounts() and finalize_writable_mounts()

We need to sort both lists so let's merge the two functions to make
that easier. Let's also make sure we remove any duplicates while we're
at it.

Merge pull request #1750 from DaanDeMeyer/kvm-log

Add logging to qemu_check_kvm_support()

Remove outdated comment

Don't drop privileges when running qemu and invoked as root

Depending on the environment and what options are used, running qemu
might require root privileges. So if we're invoked as root and we're
going to run qemu, let's not drop privileges.

Add logging to qemu_check_kvm_support()

qemu: do not enable kvm when booting on non-native arch

kvm is only supported on the native architecture, so skip it
when booting a non-native one (eg: aarch64 on x86_64)

Merge pull request #1747 from DaanDeMeyer/check-inputs

Rework check_inputs()

Default workspace directory to the current working directory

This was already the implicit assumption, let's make it explicit.

Make sure we create an empty output file when using no output

Allocate workspace outside of MkosiState

This way MkosiState doesn't need to be a context manager and we can
just use the workspace as a context manager directly.

Don't resolve paths in two cases

- Target paths should not be resolved
- When checking paths for the paths logic, let's not resolve either
  and leave that to the parser implementation itself

Rework check_inputs()

Let's just check for existence with exists() instead of relying on
exceptions. Also improve error checking and make sure we check
package manager trees as well.

Merge pull request #1746 from DaanDeMeyer/tools

Various cleanups

Don't log about copying in the build tree if it is empty

Resolve symlinks in config paths by default

debian: Don't log about extracting tar archives

There's a lot of them so it becomes rather noisy.

Only set --no-target-directory for cp when src is a directory

This makes sure that when src is a file and dst is a directory that
src is copied into dst.

Fix install_tree() file copy regression

If a target is set and the source is a file, we used to copy the
file directory into the image. Let's restore that behavior.

Always use str as the type parameter for CompletedProcess

We always set text=True when calling subprocess.run(), so we know
that the type is going to be str, so let's encode that to get
better type checking from mypy.

Remove unused TypeVar usages

Split out GenericVersion into its own module

Rename mount_tools() to mount_usr()

And pass in the tree to use directly instead of the full config
object.

Merge pull request #1745 from DaanDeMeyer/archive

Split out more modules

Move run_ssh() to run_qemu()

The ssh verb only works when the machine is booted with qemu so they
belong together.

Do not pass environment when doing selinux relabel

We don't do this for any of the other commands we run, let's not do
it for selinux either.

Move kernel modules logic to kmod.py

We also rework the logic a bit so we have one function
gen_required_kernel_modules() that is used for both trimming kernel
modules and for generating the kernel modules initrd.

Merge pull request #1744 from DaanDeMeyer/stuff

Stuff

Introduce archive.py

Let's gather the cpio and tar functions in archive.py. We also get
rid of the make_tar(), make_initrd() and make_directory() output
functions and make sure we also mount the root's passwd and related
files when creating cpios.

Get rid of final uses of joinpath()

We prefer using parentheses instead of joinpath() these days. This
commit gets rid of the remaining places where we're still using
joinpath().

Documentation and summary improvements

- Reorder config items in the summary to put more related stuff together
- Add missing config items to the summary
- Move Ssh= option to Content as it modifies the image
- Move CacheOnly= option to Distribution
- Document Passphrase=
- Reorder documentation to match summary

Add some newlines to compare_versions()

Let's make the method a little less claustrophobic by adding a few
newlines.

Inline find_image_version()

Only has one call site, so let's inline the function.

Remove unused absolute path conversion in load_config()

We already convert these paths to absolute paths during config
parsing.

Merge pull request #1738 from DaanDeMeyer/tree

tree: Introduce install_tree()

Use umask to control new file/directory permissions

The primary reason to use umask is that python's mkdir() functions
and methods only apply the given mode to the final component of the
path, and not to its parent paths if parents=True is specified. Aside
from that, it's also just nicer to make sure the file/directory has
the right mode from the start instead of having to modify it later with
chmod().

We also clean up permissions in general, making sure we set umask
explicitly whenever we create a file or directory in state.root and
remove explicit permissions when we're not writing files in state.root.

tree: Introduce install_tree()

Get rid of scandir_recursive() and find_files()

- Use rglob() from pathlib instead of scandir_recursive()
- Use absolute paths when dealing with kernel modules instead of
relative paths. Only make the paths relative in make_cpio()

Merge pull request #1742 from DaanDeMeyer/ci

CI fixes

Merge pull request #1740 from DaanDeMeyer/check-root

Get rid of check_root() function

Machine name fixes

- Prefer the image id or preset name over the output name
- Make sure the machine name doesn't contain underscores as those
  are not allowed.

ci: Drop arch geo mirror debug step

ci: Share configs between centos, alma and rocky

Remove unused argument from certificate_common_name()

Move one_zero() to util.py

Get rid of check_root() function

Only has one call site so let's just inline it.

Merge pull request #1736 from DaanDeMeyer/tar

Rework tar archive handling

Rework tar archive handling

- Instead of relying on shutil.unpack_archive(), let's always use tar
- Introduce archive_tree() and extract_tree() to abstract tar archives
- Make sure tar always uses the user/group information from the root dir
- Enable all features
- Make sure tar doesn't overwrite directory permissions

Remove TarStripSelinuxContext=

We now generate images with correct selinux labels. If selinux labels
are not needed, they can simply be excluded when extracting the archive,
but let's always include them when generating the archive and then users
can choose what to do with the labels when extracting.

Align table

Move summary() to config.py

Also removes check_script_input() and its usages since we already
check scripts during config parsing.

Make sure we mount cache and workspace writable when running package managers

Don't log stacktraces for non-zero exits from ssh, qemu or systemd-nspawn

Merge pull request #1731 from DaanDeMeyer/opensuse-distribution-release

opensuse: Install distribution-release by default

Apply all configuration after running the postinst script

Let's put all the functions writing dropins together and run them
after running the postinst script.

Install boot loader after running postinst script

The boot loader package might be installed by the postinst script so let's
account for that and only do the boot loader stuff after running the
postinst script.

Make sure the parent directory where ukify will write the UKI exists

Otherwise we get an exception from ukify.

Add some extra environment variables for scripts

When running a command with mkosi-chroot, one often wants to refer
to paths under $SRCDIR, $OUTPUTDIR, ... inside the chroot. The issue
is that variable expansion happens before mkosi-chroot is called and
has a chance to modify them to point to the locations inside the chroot.

To allow easily referring to the locations inside the chroot, let's
add variants of the directory environment variables prefixed with
"CHROOT_" containing the location of the paths inside the chroot.