chdir() without going back in parse()

We never need to leave the directory specified with --directory, so
let's not leave it.

Make sure path to parse_config() is correct after chdir()

Move cache, build and install directories to [Output] section.

Remove distro specific output directory

Let's move the cache images to mkosi.cache/ and go back to non
distro specific output directories. This gives us a stable path
for the build outputs that doesn't depend on the specific distro or
version used.

Restore old PATH when prepend_to_environ_path finishes

Make bump and genkey CLI image independent verbs

In preparation for adding multiple images support, let's make these
commands work only with command line arguments.

Split MkosiArgs from MkosiConfig

Let's put the arguments that are not associated with an image into
a separate dataclass.

Return MkosiConfig from MkosiConfigParser.parse()

Remove support for passing arguments to the build script.

This doesn't end up working well in practice, so let's drop support
for this.

Use default_factory for selecting default mirror

Merge pull request #1508 from behrmann/evenmorematch

Allow globs if image ID matches and implement not equal for image version matches

Merge pull request #1500 from behrmann/followupsv1

Assorted followups

doc: add a table which match supports what

config: allow globs when matching image IDs

ci: drop unneeded build dependency

config: add missing version comparision for non-equality

Implement __bool__ and __str__ for compression enum

Make keyword arguments of config_make_list_parser keyword-only

config: default to True for required in path parsing functions

Add back bootable to summary output

Make InvokingUser just a namespace for functions

The sequence of calls to the underlying functions remains the same, but it's
shorter and there are no intermediate dataclass instance constructed.

Merge pull request #1504 from behrmann/morematch

Add matching on image ID and version

ci: build current systemd-analyze for unit tests

action: add back version output of the binaries we build

Enable --repo-dir for Debian and Ubuntu

Additional repositories can now be configured for Debian and Ubuntu.

Because APT can only be configured with a single path for
`Dir::Etc::sourceparts`, the content of the directories listed in
`repo_dirs` are copied in a `apt/sources.list.d` directory managed by
mkosi outside the image root. Therefore, only one file will be kept if
several files have the same name.

Like the main `sources.list` generated by mkosi, the additional
repositories are copied in the image if APT is installed.

config: add ImageVersion matching

config: Improve GenericVersion performance

config: Add Match on ImageId

Merge pull request #1491 from DaanDeMeyer/exception

Tweak exception handling

Tweak exception handling

- Remove optional exception argument of die() in favor of just using
  logging.error() and re-raising the exception
- Instead of raising RuntimeError in die(), just call sys.exit()
  instead which raises SystemExit.
- Show stacktrace of every exception that isn't SystemExit,
  KeyboardInterrupt or subprocess.CalledProcessError.

Drop safe_tar_extract()

Let's just run tar as a child process instead.

Fix FileExistsError exception

Merge pull request #1501 from DaanDeMeyer/fixes

Various fixes

tests: Add tests for Match sections

Remove unnecessary newline in log_step()

Revert back to shell based chmod solution for bwrap

Mounting the host directories doesn't work because those directories
are owned by root on the host which translates to nobody in the user
namespace, breaking systemd tmpfiles tests.

Use conditional apivfs with Debian/Ubuntu and Arch as well

Arch's filesystem package ships apivfs directories as well and
in Debian/Ubuntu, we don't want to have apivfs mounted when running
the apt update and when only downloading packages.

Use stderr to check for tty in foreground()

stdin/stdout might be redirected for other purposes, let's use stderr
instead to detect if we're connected to a terminal.

Drop var_tmp() from MkosiState

Make --debug a boolean and add --debug-shell

Let's drop the support for multiple string arguments since we only
have "run" anyway and make --boolean a simple yes/no option. To
get an interactive shell on failure, a new option --debug-shell is
added.

Support matching against any of a list of releases

Merge pull request #1495 from DaanDeMeyer/stuff

Various refactorings and improvements

Remove for_cache from MkosiState and centralize cached in build_image()

Instead of passing these two booleans to every function, let's centralize
their usage in build_image().

Remove --cache-initrd

Use uid, gid directly instead of state.uid, state.gid

Move MkosiConfig and load_args() and config.py

And all the other related changes to make that work.

Move MkosiState to state.py

Rework bwrap run functions

- To split up our dependencies more, we need to make run.py
  independent of MkosiState, so let's do that.
- To get rid of the shell hacks in both functions to chmod /tmp,
  /var/tmp and /dev/shm, let's just mount the relevant files from
  the host which have the right permissions.
- Fixing the above exposed a bug in the logic to set up rpm based
  systems, which all ship a filesystem package that includes
  directories such as /tmp, /proc, /sys, ... which we overmount
  with apivfs or tmpfs filesystems when running rpm, causing errors
  when the filesystem package tries to set up these directories. To
  ensure these directories are created with the permissions from the
  filesystem package, the run_with_apivfs() function is renamed to
  bwrap() and gains an apivfs argument, which takes a path to set
  up apivfs directories in. If not provided, no apivfs is set up.
  This is then used to install the filesystem package without apivfs
  so that the directories can be created with the right permissions.
- The various rpm distributions now install the filesystem package
  instead of the setup package by default, so we can disable apivfs
  properly while filesystem is being installed. system-user-root
  was removed for opensuse because the filesystem package depends on
  it.

Fix rpmdb symlinks

On CentOS, we were creating the wrong symlink. Let's use a proper
relative symlink that always works regardless of whether we're chrooted
or not.

On Debian/Ubuntu, we weren't creating a symlink at all. So let's make
sure we also create a symlink there and use a relative symlink there as
well.

We use os.path.relpath() because Path().relative_to() can only do relative
paths to subpaths which isn't the case here. In the future we can set
strict=False and use relative_to().

Rename backend.py to util.py

backend.py is a horrible name, let's use util.py instead.

Use an entry point instead of a script

The use of a custom script to launch mkosi has several shortcomings:

1. It translates `$PKEXEC_UID` into various `$SUDO_`* variables. That
   translation is lost if mkosi is run as a zipapp or as a module with
   `pkexec python3 -m mkosi`.
2. It has to muck around with `$PYTHONPATH` to launch mkosi directly
   from its source code.
3. It is tied to setuptools and has no equivalent in the standard
   project metadata (as in pyproject.toml).
4. And it also has to find the correct interpreter and maybe muck around
   with `$PYTHONPATH` to launch mkosi from its installation, which may
   be on the system, in the user's sitedir or in a virtualenv, as a
   standard or an editable installation.

Point 1 is not needed anymore now that `mkosi.backend.current_user()` is
used everywhere.

Point 2 can be done by directly running mkosi as a module from its
sources with:

- `[sudo|pkexec] python3 -m mkosi` inside the project directory
- `[sudo] PYTHONPATH=<PROJECT_PATH> python3 -m mkosi` from anywhere
- `[sudo|pkexec] <PROJECT_PATH>/bin/mkosi` from anywhere. The script is
  now a simple shim that is only used for this use case and not
  installed anymore.

Point 3 and 4 are better supported by using a `"console_scripts"` entry
point when installed. However, it is not possible anymore to run a
user-installed mkosi with sudo/pkexec.

Add missing complete_step() when installing build packages

fix duplicate entry in github action

Use `getpass.getuser()` to get the name of the current user

`os.getlogin()` can fail and has no fallback, whereas
`getpass.getuser()` takes the environment variables into account and
falls back on `pwd`.

Disallow `<SOURCE>:<TARGET>` with an empty target

The configurations of the form `<SOURCE>[:<TARGET>]` require an absolute
target if given. However, `<SOURCE>:` would be ambiguously interpreted
as `<SOURCE>` so it is now disallowed.

For reference, `systemd-nspawn --bind` uses a similar form and refuses
to take an empty target.

Allow setting empty environment variables

Trying to set an empty environment variable with `FOO=` would instead
pass the `FOO` variable from the host, which is the expected behavior
when `=` is missing.

debian: Add TODO to drop /var/lib/dpkg/status logic when possible

It's created automatically by apt since apt 2.5.4 so add a note that
we can drop it once that version is widely available. Also disable
dpkg locking since it causes a apt failure due to not being able to
access the lock file in /var/lib/dpkg. Since we're building in a
chroot, we don't care about locking anyway.

Use python logging module for logging

Let's get rid of our home grown solution and use python's logging
module instead.

Support matching against any of a list of distributions

Display "Skeleton Trees" in the summary again

The skeleton trees were lost from the summary with e1bbc39.

Fix installation of essential packages on Debian stretch

There is a bug in Debian stretch where `libuuid1` (which is essential)
unnecessarily depends on `passwd`. When configuring the essential
packages and their dependencies, `passwd` is configured before
`base-passwd` and the installation fails.

debootstrap did not have this issue because it explicitly orders the
installation of some essential packages, including `base-passwd`.

By explicitly installing `base-passwd` first, the rest of the essential
packages can then be configured without failure.

Use shlex escaping in Environment

The Environment configuration takes lists of space-separated values and
combine them in a single list, splitting the values on spaces and
newlines. However, environment variables might sometimes need a space in
their value, which is currently impossible to configure.

Instead of blindly splitting the values on spaces and newlines, they are
now split with shlex. Spaces, newlines and backslashes can be escaped
with backslashes, single quotes and double quotes.

This behavior also more closely matches the Environment directive of systemd.

Add MakeInitrd=

Instead of automatically making cpio's initrds, let's put this behind
a MakeInitrd= option. This allows booting directly into cpios with systemd
when they're not configured as an initramfs.

Merge pull request #1472 from gdiscry/path-expansion

Path expansion

Apply path expansion when parsing

When the `extra_search_paths` configuration was introduced, it would
perform path expansions with the environment variables (using $) and the
home directories (starting with ~). Home directories would not be
expanded when mkosi was run with sudo or pkexec. Instead, `$SUDO_HOME`
could be used but only when run with sudo or pkexec.

However, those expansions were not applied to other paths in the
configuration and were broken with the rewrite of the configuration
loading, as the parser would check if the paths exist before expanding.

Those expansions are now handled directly in the parser and are
performed before validation. Environment variables expansion is enabled
for all paths and home directory expansion is enabled for all paths on
the host.

Furthermore, home directory expansion is always available, with `~`
expanding to the user's home directory when sudo or pkexec are used (and
not `/root`), replacing the need for `$SUDO_HOME`.

Unify the parsers for the path options

There were several parsers for path options/arguments, each with their
own implementation. They now all use `parse_path` internally.

Unify loading the current user info

There are a few places where mkosi wants to know who is the current user
invoking the script with sudo or pkexec, instead of root. Some
combinations of `$SUDO_UID`, `$PKEXEC_UID` and `$SUDO_USER` are used,
but without consistency. Furthermore, when pkexec is used, several
places depend on `bin/mkosi` setting the correct `$SUDO_`* environment
variables.

Those places now use the `mkosi.backend.current_user()` function.
Furthermore, that function returns an `InvokingUser` wrapping the
complete passwd entry from the `pwd` module instead of just the uid/gid.

Merge pull request #1468 from DaanDeMeyer/base-tree

Split up --base-image into --base-tree and --overlay

Split up --base-image into --base-tree and --overlay

--base-tree indicates a base image. It differs from --skeleton-tree
in that use of --base-tree indicates that we've already installed a
distribution and should only install extra packages, not install the
distribution from scratch.

If --overlay is not specified, we just copy all the specified base trees
to the root directory before doing anything else (even before copying the
skeleton trees) and after that we operate as usual.

If --overlay is specified, instead of copying all the base trees to
the root directory, we set up an overlayfs mount with all the base
trees as lowerdirs. After that we operate as usual. The effect is that
all our usual steps will operate on a full view of the image, but the
output will only contain the additions we made on top of the specified
base trees.

Empty install directory before running build script

The install directory is shared between distros, and depending on
the distro, different files might be installed. Let's make sure we
empty the install directory before running the build so that files
from different distros don't end up mixed in the install directory.

Fix stdin being redirect to /dev/null when running ssh, shell or qemu

30b8996a22022289bbf9820b6a04c5bfaf771d5e changed the default of
stdin to /dev/null, which is great, but for the ssh, shell, boot and
qemu commands, we actually need it connected to stdin of the calling
terminal, so let's fix that.

Check if already root in become_root

Instead of requiring the check for `os.getuid() != 0` before calling
`mkosi.run.become_root()`, that check is now performed at the beginning
with an early return if the user is already root.

Override sys.excepthook when calling main

Overriding `sys.excepthook` with `mkosi.run.excepthook` has to happen
when calling `mkosi.__main__.main()`, otherwise it is not applied when
`main` is simply imported and then called (by using a zipapp or a
console script entry point).

Merge pull request #1467 from keszybz/run-stdin

Redirect run() input from /dev/null, adjust formatting

Use the appropriate quote type

When invoking qemu, put all -drive args adjacent

The -smbios args are very long. I was checking out secureboot config,
and I thought that the second -drive argument is missing. Let's make
them adjacent again.

Reformat run commands to have "--option", "value" pairs on the same line

We were already doing this for the majority of invocations, but there
were some exceptions. Since this makes it much easier to mentally
split the command into logical parts, let's do this everywhere.

To make the command stand out a bit, add one space of seperation between
"[" and the first argument and between the last argument and "]".

Set stdin=/dev/null for all commands invoked by run()

In ed93e8c49fc2afb9255280d1dec9b7d81d07ff94 I added this for two
commands that were invoked directly from summary. But the same issue
occurs for other commands that we invoke. Instead of handling them
one-by-one, let's set stdin for all commands. We don't want anything that
we invoke to ever read input from the console, so this is a suitable
default for us.

Fix trees doc names

These are plural

Move --initrd to the Content group

Fix invocation of kernel-install --verbose

‣   Running kernel-install…
+ bwrap --unshare-ipc --unshare-pid --unshare-cgroup --bind /home/zbyszek/src/mkosi/.mkosi.tmpj5z62xil/root / --tmpfs /run --tmpfs /tmp --dev /dev --proc /proc --ro-bind /sys /sys --bind /home/zbyszek/src/mkosi/.mkosi.tmpj5z62xil/var-tmp /var/tmp --die-with-parent --unshare-net sh -c 'chmod 1777 /tmp /var/tmp /dev/shm && PATH=$PATH:/usr/bin:/usr/sbin exec kernel-install add 6.2.11-300.fc38.x86_64 /lib/modules/6.2.11-300.fc38.x86_64/vmlinuz --verbose || exit $?'
Error: initrd '--verbose' not a file.

Fail with a clear error if sd-stub is not installed in the image

Fail with a clear error if sd-stub is not installed in the image

Merge pull request #1463 from keszybz/error-printing-reformat

Reformat error printing a bit

Do not print hint about exception for RuntimeError

If debug is already on, the hint is not useful. Also, if we already printed an
error, we don't need to tell the user that we internally used an exception,
this is not relevant to the user.

Also, change str(e) to e.__class__.__name__. 'str(e)' is the same as 'e' here,
and is not guaranteed to contain any message. E.g. for 'raise ValueError',
str(e) is just ''. Let's say "internal exception CLASS" instead.

I still don't think RuntimeError is a great choice. It'd be totally unsuitable
if mkosi was used as a library. We don't do this right now, so it's not so bad,
but we could still get confused by RuntimeError generated in some sloppy code
in one of the packages that we call. This is hopefully unlikely, but our own
custom exception would be clearer and free of this risk. Alas, RuntimeError was
added purposefully in e25d746f9d7668edc5134cde4ec381c8b2da0136, so I'm not
changing it.

Reformat hint and don't print as part of the error

The error about SecureBoot keys was line-broken in the source code and looked
strange on the tty: the line break was in the middle of the terminal. Let's
rework things a bit to print the hint in gray and print the two filenames at
the end so it is easy to select-and-paste into an actual command. Also
use hint= in other cases where part of the error is advisory.

Fix grammar in comment

Merge pull request #1462 from DaanDeMeyer/cpio

Allow booting cpio images in qemu

Update default Fedora release to 38

Use merged usr path in kernel_image()

Let's assume merged usr everywhere.

Always check in usr/lib/modules for the kernel image

This helps with finding self compiled kernels that are installed
in another location than the distro default.

Allow booting cpio images in qemu

Let's add back some form of direct linux boot by allowing to boot
cpio images. To make this work, either the user has to pass -kernel
or a kernel has to be installed inside the cpio, which we'll copy
out and use as the -kernel argument.

Show exception string when we fail

To at least give a little information to users about what went wrong

Stop compressing split kernel

The individual components of the UKI are already compressed so it
doesn't make sense to compress the UKI itself as well.

Don't run kernel-install if the output format is a cpio

If we're building a cpio, we're very likely not going to want to
install a kernel, so don't do it if bootable is in "auto" mode.

Symlink /etc/initrd-release to /etc/os-release

This also does the trick and is simpler than renaming os-release.

Rework compression

Let's introduce an enum and a helper to refer to the compressed output
path.

We also go back to always reading the password in find_password() if
set in a mkosi.rootpw file. This was changed to only be done during
a build so that the file could be owned by root, but this doesn't apply
anymore because mkosi doesn't need to be root anymore to do a build.

Use default zstd compression level

The current compression level takes a really long time to complete
when the output is large. Let's use the default compression level
instead so compression is a bit faster while still giving good results.

Don't make output an absolute path while parsing

Fixes a regression from 2a6aa720f59e4f66ba63d311f5fa79c3a3ac0a61.

Run systemd-sysusers during the build

Same as systemd-preset, let's run systemd-sysusers as part of the
build process.