Update help for '--with-docs'

The restriction "only Fedora, CentOS and Mageia"
does not (no longer?) apply, since the option is also handled for
other distributions (Debian, Ubuntu, openSUSE).

Merge pull request #292 from lucasdemarchi/tip-build-src

Mount build source

Merge pull request #299 from michaelweghorn/michaelweghorn/addBiosSupportForDebianAndUbuntu

Add BIOS support for Debian and Ubuntu

Add BIOS support for Debian and Ubuntu

The relevant package to support BIOS boot on these platforms
is called 'grub-pc'.

Merge pull request #298 from lucasdemarchi/tip-fix-arch

Fix non-bootable Arch images

Fix package manager cleanup

As the cache is still mounted when we try to cleanup the metadata, it
was removing the downloaded packages from mkosi.cache (or whatever path
the user specified).

Tested Fedora only, with multiple invocations of

    touch mkosi.cache

and multiple invocations of

    sudo mkosi -f --default /dev/null  -d fedora -r 29
    find mkosi.cache -name '*.rpm'

Fix non-bootable Arch images

Allow to mount build sources

This allows us to just mount the build sources into the build image in
order to run the script. By doing this the user may avoid problems with
recursive submodules and at the same time speed up execution for large
trees. This means the user will need to take care of possibly cleaning
up the tree if he wants to make sure he has a clean build.

Fold --use-git-files and --git-files into one option

Besides being nicer to have a single option, it will allow us to easily
extend with new copy methods. While at it, also add an entry in the
config file.

Make none_to_none compatible with other objects

Merge pull request #261 from rantogno/legacy_boot

Add BootProtocols option

set correct defaults for optional args

args.with_network and args.with_docs were always initialized to `False`
thus ignoring any setting in a config file (WithNetwork/WithDocs).

This breaks the config parser (load_defaults) because it checks if the
current value of `key` is None before assigning the value from the
config file.

Signed-off-by: Thore Bödecker <me@foxxx0.de>

Add bios support to Archlinux

In order to add support to boot on bios mode for Archlinux, the
following changes were made:

    - kernel packages are now installed as a second step: this allows us
      to patch the initrd config file so to disable the autodetection
      hook
    - patching the initrd config is now part of the distro install
      rather than bootloader install

uefi-only is the default and we can generate uefi-only, bios-only and
hybrid images. In the latter case grub is used for bios and systemd-boot
for UEFI.

Move grub config generation to grub installation

This allows it to be compatible with distros that ship a default configuration
file. Now we patch the file if it exits, or create one otherwise.

Add support to boot on bios

This implements boot on systems with legacy bios rather
than UEFI. It works by installing grub-pc and systemd-boot
side by side. The former is responsible for bios boot while
the latter continues to be the bootloader for UEFI.

The resulting image, that is currently working only on Fedora,
is capable of booting on both systems. Generate the image with:

    $ sudo mkosi -d fedora -r 29 -t raw_ext4 -b --boot-protocols uefi bios

Boot with UEFI:

    $ sudo qemu-system-x86_64 -machine accel=kvm -smp 2 -m 1024 \
        -drive if=pflash,format=raw,readonly,file=/usr/share/edk2/ovmf/OVMF_CODE.fd \
        -drive format=raw,file=image.raw

Boot with bios:

    $ sudo qemu-system-x86_64 -machine accel=kvm -smp 2 -m 1024 \
        -drive format=raw,file=image.raw

Lucas: This is a cleanup of the implementation done by Rafael
and allowing to have the hybrid approach rather than mandating one
or the other.

Add option for boot protocols

This will allow us to install different boot protocols like
UEFI, BIOS and possibly others.

Merge pull request #284 from lucasdemarchi/tip-chown

chown output files to the calling user

Merge pull request #290 from jimenezrick/master

Add back again the ovmf firmware path from Arch Linux

mkosi: Add back again the ovmf firmware path from Arch Linux

Currently works fine in Arch Linux.

README.md: update deprecated flags - raw_* -> gpt_*

Plus fix the typo to specify the Arch Linux distro as `arch`.

Merge pull request #288 from foxxx0/fix-centos-build

include args.packages for centos builds

include args.packages for centos builds

Fix function signature for Clear

  File "/usr/lib64/python3.7/contextlib.py", line 74, in inner
    return func(*args, **kwds)
TypeError: install_clear() takes 1 positional argument but 2 positional arguments (and 2 keyword-only arguments) were given

Make chown of output files optional

Chown output files to user calling sudo

In most of the cases we are using sudo to elevate privileges and be able
to do all operations we need. The final files created by mkosi though
should better be owned by the original user so the user may decide what
to do with it like copying it somewhere else, starting qemu, etc.

Add helper function to link output files

Merge pull request #286 from poettering/test-ci

Add support for building mkosi with semaphore CI

ci: add simple script for running CI tests in semaphore

For now, it just builds an Ubuntu image

mkosi: use debootstrap's --merged-usr switch only if supported

This allows us to run mkosi on Semaphore, which only provides us with
Ubuntu 16.04 as newest release, where this swich isn't known yet.

Bump required Python version everywhere

The required Python version was bumped to 3.6 in e965e58a3f (because we
now use f-strings), but README.md and setup.py weren’t updated.

Merge pull request #283 from keszybz/f-strings

Use f-strings and some minor cleanups

Bump required python version to 3.6

f-strings are a syntax error with older versions anyway, but let's bump
the version string for any human readers.

Add mkosi.py as symlink to mkosi

This is useful during development to allow 'import mkosi', for
example to test import functions and such. In the future it'll also
be useful if we grow any unittests.

Use f-strings

I kept or switched to .format in a few places where the arguments were
more complicated.

Remove left-over debug statement

Fix arch reference in error message

Merge pull request #281 from keszybz/snap-support

Missing bits to allow snaps to be generated using mkosi

Merge pull request #282 from lucasdemarchi/tip-fixes

Fixes for latest merges

Call 'mkosi.finalize' script

This is similar to 'mkosi.postinst', but is called in the host. This
makes it much easier to copy-in files. It is also much quicker when
creating images for a foreign architecture.

v2:
- s/postinst2/finalize/g
- call the script first with "build" too
- pass the root directory as $BUILDROOT (like rpmbuild) and not as
  a positional argument. (This is easier to consume for scripts and
  also easier to extend with additional variables in the future.)
- update to use args_find_path()

Allow forcing the installation architecture

v2:
- s/arch/architecture/g
- add an optional line in the status output

Make mksquashfs args configurable

For example, snaps have to be generated with "-noappend -no-xattrs
-no-fragments -comp xz". The last argument is configurable through
Compress=xz, but the other ones weren't so far. Let's just override the
mksquashfs executable. To be nice and flexible, 'mkosi.mksquashfs-tool'
will be autodetected. It may be also specified explicitly:

  [Output]
  Mksquashfs=/some/special/mksquashfs

If specfied explicitly, an argument list may be included:

  [Output]
  Mksquashfs=mksquashfs -noappend -no-xattrs -no-fragments

When args are present, they replace "-noappend" that we add by default.
The arguments for compression (-comp xx) is always added if configured
by Compress=. This makes the two settings orthogonal.

Use a common helper function to discover paths

This is actually more readable because the variable name definitions
and paths are defined at one place and not spread over all the itty
bitty functions.

I used '' for the variable names and "" for paths. I think that makes
the two types of arguments a bit more distinguishable.

Fix wrong type to link_output

$ sudo mkosi --default /dev/null -d fedora -r 29 -t directory -p dnf
...
Traceback (most recent call last):
  File "/bin/mkosi", line 3959, in <module>
    main()
  File "/bin/mkosi", line 3949, in main
    build_stuff(args)
  File "/bin/mkosi", line 3809, in build_stuff
    link_output(args, workspace, raw or tar)
  File "/bin/mkosi", line 2478, in link_output
    os.rename(os.path.join(workspace, "root"), args.output)
  File "/usr/lib64/python3.7/posixpath.py", line 80, in join
    a = os.fspath(a)
TypeError: expected str, bytes or os.PathLike object, not TemporaryDirectory

Fix broken bootable images

We need to bring in systemd-udev to the packages list if the image is
bootable, not if we are going to run the build script.

$ sudo mkosi -d fedora -r 29 -t raw_ext4 -b
...
FileNotFoundError: [Errno 2] No such file or directory: '/var/tmp/mkosi-a9r063jq/root/usr/lib/systemd/boot/efi/systemd-bootx64.efi'

This could maybe be in make_rpm_list(), but the packages names for
Mageia are different than the ones for Centos/Fedora.

Revert "Remove now-redundant check if partno is None"

This reverts commit 13052e658e95c5913bc11c9398faf24e60143d88.

luks_setup_all() depends on this function returning None in case
partno is None. Fixing it in the caller overly complicates it.
Let's fix the breakage and maybe later rework the code.

$ sudo mkosi -d fedora -r 29 -t raw_ext4 -b
...
subprocess.CalledProcessError: Command '['mkfs.ext4', '-L', 'home', '-M', '/home', '/dev/loop0pNone']' returned non-zero exit status 1.

To avoid the mistake again, annotate partno parameter as being
optional.

Merge pull request #275 from keszybz/squashfs

Plain squashfs image output and making final images leaner

gitignore: add password file and mypy cache

dnf: use a shorter form for nodocs

fedora/centos: do no install systemd and passwd by default

There is no reason to require passwd to be installed. Depending on
what the image is used for, user logins through with traditional
authentication might be completely unnecessary. Similarly, systemd is
only useful when the image is to be booted (under qemu or as a
container). But when args.bootable is true, systemd-udev will pull in
systemd anyway. So let's just reduce the packages we always pull in to
the minimum that defines each distro. Any additional packages should
be pulled in through the project configuration.

Remove yum/dnf/rpm metadata after installation

Dnf data is removed if dnf is not installed into the image, and similarly
for the other tools.

I didn't implement this functionality for Debian/Ubuntu/Arch, because I
don't know enough about those distros, but is should be easy to add.

The arguments that are passwd to build_image() and friends are made
keyword-only. There's now three arguments, and this way there's less
chance of mistake.

v2:
- When deciding whether to keep dnf or rpm data, check if path exists

Checking if the dnf/rpm packages are in the requested list is nice,
but inadequate. For example, somebody could specifyg a @group or just
another package that pulls those in. Checking if the executables are
present in the image would work in those cases too.

Rework how dnf/yum package list is generated

Two obvious bugs are fixed:
- boot_packages were always used, because run_build_script was used in a
conditional, but this name wasn't a local variable but the global function, so
it was always true ('run_build_script=True|False' wasn't passed down properly
to invoke_yum()/invoke_dnf()).
- in invoke_yum() xfsprogs wasn't added like in install_dnf().

Generating the list of packages first instead of interleaving that with
other args seems cleaner and easier to debug. The code to do that is now
shared between yum and dnf.

Remove empty line at the beggining of functions

Some functions had it, without any apparent pattern. Normal Python
coding style does not include this.

With --shell, pass --read-only through to systemd-nspawn

It seems systemd-nspawn has a bug where --read-only doesn't actually
work, but this should not hurt in either case.

Edit: https://github.com/systemd/systemd/pull/10481 for systemd-nspawn.

Make compression type configurable

This allows the in-fs compression algorithm to be selected: e.g. zstd
is better in pretty much all cases than zlib or xz. Lz4 might be a
good choice if speed is very important, etc.

Exact algorithms supported by both the tools and the kernel vary, so only
a general check if the algorithm name is known is done.

Note: support for zstd was added to fs/squahsfs in linux v4.13-rc5-4-g87bf54bb43.
But it seems that mksquashfs in F28 does not support zstd. Strange.

Do not ignore negative command-line switches

"is None" should be used, otherwise setting something to "no" on the command-line
would be overwritten by the defaults file.

Add -t squasfsh: raw squashfs filesystems

v2:
- rename 'squashfs' to 'plain_squashfs'
- add .is_squashfs() helper

Rename RAW_FORMATS to is_disk() and RAW_RW_FS_FORMATS to is_disk_rw()

The new names actually reflect the meaning. I chose "is_disk" over
"is_gpt" because it is more general and will also work if we decide to
generate other disk formats, e.g. ISO images or disks with DOS
partitions.

Rename --format members from raw_* to gpt_*

They are not "raw" in any meaningful way, since the filesystems are
packaged in a disk image with a gpt partition. I know that "raw" comes
from qemu, where it used to mean e.g. not-qcow2, but since we don't
produce qcow2 or any of the other formats, here it is just misleading.

Also, use auto() to number OutputFormat members and don't show compat names
in help output.

v2:
- add .__repr__() and .__str__() and .from_string() to make the --help
  output message and the error message when an unknown type is given nicer.

Add --debug=run

The option is written in a way that allows additional selectors to be added
easily. This patch adds just one: --debug=run, that simply prints all commands
as they are executed similarly to make.

Remove workaround to always install docs

It was added in cf359facaeb with no explanation. Should be OK nowadays.

Merge pull request #279 from keszybz/pr272-rework

Fix typing in partition() function

Remove now-redundant check if partno is None

typing: use non-None types for partition()

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Merge pull request #278 from poettering/qcow2

optionally convert output to qcow2

mkosi: optionally convert resulting image to qcow2

Fixes: #218

mkosi: fix checks whether configuration settings are already set

Merge pull request #277 from lucasdemarchi/tip-fix-symlink

Misc fixes

Fix output dir creation

The cache dir is created inside the output dir, so we need to create the
output dir at least before that. Fix the following error:

$ sudo mkosi -d fedora -r 29 -t directory -O bla --default /dev/null

Traceback (most recent call last):
  File "/bin/mkosi", line 3767, in <module>
    main()
  File "/bin/mkosi", line 3757, in main
    build_stuff(args)
  File "/bin/mkosi", line 3573, in build_stuff
    setup_package_cache(args)
  File "/bin/mkosi", line 2412, in setup_package_cache
    d = tempfile.TemporaryDirectory(dir=os.path.dirname(args.output), prefix=".mkosi-")
  File "/usr/lib64/python3.7/tempfile.py", line 788, in __init__
    self.name = mkdtemp(suffix, prefix, dir)
  File "/usr/lib64/python3.7/tempfile.py", line 366, in mkdtemp
    _os.mkdir(file, 0o700)
FileNotFoundError: [Errno 2] No such file or directory: '/home/lucas/p/mkosi/bla/.mkosi-l3oxfchg'

Fix defaults symlink

configs/ got moved to mkosi.files but the symlink was left behind.

Merge pull request #276 from poettering/rndseed

drop random seed in built images, and other fixlets

mkosi: if/elif simplifications

mkosi: remove random seed file in images

If the random seed is part of the image, then each time it is run would
start with the same pool hence the entropy would be much smaller.

mkosi: use the usual way to show start/finish of one of the steps for the password setting too

mkosi: strictly require offline operation from systemctl

It's very likely systemctl will run in one of the scripts. Let's always
make sure it never even tries to talk to PID, simply as a matter of
robustness.

Fixes: #262

Merge pull request #273 from zyga/args-type

Begin type-checking parsed command line arguments

Merge pull request #264 from lucasdemarchi/tip-arch

Fix archlinux

Recursively unmount

We always want to unmount anything left on the root mountpoint. Just
use the --recursive switch from umount.

Add type annotations for esp_partno

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Add type annotations to swap_partno

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Add CommandLineArguments type

This patch adds a new type that is the result of parsing command line
arguments via argparse.ArgumentParser.parse_args(). This type will gain
typed attributes that will allow to type check all the functions using
it, gradually, one by one.

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Merge pull request #271 from keszybz/fedora-29-update

Update Fedora defaults to 29

fedora: import new keys

This also makes during rawhide installs we'll check with the F30 key.

fedora: use F29 as default

fedora: remove glibc-minimal-langpack from package list

It is now included in the list inside mkosi, so no need to repeat it here.

fedora: add new dir and make mkosi.default just a symlink

Contributors from other distros will probably want to add similar
configs, so it makes sense to "demote" the Fedora config. A new dir is
created to avoid cluttering the root directory with those files.

Add static type annotations

This patch adds a lot of type annotations, as compatible with mypy
0.620. The type checking is not perfect as many places use loosely typed
argparse.Namespace and I didn't want to introduce any changes there.

Some errors reported by mypy now show missing None checks but I also
decided not to fix them and make the review more complex. This patch
should only annotate types, nothing else.

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Merge pull request #268 from eliasp/ubuntu-bootable-gpt-dracut

Make Ubuntu GPT images bootable

Ubuntu/GPT-Boot: Include dracut bug workaround comment in conf file

Ubuntu/GPT-Boot: Make `install_boot_loader_ubuntu()` use the identical function for Debian

Fedora: install glibc-minimal-langpack

By forcing the installation of glibc-minimal-langpack we avoid glibc-all-langpacks
which is quite large. See
https://fedoraproject.org/wiki/Changes/Remove_glibc-langpacks-all_from_buildroot.

While at it, configure the locale as C.utf8 so we don't get the
default which is POSIX.

Ubuntu/GPT-Boot: Remove TODO list item

Ubuntu/GPT-Boot: Add workaround for dracut bug wrt crc32 module

Ubuntu/GPT-Boot: Add + execute bootloader installation for Ubuntu

Ubuntu/GPT-Boot: Correct the Kernel image pkg name on Ubuntu

Ubuntu/GPT-Boot: Add `universe` repo for Ubuntu to allow `dracut` installation

Ubuntu/GPT-Boot: Don't die creating a bootable Ubuntu image

Reorganize and expand OVMF firmware locations

Add architecture-specific paths before generic ones (they’re more likely
to be correct for the current architecture), and add some paths from the
Arch Linux `ovmf` (“extra” repository) and `edk2-ovmf` (Arch User
Repository) packages.

mkosi: fix to enable Fedora rawhide support

The Fedora repos require using the release version of 'rawhide' in the URLs,
while mkosi currently forces you to select a specific version number, e.g. 28.
You can not install Fedora '28', but you can install 'rawhide', using the gpg
keys for release version '28'.

These changes:
(1) Assume the latest (known) version when --release=rawhide, but warn the user
(2) Allow user to override a specific rawhide version with the option
--release=rawhide-<version>

Signed-off-by: Chris Patterson <cjp256@gmail.com>

Merge pull request #265 from lucasdemarchi/tip-clear

Allow to run on qemu >= 2.12

Log command line run on qemu

This makes it easier to debug and customize what we are running when
calling qemu. And example customization might be:

sudo mkosi --default mkosi.fedora qemu \
    -drive if=pflash,format=raw,file=myvars.fd