mkosi: add "-a" switch for building everything in mkosi.files/

Let's add a one-stop solution for building a set of files all in one go.
For that, simply place "mkosi.default"-style files in mkosi.files/ and
use "mkosi -a" to build them all.

Fixes: #176

mkosi: rename copy() → copy_path() so that we can import copy module without hassles

Merge pull request #311 from poettering/debian-root-mkdir

mkosi: create root directory as 0755

mkosi: create root directory as 0755

Fixes: #253

Merge pull request #300 from LukeShu:to-upstream/flake8+mypy

Merging locally to resolve the few conflicts.

Fix default value for SourceFileTransfer

To retain the same behavior as before folding the options into one.

mkosi: when a .nspawn file is used, actually use it when running nspawn

Previously, we'd move it in place, but when invoking nspawn on "mkosi
shell" or "mkosi boot" it would be ignored, since that's what nspawn
does unless the file is in /etc or /run.

Let's change this and mark it trusted, after all it's coming from the
same source that just built the image.

This is very useful for cases where you want to default to
"--private-network" when "mkosi boot" is invoked.

Merge pull request #303 from michaelweghorn/michaelweghorn/updateHelp

Update help for '--with-docs'

Update help for '--with-docs'

The restriction "only Fedora, CentOS and Mageia"
does not (no longer?) apply, since the option is also handled for
other distributions (Debian, Ubuntu, openSUSE).

Merge pull request #292 from lucasdemarchi/tip-build-src

Mount build source

Merge pull request #299 from michaelweghorn/michaelweghorn/addBiosSupportForDebianAndUbuntu

Add BIOS support for Debian and Ubuntu

mypy: Fix issues discovered by mypy

Mostly issues with not handling things that may be None.

mypy: Fiddle with things to clue mypy in

But this shouldn't actually change anything; this is just making
stylistic changes to the code to clue mypy in to some stuff.

mypy: Unify typing of install_distribution() and install_{DISTRIBUTION}()

mypy: invoke_dnf_or_yum(): Match the signature of invoke_dnf() and invoke_yum()

mypy: ListAction: assert that 'values' is a string

We must declare 'values' as Union[str, Sequence[Any], None], to keep the
__call__ definition compatible with the parent class.  However, we know
(and rely on) that how we call .add_argument() means that it will always
be a str.  Add an 'assert' to let mypy know what we know.

mypy: Make arguments Optional[], assert is not None as appropriate

There are several places where we unconditionally call a function, then
that function checks `args` to decide if it immediately returns, or if it
actually gets to do work.  In the cases where it immediately returns, some
of the arguments can be None, so they should be hinted as Optional[].
However, in the case were it does get to do work, they cannot be None.

So, hint them as Optional[], and the add `assert ARGNAME is not None`
after the check that implies it's not None, to let mypy know what we know.

For instance: args.output_format.is_disk() implies that raw is not None.
So it's safe to make the change:

         if not args.output_format.is_disk():
             return None
    +    assert raw is not None

mypy: Add missing type annotations

mypy: Fix wrong type annotations

Common cases:

 - An `if foo is None` check clearly indicates that foo should be
   Optional[]:
   * prepare_root(): dev
   * prepare_home(): dev
   * prepare_srv(): dev
   * mount_image(): loopdev, home_dev, srv_dev
   * save_cache(): raw, cache_path
   * link_output_nspawn_settings(): path
   * link_output_checksum(): checksum
   * link_output_root_hash(): root_hash_file
   * link_output_signature(): signature
   * link_output_bmap(): bmap
   * process_settings(): key
   * run_build_script(): raw
 - In general, replace IO[str] with TextIO, except that in many cases
   BinaryIO is correct:
   * create_image() returns binary, not text
   * reuse_cache_image() returns binary, not text
   * attach_image_loopback() takes binary, not text
   * make_verity() returns binary, not text
   * calculate_sha256sum():
     . argument: raw is binary, not text
     . argument: tar is binary, not text
   * make_build_dir():
     . return: (raw|squashfs) is binary, not text
     . return: tar is binary, not text
   * run_build_script(): raw is binary, not text
   * remove_artifacts():
     . argument: raw is binary, not text
     . argument: tar is binary, not text
 - In general, replace IO[bytes] with BinaryIO, except that in many cases
   TextIO is correct:
    * calculate_sha256sum() returns text, not binary
    * calculate_bmap() returns text, not binary
 - Avoid ambiguous IO[Any]:
    * hash_file() writes to a TextIO
    * calculate_bmap() reads a BinaryIO

Special cases:

 - run(): Either returns a CompletedProcess, or doesn't return.  Drop
   the Optional[].
 - mount_image(): ???
 - calculate_sha256sum():
   . argument: root_hash_file is a BinaryIO, not a str
   . argument: nspawn_settings is a BinaryIO, not a str
     Wait, BinaryIO, not TextIO!?  Yes, even though the .nspawn file is
     plaintext.  The IO object we have here is a NamedTemporaryFile copy
     of the user's .nspawn file.  We made that copy in binary mode, to
     avoid pointlessly decoding then encoding the text.
 - remove_glob(): When providing a type hint for '*args', you provide the
   hint for the individual 'arg's, not the 'args' list.

mypy: Change GPTRootTypePair: collections.namedtuple → typing.NamedTuple

mypy: Create new variables instead of reusing names

When we have a "new" with a new type, don't reuse the name of another
variable still in scope.

mypy: Figure out generators and decorators

 - A @contextlib.contextmanager should return a
   typing.Generator[yield, send, return]
 - Because of <https://github.com/python/mypy/issues/1317>, mypy 0.641
   doesn't think complete_step() has the correct type to be a decorator
   that works the way it does.  So, set

       completestep = complete_step

   But do typecasting to make mypy think it's the correct type.  And use
   `@completestep` instead of `@complete_step`.  That's an easy
   search/replace.

mypy: Fiddle with making it happy with argcomplete

mypy: Differentiate partition() from optional_partition()

mypy: Introduce manual cast()s around tempfile.NamedTemporaryFile

Unfortunately, mypy 0.641 isn't yet smart enough to figure out the
appropriate subtype of IO to return from tempfile.NamedTemporaryFile()
based on whether the mode= argument contains "b", so we'll have to cast()
its return value for now.

If this makes a line wider than 119 characters, move the dir= argument to
the next line.

mypy: Convert type-hint comments to PEP 526 type-hints

Commit a415718e27b673032a415d35af41f9d3aa1b9a99 bumped the required
Python version to 3.6; which means that we can now use PEP 526
type-hints, instead of doing it in magical `# type:` comments.

mypy: .gitignore: Add .mypy_cache/

flake8: E741: Rename ambiguous variable

PEP 8 says to avoid `l` as a variable name, because it can be hard to
distinguish from `1` and `I`.  This means that flake8 complains about
the variable inside of ListAction.

However, flake8 doesn't trigger E741 for *argument* names.  Even
though flake8 doesn't complain about it, also rename the argument of
line_join_list() from `l` to `ary`.

flake8: E722: Ignore complaints about bare 'except'

flake8: F401: Remove unused import

flake8: E703: Remove pointless semicolons

flake8: E111,E128: Fixup indentation

 - E111: Normal indents should be multiples of 4
 - E128: Fixup visual indents

flake8: E201,E202,E203,E221,E222,E251: Remove individual spaces around things

 - E201: Don't put a space after the `[` in a list:
       ary = [ item,
              ^
 - E201: Don't put a space after the `{` in a dict:
       d = { key: val,
            ^
 - E202: Don't put a space before the `]` in a list:
       ary = [item1, item2 ]
                          ^
 - E202: Don't put a space before the `}` in a dict:
       d = [key: val }
                    ^
 - E203: Don't put a space before the `:` in a dict:
       d = {key : val}
               ^
 - E221: Write `# NOQA: E221` if we're lining up the `=` in a list of
   assignments
 - E222: Write `# NOQA: E222` if we're lining numbers on the right
   side of `=` in a list of assignments
 - E251: When defining an argument a default value, and the argument
   isn't type-hinted, don't put spaces around the `=`:
       def fn(argname = default) -> type:
                     ^ ^
   This is in contrast with type-hinted arguments with defaults, which
   DO get spaces around the `=` (E252).
 - E251: Don't put spaces around the `=` when passing a keyword
   argument to a function:
       fn(kw = val)
            ^ ^

flake8: E225,E227,E231,E252,E261: Add individual spaces around things

 - E225: Put a space on each side of the `+` operator
 - E227: Put a space on each side of the `|` operator
 - E227: Put a space on each side of the `<<` operator
 - E231: Put a space after `,` in a list/set/tuple.
 - E231: Put a space after the `:` when defining a lambda
 - E231: Put a space after the `:` in dict literals
 - E231: When type-hinting an argument, put a space between the `:`
   and the type:
       def fn(argname: type) -> type:
                      ^
 - E252: When type-hinting an argument with a default value, put
   spaces around the `=`:
       def fn(argname: type = default) -> type:
                           ^ ^
   This is in contrast with non-type-hinted arguments with defaults,
   which do NOT get spaces around the `=` (E251).
 - E261: Put two spaces before the `#` of an inline comment

flake8: E301: At least 1 blank line between method definitions

flake8: E302,E305: 2 blank lines around class/function definitions

This does not apply to method definitions.

flake8: E501: Address lines that are 120 characters or longer

 - Set the maximum line length to 119, same as systemd.git
 - If the line is a function definition that is long because of many args,
   put one arg per line
 - Don't split user-facing strings over multiple lines; use NOQA to silence
   those complaints
 - In a few cases, re-structure the code to be easier to follow

This doesn't blindly modify the code to flake8's complaints, it looks at
long lines, and sees if we can make them easier to read.

flake8-isort: Run `isort *.py`

And add `setup.cfg` to configure isort.

Avoid multi-line lambdas; use a regular `def` in those cases

They are hard to read.

Add BIOS support for Debian and Ubuntu

The relevant package to support BIOS boot on these platforms
is called 'grub-pc'.

Merge pull request #298 from lucasdemarchi/tip-fix-arch

Fix non-bootable Arch images

Fix package manager cleanup

As the cache is still mounted when we try to cleanup the metadata, it
was removing the downloaded packages from mkosi.cache (or whatever path
the user specified).

Tested Fedora only, with multiple invocations of

    touch mkosi.cache

and multiple invocations of

    sudo mkosi -f --default /dev/null  -d fedora -r 29
    find mkosi.cache -name '*.rpm'

Fix non-bootable Arch images

Allow to mount build sources

This allows us to just mount the build sources into the build image in
order to run the script. By doing this the user may avoid problems with
recursive submodules and at the same time speed up execution for large
trees. This means the user will need to take care of possibly cleaning
up the tree if he wants to make sure he has a clean build.

Fold --use-git-files and --git-files into one option

Besides being nicer to have a single option, it will allow us to easily
extend with new copy methods. While at it, also add an entry in the
config file.

Make none_to_none compatible with other objects

Merge pull request #261 from rantogno/legacy_boot

Add BootProtocols option

set correct defaults for optional args

args.with_network and args.with_docs were always initialized to `False`
thus ignoring any setting in a config file (WithNetwork/WithDocs).

This breaks the config parser (load_defaults) because it checks if the
current value of `key` is None before assigning the value from the
config file.

Signed-off-by: Thore Bödecker <me@foxxx0.de>

Add bios support to Archlinux

In order to add support to boot on bios mode for Archlinux, the
following changes were made:

    - kernel packages are now installed as a second step: this allows us
      to patch the initrd config file so to disable the autodetection
      hook
    - patching the initrd config is now part of the distro install
      rather than bootloader install

uefi-only is the default and we can generate uefi-only, bios-only and
hybrid images. In the latter case grub is used for bios and systemd-boot
for UEFI.

Move grub config generation to grub installation

This allows it to be compatible with distros that ship a default configuration
file. Now we patch the file if it exits, or create one otherwise.

Add support to boot on bios

This implements boot on systems with legacy bios rather
than UEFI. It works by installing grub-pc and systemd-boot
side by side. The former is responsible for bios boot while
the latter continues to be the bootloader for UEFI.

The resulting image, that is currently working only on Fedora,
is capable of booting on both systems. Generate the image with:

    $ sudo mkosi -d fedora -r 29 -t raw_ext4 -b --boot-protocols uefi bios

Boot with UEFI:

    $ sudo qemu-system-x86_64 -machine accel=kvm -smp 2 -m 1024 \
        -drive if=pflash,format=raw,readonly,file=/usr/share/edk2/ovmf/OVMF_CODE.fd \
        -drive format=raw,file=image.raw

Boot with bios:

    $ sudo qemu-system-x86_64 -machine accel=kvm -smp 2 -m 1024 \
        -drive format=raw,file=image.raw

Lucas: This is a cleanup of the implementation done by Rafael
and allowing to have the hybrid approach rather than mandating one
or the other.

Add option for boot protocols

This will allow us to install different boot protocols like
UEFI, BIOS and possibly others.

Merge pull request #284 from lucasdemarchi/tip-chown

chown output files to the calling user

Merge pull request #290 from jimenezrick/master

Add back again the ovmf firmware path from Arch Linux

mkosi: Add back again the ovmf firmware path from Arch Linux

Currently works fine in Arch Linux.

README.md: update deprecated flags - raw_* -> gpt_*

Plus fix the typo to specify the Arch Linux distro as `arch`.

Merge pull request #288 from foxxx0/fix-centos-build

include args.packages for centos builds

include args.packages for centos builds

Fix function signature for Clear

  File "/usr/lib64/python3.7/contextlib.py", line 74, in inner
    return func(*args, **kwds)
TypeError: install_clear() takes 1 positional argument but 2 positional arguments (and 2 keyword-only arguments) were given

Make chown of output files optional

Chown output files to user calling sudo

In most of the cases we are using sudo to elevate privileges and be able
to do all operations we need. The final files created by mkosi though
should better be owned by the original user so the user may decide what
to do with it like copying it somewhere else, starting qemu, etc.

Add helper function to link output files

Merge pull request #286 from poettering/test-ci

Add support for building mkosi with semaphore CI

ci: add simple script for running CI tests in semaphore

For now, it just builds an Ubuntu image

mkosi: use debootstrap's --merged-usr switch only if supported

This allows us to run mkosi on Semaphore, which only provides us with
Ubuntu 16.04 as newest release, where this swich isn't known yet.

Bump required Python version everywhere

The required Python version was bumped to 3.6 in e965e58a3f (because we
now use f-strings), but README.md and setup.py weren’t updated.

Merge pull request #283 from keszybz/f-strings

Use f-strings and some minor cleanups

Bump required python version to 3.6

f-strings are a syntax error with older versions anyway, but let's bump
the version string for any human readers.

Add mkosi.py as symlink to mkosi

This is useful during development to allow 'import mkosi', for
example to test import functions and such. In the future it'll also
be useful if we grow any unittests.

Use f-strings

I kept or switched to .format in a few places where the arguments were
more complicated.

Remove left-over debug statement

Fix arch reference in error message

Merge pull request #281 from keszybz/snap-support

Missing bits to allow snaps to be generated using mkosi

Merge pull request #282 from lucasdemarchi/tip-fixes

Fixes for latest merges

Call 'mkosi.finalize' script

This is similar to 'mkosi.postinst', but is called in the host. This
makes it much easier to copy-in files. It is also much quicker when
creating images for a foreign architecture.

v2:
- s/postinst2/finalize/g
- call the script first with "build" too
- pass the root directory as $BUILDROOT (like rpmbuild) and not as
  a positional argument. (This is easier to consume for scripts and
  also easier to extend with additional variables in the future.)
- update to use args_find_path()

Allow forcing the installation architecture

v2:
- s/arch/architecture/g
- add an optional line in the status output

Make mksquashfs args configurable

For example, snaps have to be generated with "-noappend -no-xattrs
-no-fragments -comp xz". The last argument is configurable through
Compress=xz, but the other ones weren't so far. Let's just override the
mksquashfs executable. To be nice and flexible, 'mkosi.mksquashfs-tool'
will be autodetected. It may be also specified explicitly:

  [Output]
  Mksquashfs=/some/special/mksquashfs

If specfied explicitly, an argument list may be included:

  [Output]
  Mksquashfs=mksquashfs -noappend -no-xattrs -no-fragments

When args are present, they replace "-noappend" that we add by default.
The arguments for compression (-comp xx) is always added if configured
by Compress=. This makes the two settings orthogonal.

Use a common helper function to discover paths

This is actually more readable because the variable name definitions
and paths are defined at one place and not spread over all the itty
bitty functions.

I used '' for the variable names and "" for paths. I think that makes
the two types of arguments a bit more distinguishable.

Fix wrong type to link_output

$ sudo mkosi --default /dev/null -d fedora -r 29 -t directory -p dnf
...
Traceback (most recent call last):
  File "/bin/mkosi", line 3959, in <module>
    main()
  File "/bin/mkosi", line 3949, in main
    build_stuff(args)
  File "/bin/mkosi", line 3809, in build_stuff
    link_output(args, workspace, raw or tar)
  File "/bin/mkosi", line 2478, in link_output
    os.rename(os.path.join(workspace, "root"), args.output)
  File "/usr/lib64/python3.7/posixpath.py", line 80, in join
    a = os.fspath(a)
TypeError: expected str, bytes or os.PathLike object, not TemporaryDirectory

Fix broken bootable images

We need to bring in systemd-udev to the packages list if the image is
bootable, not if we are going to run the build script.

$ sudo mkosi -d fedora -r 29 -t raw_ext4 -b
...
FileNotFoundError: [Errno 2] No such file or directory: '/var/tmp/mkosi-a9r063jq/root/usr/lib/systemd/boot/efi/systemd-bootx64.efi'

This could maybe be in make_rpm_list(), but the packages names for
Mageia are different than the ones for Centos/Fedora.

Revert "Remove now-redundant check if partno is None"

This reverts commit 13052e658e95c5913bc11c9398faf24e60143d88.

luks_setup_all() depends on this function returning None in case
partno is None. Fixing it in the caller overly complicates it.
Let's fix the breakage and maybe later rework the code.

$ sudo mkosi -d fedora -r 29 -t raw_ext4 -b
...
subprocess.CalledProcessError: Command '['mkfs.ext4', '-L', 'home', '-M', '/home', '/dev/loop0pNone']' returned non-zero exit status 1.

To avoid the mistake again, annotate partno parameter as being
optional.

Merge pull request #275 from keszybz/squashfs

Plain squashfs image output and making final images leaner

gitignore: add password file and mypy cache

dnf: use a shorter form for nodocs

fedora/centos: do no install systemd and passwd by default

There is no reason to require passwd to be installed. Depending on
what the image is used for, user logins through with traditional
authentication might be completely unnecessary. Similarly, systemd is
only useful when the image is to be booted (under qemu or as a
container). But when args.bootable is true, systemd-udev will pull in
systemd anyway. So let's just reduce the packages we always pull in to
the minimum that defines each distro. Any additional packages should
be pulled in through the project configuration.

Remove yum/dnf/rpm metadata after installation

Dnf data is removed if dnf is not installed into the image, and similarly
for the other tools.

I didn't implement this functionality for Debian/Ubuntu/Arch, because I
don't know enough about those distros, but is should be easy to add.

The arguments that are passwd to build_image() and friends are made
keyword-only. There's now three arguments, and this way there's less
chance of mistake.

v2:
- When deciding whether to keep dnf or rpm data, check if path exists

Checking if the dnf/rpm packages are in the requested list is nice,
but inadequate. For example, somebody could specifyg a @group or just
another package that pulls those in. Checking if the executables are
present in the image would work in those cases too.

Rework how dnf/yum package list is generated

Two obvious bugs are fixed:
- boot_packages were always used, because run_build_script was used in a
conditional, but this name wasn't a local variable but the global function, so
it was always true ('run_build_script=True|False' wasn't passed down properly
to invoke_yum()/invoke_dnf()).
- in invoke_yum() xfsprogs wasn't added like in install_dnf().

Generating the list of packages first instead of interleaving that with
other args seems cleaner and easier to debug. The code to do that is now
shared between yum and dnf.

Remove empty line at the beggining of functions

Some functions had it, without any apparent pattern. Normal Python
coding style does not include this.

With --shell, pass --read-only through to systemd-nspawn

It seems systemd-nspawn has a bug where --read-only doesn't actually
work, but this should not hurt in either case.

Edit: https://github.com/systemd/systemd/pull/10481 for systemd-nspawn.

Make compression type configurable

This allows the in-fs compression algorithm to be selected: e.g. zstd
is better in pretty much all cases than zlib or xz. Lz4 might be a
good choice if speed is very important, etc.

Exact algorithms supported by both the tools and the kernel vary, so only
a general check if the algorithm name is known is done.

Note: support for zstd was added to fs/squahsfs in linux v4.13-rc5-4-g87bf54bb43.
But it seems that mksquashfs in F28 does not support zstd. Strange.

Do not ignore negative command-line switches

"is None" should be used, otherwise setting something to "no" on the command-line
would be overwritten by the defaults file.

Add -t squasfsh: raw squashfs filesystems

v2:
- rename 'squashfs' to 'plain_squashfs'
- add .is_squashfs() helper

Rename RAW_FORMATS to is_disk() and RAW_RW_FS_FORMATS to is_disk_rw()

The new names actually reflect the meaning. I chose "is_disk" over
"is_gpt" because it is more general and will also work if we decide to
generate other disk formats, e.g. ISO images or disks with DOS
partitions.

Rename --format members from raw_* to gpt_*

They are not "raw" in any meaningful way, since the filesystems are
packaged in a disk image with a gpt partition. I know that "raw" comes
from qemu, where it used to mean e.g. not-qcow2, but since we don't
produce qcow2 or any of the other formats, here it is just misleading.

Also, use auto() to number OutputFormat members and don't show compat names
in help output.

v2:
- add .__repr__() and .__str__() and .from_string() to make the --help
  output message and the error message when an unknown type is given nicer.

Add --debug=run

The option is written in a way that allows additional selectors to be added
easily. This patch adds just one: --debug=run, that simply prints all commands
as they are executed similarly to make.

Remove workaround to always install docs

It was added in cf359facaeb with no explanation. Should be OK nowadays.

Merge pull request #279 from keszybz/pr272-rework

Fix typing in partition() function

Remove now-redundant check if partno is None

typing: use non-None types for partition()

Signed-off-by: Zygmunt Krynicki <zygmunt.krynicki@canonical.com>

Merge pull request #278 from poettering/qcow2

optionally convert output to qcow2