homed: default to "btrfs" as fs type in the LUKS backend

Apparently both Fedora and suse default to btrfs now, it should hence be
good enough for us too.

This enables a bunch of really nice things for us, most importanly we
can resize home directories freely (i.e. both grow *and* shrink) while
online. It also allows us to add nice subvolume based home directory
snapshotting later on.

Also, whenever we mention the three supported types, alaways mention
them in alphabetical order, which is also our new order of preference.

Merge pull request #16771 from poettering/dyn-pwq

make libpwquality a dlopen() dependency + use it in systemd-firstboot, too

Merge pull request #16762 from poettering/homed-fixlets

homed: five fixlets

Merge pull request #16640 from keszybz/various-patches

Improve systemd-analyze security a bit and other assorted bits

meson: add min version for libfdisk

Was trying to run src/partition/test-repart.sh on CentOS 8 and the first
resize call kept failing with ERANGE. Turned out that CentOS 8 comes
with libfdisk-devel-2.32.1 which is missing
https://github.com/karelzak/util-linux/commit/2f35c1ead621f42f32f7777232568cb03185b473
(in libfdisk 2.33 and up).

update TODO

firstboot: hook up with libpwquality

home: make libpwquality dep a runtime dlopen() one

Also, let's move the glue for this to src/shared/ so that we later can
reuse this in sysemd-firstboot.

Given that libpwquality is a more a leaf dependency, let's make it
runtime optional, so that downstream distros can downgrade their package
deps from Required to Recommended.

Merge pull request #16780 from alyssais/grammar

load-fragment: fix grammar in error messages

load-fragment: fix grammar in error messages

Fix function description in logind man page

Fix a presumed copy&paste error. SetLockedHint corresponds to the "locked hint", not the "idle hint".

network: do not fail if UseMTU=yes on DHCP lease lost

This fixes a bug introduced by 6906794dd1698954b349ec3ec84f1494ecd63cd3.

Fixes #16768.

Merge pull request #16687 from DaanDeMeyer/bootloader-machine-id

Allow bootctl and kernel-install to be called without /etc/machine-id present

homework: downgrade chattr failure log message

NOCOW is a btrfs-only thing hence don't log louder than necessary if we
don't have it.

homework: explicitly close cryptsetup context, to not keep loopback device busy

The cryptsetup context pins the loop device even after deactivation.
Let's explicitly release the context to make sure the subsequent
loopback device detaching works cleanly.

homework: correct error passed into log message

homework: sync everything to disk before we rename LUKS loopback file into place

This how this works on Linux: when atomically creating a file we need to
fully populate it under a temporary name and then when we are fully
done, sync it and the directory it is contained in, before renaming it
to the final name.

homed: downgrade quota message in containers

quota syscalls and operations are typically prohibited in containers.
Let's not make noise about that, needlessly.

log: don't explicitly re-open log for failed assertions

This was needed before commit 16e4fd87c5be06d2b7a3b368205c8c5bab9df32a added a
mode that opens the log fds for every single log message. This mode is used in
execute.c since then making the explicit call to log_open unnecessary.

This basically reverts ea89a119cda917a17bd186b3c13197acfd655b12.

resolve: lift limits on search domains count or length

glibc 2.26 lifted restrictions on search domains count or length to
unlimited. This has also been backported to 2.17 in some distributions (RHEL 7
and derivatives). Other softwares may have their own limits for search domains,
but we should not restrict what is written out any more.

https://sourceware.org/legacy-ml/libc-announce/2017/msg00001.html

Merge pull request #16761 from keszybz/missing-syscall-cleanup

Missing syscall cleanup

missing_syscall: do not use function name that may conflict with glibc

This was done for all replacements back in 5187dd2c403caf92d09f3491e41f1ceb3f10491f,
but some newer stuff didn't do this.

missing_syscall: fix pidfd_{send_signal,open} numbers for alpha

Also order the syscalls by syscall number for easier comparisons with the
kernel headers.

Fixup for 5f152f43d04e5aad6a3f98f45f020a66e3aac717.

missing_syscall: add forgotten check for __NR_get_mempolicy nonnegativity

We do it in other cases, we should here too.

Fixup for b070c7c0e13.

shared/cgroup-setup: reduce scope of variables

basic/utf8: rename parameter

Every time I was using this function I had to check whether "newline"
means that newlines are good or bad.

basic/string-util: reduce scope of variables

journal: adjust line about when the journal begins and ends

This comes up occasionally with new users. The phrase "Logs begin ..." is
ambiguous because it can be taken to mean the logs being displayed or all logs
(the intended meaning). Let's rephrase this as "Journal begins ..." to make
this clearer.

analyze-security: include an actual syscall name in the message

This information was already available in the debug output, but I think it
is good to include it in the message in the table. This makes it easier to wrap
one's head around the allowlist/denylist filtering.

test: accept that char device 0/0 can now be created witout privileges

Fixes: #16721

hwdb: ACCEL_MOUNT_MATRIX quirk for Acer SP111-32*

socket-netlink: make address argument const

man: move 'files' module in NSS 'hosts:' line before myhostname

I am pretty sure /etc/hosts (i.e. an explicitly configured, local,
trusted database) should be useful for overriding the automatic
myhostname logic.

resolved's internal logic handles it that way and hence we should
suggest it in the NSS fallback line, too.

Let's also bring the factory file back into sync with what the docs say.

And update the prose a bit too, to actually match what we recommend.

tools/make-man-index: fix purpose text that contains tags

test-fs-util: skip encrypted path test if we get EACCES

Unprivileged test-fs-util fails on my system since /sys/dev/block is
inaccessible for unprivileged users, so let's skip encrypted path test if we
get EACCES or similar.

README: fix indentation

All paragraphs are indented to 8 spaces, but one. Fix that.

update TODO

Newer Glibc use faccessat2 to implement faccessat

cf https://repo.or.cz/glibc.git/commit/3d3ab573a5f3071992cbc4f57d50d1d29d55bde2

This cause breakage on Fedora Rawhide: https://bugzilla.redhat.com/show_bug.cgi?id=1869030

Merge pull request #16705 from bluca/verity_udev_wait

Verity: use udev to wait for symlink creation on concurrent activations

shared/udev-util: fix sd_device leak in device_wait_for_initialization

If the caller doesn't pass a return pointer, or if sd_event_loop fails
after the device was found and referenced, it never gets dereferenced.

tree-wide: enable/disable libcrypsetup debug output depending on our level

Avoid always setting to debug, as it will incur in many more callbacks from
libcrypsetup that then get discarded, wasting resources.

dissect: yield for 2ms when a verity device cannot be opened before retrying

If we don't succeed on the first try it's because another process is
opening the same device. Do a microsleep for 2ms to increase the
chances it has completed the next time around the loop.

dissect: account for EBUSY when verity device already exists

In some cases, libdevmapper/libcrypsetup might return EBUSY instead of
EEXIST when opening a shared device. Treat it in the same way.

dissect: wait for udev event if verity device not yet available

The symlink /dev/mapper/dm_name is created by udev after a mapper
device is set up. So libdevmapper/libcrypsetup might tell us that
a verity device exists, but the symlink we use as the source for
the mount operation might not be there yet.
Instead of falling back to a new unique device set up, wait for
the udev event matching on the expected devlink for at least 100ms
(after which the benefits of sharing a device in terms of setup
time start to disappear - on my production machines, opening a new
verity device seems to take between 150ms and 300ms)

udev-util: add device_wait_for_devlink

Allows to wait for an event by matching on the devlink that gets
created.

namespace: fix minor memory leak

Merge pull request #16612 from poettering/dissect-copy

teach systemd-dissect file copying, and make it officially supported, move to /usr/bin + man page

update TODO

test: update tests to use new JSON output instead of human readable output

dissect: add support for outputting JSON

json: add helpers for dealing with id128 + strv

man: document systemd-dissect

meson: move systemd-dissect to /usr/bin

dissect: show proper error strings for more errors

Also, make inability to decrypt and EBUSY a non-fatal issue, since we
still are able to display the mount table then.

dissect: introduce new helper dissected_image_mount_and_warn() and use it everywhere

dissect: use recognizable error if we are supposed to mount an encrypted fs

Also, document EBUSY

dissect: immediately close pipes when we determined we have no data for them

This effectively makes little difference because we exit soon later
anyway, which will close the fds, too. However, it's still useful since
it means the parent will get EOF events on them in the order we process
things and isn't delayed to process the data from the pipes until the
child dies.

dissect: properly propagate some relevant dissection errors

Let's send some specific error codes from helper process to parent via
the return value, and convert them back there.

dissect: beef up dissection output

Let's use a proper table for outputting partition information. Let's
also put the general information about the image first, and the table
after that.

Moreover, dissect the image before showing any output, so that we can
early on return an error if the image is not valid.

dissect: load verity metadata earlier

That way we can turn off kernel partition scanning if verity data is
available (as we don't support verity for full GPT images, only for
simple file system images).

dissect: show more information in output

Let's show size and image filename.

dissect: add support for copying files in/out of image

copy: add copy_access() helper for copying access mode

dissect: optionally mkdir directory to overmount

mkdir: handle mkdir_p() of simple filename gracefully

dissect: support --discard=list

firstboot: move --image= logic into common code

That way we can reuse it in tmpfiles/sysusers/journalctl and so on.

Merge pull request #16678 from poettering/loop-configure

loop-util: use new LOOP_CONFIGURE ioctl added in kernel 5.8

man: fix incorrectly placed full stop

update TODO

loop-util: use new LOOP_CONFIGURE ioctl

LOOP_CONFIGURE allows us to configure a loopback device in one ioctl
instead of two, which is not just faster but also removes the race that
udev might start probing the device before we adjusted things properly.

Unfortunately LOOP_CONFIGURE is broken in regards to LO_FLAGS_PARTSCAN
as of kernel 5.8.0. This patch contains a work-around for that, to
fallback to old behaviour if partition scanning is requested but does
not work. Sucks a bit.

Proposed upstream fix for that issue:

https://lkml.org/lkml/2020/8/6/97

dissect: use new blockdev_partscan_enabled() API where appropriate

blockdev-util: add correct API for detecting if block device has partition scanning enabled

Instead of checking the loopback ioctls, let's check sysfs, so that we
catch all kinds of block devices, not just loopback block devices.

Merge pull request #16690 from poettering/userdb-group-desc

description field for group records

units: order volatile-root after repart

Let's make sure systemd-repart can still see the real device before we
replace its mount with an overlay mount, and thus order repart before
volatile-root.

See: https://lists.freedesktop.org/archives/systemd-devel/2020-July/044896.html

kernel-install: Add fallback to "Linux" if no machine-id is found

This allows kernel-install to be used by image builders such as mkosi
which don't have a machine-id available when they call kernel-install.

bootctl: Remove dependency on machine-id.

The machine-id is used to create a few directories and setup a default
loader entry in loader.conf. Having bootctl create the directories
itself is not particularly useful as it does not put anything in them
and bootctl install is not guaranteed to be called before an initramfs
tool like kernel-install so other programs will always need to have
logic to create the directories themselves if they happen to be called
before bootctl install is called.

On top of this, when using unified kernel images, these are installed to
$BOOT/EFI/Linux which removes the need to have the directories created
by bootctl at all. This further indicates that these directories should
be created by the program that puts something in them rather than by
bootctl.

Removing the machine-id dependency allows bootctl install to be called
even when there's no machine-id in the image. This is useful for image
builders such as mkosi which don't have a machine-id when
installing systemd-boot (via bootctl) because it should only be
generated by systemd when the final image is booted.

The default entry in loader.conf based on the machine-id in loader.conf
is also removed which shouldn't be a massive loss in usability overall.

This commit reverts commit 341890d.

Merge pull request #16697 from yuwata/network-fix-suspend-issue

network: fix suspend issue

Merge pull request #16684 from keszybz/assorted-cleanups

Assorted cleanups

hwdb: Add ACCEL_MOUNT_MATRIX quirk for Asus M80TA

network: wait for previous address removal before configuring static addresses

Fixes #16696.

network: drop unnecessary bracket

network: only process non-error message

Merge pull request #16682 from poettering/userdb-gecos-fix

userdb: mangle GECOS field if necessary

user-record: deal with invalid GECOS fields gracefully

Let's fix up invalid GECOS fields both when we convert from NSS to JSON
and the other way round.

Kinda sucks we have to do that, but NSS does it when writing data to
/etc/passwd, so let's do the same.

Fixes: #16668

user-util: add mangle_gecos() call for turning strings into fields suitable as GECOS fields

fix typo in systemctl help

Merge pull request #16604 from poettering/tmpfiles-image

add --image= switch to tmpfiles, sysusers, journalctl

journalctl: in "-o cat" mode show color

Let's provide a modicum of niceness, even in this barebones mode.

Fixes: #16232

units: order systemd-user-sessions.service after home.mount

This should make /home as automount work reasonably well.

If /home is an automount this has little effect at boot, because if the
automount is not triggered it doesn't matter how the associated mount is
ordered.

It does matter at shutdown however, where home.mount is likely active
now. There the ordering means we'll end sessions first, and only then
deactivate home.mount.

Fixes: #16291

update TODO

docs: document new description field

Also, explain GECOS syntax requirements.

core,home,machined: generate description fields for all groups we synthesize

userdb: add "description" field to group records

User records have the realname/gecos fields, groups never had that, but
it would really be useful to have it, hence let's add it with similar
semantics.

We enforce the same syntax as for GECOS, since it's better to start with
strict rules and losen them later instead of the opposite.

update TODO

man: clarify that LogNamespace= is for system services only

Fixes: #16638

Merge pull request #16321 from bluca/mount_images

core: new feature MountImages

_sd-common.h: avoid parsing errors with Coverity

The commit 1070d271fa8fa553d57dd5f74dd1e3f60732d0b9 which was supposed
too fix this does not seem to take effect any more.  We get again 34%
compilation success rate while scanning systemd itself.  Moreover, the
installed header file breaks compilation of programs that include it:

"/usr/include/systemd/_sd-common.h", line 23: error #35: #error directive: "Do
          not include _sd-common.h directly; it is a private header."
  #  error "Do not include _sd-common.h directly; it is a private header."
     ^

update TODO

core: new feature MountImages

Follows the same pattern and features as RootImage, but allows an
arbitrary mount point under / to be specified by the user, and
multiple values - like BindPaths.

Original implementation by @topimiettinen at:
https://github.com/systemd/systemd/pull/14451
Reworked to use dissect's logic instead of bare libmount() calls
and other review comments.
Thanks Topi for the initial work to come up with and implement
this useful feature.