Merge pull request #14472 from poettering/test-43-fixes

Various robustness fixes for TEST-43-PRIVATEUSER-UNPRIV

Merge pull request #14499 from yuwata/network-gateway-dhcp

network: static route via DHCP gateway

units: Split modprobing out into a separate service unit

Devices referred to by `DeviceAllow=` sandboxing are resolved into their
corresponding major numbers when the unit is loaded by looking at
`/proc/devices`. If a reference is made to a device which is not yet
available, the `DeviceAllow` is ignored and the unit's processes cannot
access that device.

In both logind and nspawn, we have `DeviceAllow=` lines, and `modprobe`
in `ExecStartPre=` to load some kernel modules. Those kernel modules
cause device nodes to become available when they are loaded: the device
nodes may not exist when the unit itself is loaded. This means that the
unit's processes will not be able to access the device since the
`DeviceAllow=` will have been resolved earlier and denied it.

One way to fix this would be to re-evaluate the available devices and
re-apply the policy to the cgroup, but this cannot work atomically on
cgroupsv1. So we fall back to a second approach: instead of running
`modprobe` via `ExecStartPre`, we move this out to a separate unit and
order it before the units which want the module.

Closes #14322.
Fixes: #13943.

udev: do not use exact match of file permission

This partially reverts 25de7aa7b90c23d33ea50ada1e50c5834a414237.

Fixes #14473.

Merge pull request #14481 from yuwata/virt-string-table

virt: use string table to detect VM or container

nspawn: set original ifname as alternative if it is truncated

man: drop unnecessary white space

locale-util: extend comments on unicode glyph use, and drop mdash (that actually was an ndash)

Let's add the actual unicode names of the glyphs we use. Let's also add
in comments what the width expectations of these glyphs are on the
console.

Also, remove the "mdash" definition. First of all it wasn't used, but
what's worse the glyph encoded was actually an "ndash"...

Fixes: #14075

Merge pull request #14420 from DaanDeMeyer/nspawn-fix-read-only-overlay-rootfs

nspawn: Don't mount read-only if we have a custom mount on root.

test-network: add test for Gateway=DHCP

network: static routes via DHCP gateway

This makes Gateway= also take "DHCP". If "DHCP" is set, then the gateway
address provided by DHCP or IPv6 RA is used.

Closes #8213.

virt: drop trailing white spaces

virt: use string table to detect VM or container

pkcs11-util: don't mask return value of the first asprintf()

Fixes CID#1409666

network: lower the log-level of harmless message

Closes #14285.

meson: drop unnecessary linking of libudev_core

sd-netlink: fix copy and paste mistake

sd-netlink: use uint8_t* for non-character data

testsuite: drop "systemctl is-system-running --wait" invocation

We wait for "basic.target" being reached in the user instance anyway
before allowing the user's session to start, hence doing such a wait is
unnecessary, since that would just mean we'd wait for "default.target"
on top of "basic.target", but we shouldn#t need anything of that...

Hence, let's simplify this, reduce explicit sync points.

test: don't rely on "nobody" user for TEST-43

The name is not as universal as we want, still, hence let's use our own
user we create with sysusers.d/. That should yield same behaviour
everywhere (and also test sysusers a bit as side effect).

test: hardcode shell to use

let's make sure we always invoke our commands through /bin/sh, since
on some distros su will use /bin/nologin (or whatever is listed in
/etc/passwd) as shell otherwise and we don#t want that.

dbus-execute: avoid extra strdup()

bind_mount_add does the strdup(), so we can avoid
strdup()ing the strings.

test: use symlinks for Makefiles

for some reason the newer tests used file copyies instead of symlinks.
let's fix that.

job: Don't mark as redundant if deps are relevant

In the steps given in #13850, the resulting graph looks like:

    C (Anchor) -> B -> A

Since B is inactive, it will be flagged as redundant and removed from
the transaction, causing A to get garbage collected. The proposed fix is
to not mark nodes as redundant if doing so causes a relevant node to be
garbage collected.

Fixes #13850

Merge pull request #14194 from yuwata/network-multipath-routing-12541

network: introduce multipath routing

Merge pull request #14469 from aburch/man-tmpfiles.d-minor-improvements

man: tmpfiles.d: minor improvements

nspawn: Make a custom mount on root imply --read-only.

nspawn: Don't mount read-only if we have a custom mount on root.

Merge pull request #14401 from DaanDeMeyer/nspawn-move-veth-back-to-host

nspawn: move virtual interfaces added with --network-interface back to the host

man: tmpfiles.d: only list "v" once

man: tmpfiles.d: "b", "c" options require major and minor numbers

hwdb: Lenovo T490 Synaptics Touchpad hwdb entry

The Synaptics Touchpad that comes with the T490 doesn't explicitly set
its resolution, so these lines are needed to provide that, in order to
help the libinput code detect overly large jumps.  Since this device
contains buttons under the lower section of the touchpad, large jumps
are common, so having the resolution helps libinput greatly reduce
the number of occurances of pointer jump.

This comes from
https://gitlab.freedesktop.org/libinput/libinput/issues/402.

Merge pull request #14467 from poettering/nspawn-short-names-rework

nspawn: change how we truncate --network-veth names

nspawn: Generate unique short veth names

This commit lowers the chance of having veth name conflicts for machines
created with similar names.

Replaces: #12865
Fixes: #13417

udev: move naming-scheme.[ch] into src/shared/

That way we can use it from non-udev code too, for example nspawn.

Merge pull request #13748 from jwrdegoede/hwdb-updates2

Add LCD menu key mappings for the Logitech MX5000 and MX5500

systemctl: show 'VENDOR PRESET' column in 'list-unit-files'

Show the install value presets would suggest for each service in a
separate column.

systemctl: skip non-existent units in the 'cat' verb

When processing list of units (either provided manually or as a
wildcard), let's skip units for which we don't have an on-disk
counterpart, but note the -ENOENT error code and propagate it back to
the user.

Fixes: #14082

Merge pull request #14444 from yuwata/network-codel-more

network: more CoDel settings

systemd.exec: document the file system for EnvironmentFile paths

Files specified with EnvironmentFile are read from PID1 mount namespace, before
any file system operations like RootImage or BindPaths are in effect.

nspawn: Move --network-interface interfaces back to the host.

Merge pull request #14441 from GothAck/gothack_type.d_dropin_test_master

Fix type.d drop-in ordering for #14439 - duplicate against master

hwdb: 60-sensor.hwdb Chuwi Hi10 CWI515 accelerometer orientation.

Update Galician translations

systemd-analyze: fixed typo in documentation

The example shows the output of critical-chain, which means
that the title is wrong.

tree-wide: yet another batch of coccinelle recommendations

Prettify certain parts of the codebase using coccinelle transformations
(no functional changes).

network: bump netlink receive buffer size to 128M

Prompted by #14417.

travis: wait for the container to fully boot up

This avoids nasty race conditions between dnf/apt-get and unfinished
population of /tmp (among other things), as `docker exec` allows commands
to run before the system is fully booted (i.e. initializing/starting
state reported by `systemctl is-system-running`).

test-network: add a test case for CoDel

network: add more settings for CoDel

network: Add support to configure DHCPv4 route MTU

This is useful for transitioning systems from small frames to jumbo frames.

Closes #14302

network: tc introduce codel

Please see http://man7.org/linux/man-pages/man8/tc-codel.8.html

unit drop-in: Fix ordering of special type.d drop-ins

Add failing test to show service.d global drop-in does not get overridden by more specific dropins

test-condition: fix group check condition

We were checking the uid, whereas we should have checked the gid

Fix typo

Fix several typos in documentation

Found by lintian

network: add one more log message

nspawn-network: Split off udev checking from parse_interface.

bash-completion: move shell-completion for log-level or friends to systemctl

Merge pull request #14409 from poettering/shutdown-modernization

some smaller modernizations to the shutdown loop

Merge pull request #14407 from ssahani/dhcp-decline

network: DHCP4 introduce send decline

umount: when we fail to detach a loopback device, set the auto-clear flag

We might get lucky and this cleans up things later on automatically for
us.

umount: check LO_FLAGS_AUTOCLEAR after LOOP_CLR_FD claimed success

Fixes: #14410
Replaces: #14386

umount: detect root loopback device the same way as we detect root DM devices

get_block_device() is just the nicer way to do it (since it also odes
btrfs). Also, let's already collect the dev_t of the loopback device
when we enumerate things, that allows us to do the checks simpler
without constantly stat()ing things over and over again.

umount: show correct error message

We fucked up errno vs. r two times, let's correct that.

While we are at it, let's handle the error first, like we usually do,
and the clean case without indentation.

umount: remove unneeded variable

umount: line break comments again

break them like we usually do, taking our intended line width into
account.

Revert "Drop dbus activation stub service"

This reverts commit 07125d24eedb71693b3bf2b1f0730cd01aaac2dd.

In contrast to what is claimed in #13396 dbus-broker apparently does
care for the service file to be around, and otherwise will claim
"Service Not Activatable" in the time between systemd starting up the
broker and connecting to it, which the stub service file is supposed to
make go away.

Reverting this makes the integration test suite pass again on host with
dbus-broker (i.e. current Fedora desktop).

Tested with dbus-broker-21-6.fc31.x86_64.

test-network: add a test case for DHCPv4.SendDecline=

network: link should not become configured state during ACD probing

network: DHCP4 introduce send decline

Merge pull request #14329 from anitazha/user_invocation_id

export user units' InvocationID and use as _SYSTEMD_INVOCATION_ID

network: fix typo

core,journal: export user units' InvocationID and use as _SYSTEMD_INVOCATION_ID

Write a user unit's invocation ID to /run/user/<uid>/systemd/units/ similar
to how a system unit's invocation ID is written to /run/systemd/units/.

This lets the journal read and add a user unit's invocation ID to the
_SYSTEMD_INVOCATION_ID field of logs instead of the user manager's
invocation ID.

Fixes #12474

Merge pull request #14378 from keszybz/unit-docs

Unit documentation and build-system tweaks

network: update log message in message_rtnl_process_xyz()

Also lower the log level when the family is not supported.

man: add section about user manager units

man: add remote-*.targets to the bootup sequence

I think this makes it easier to see the difference between local and remote
mounts.

Make the graph a bit narrower while at it.

time-util: also use 32bit hack on EOVERFLOW

As per
https://github.com/systemd/systemd/issues/14362#issuecomment-566722686
let's also prepare for EOVERFLOW.

Merge pull request #14388 from anitazha/man_uid_updates

man: document uids for user journals

Merge pull request #13823 from anitazha/unpriv_privateusers

core: PrivateUsers=true for (unprivileged) user managers

hwdb: ignore keys added in kernel 5.5

python-evdev needs to be rebuilt with new kernel headers. Before that
happens, our test would reject those keys as unknown.

hwdb: Add LCD menu key mappings for the Logitech MX5000 and MX5500 keyboards

The kernel now has proper evdev codes for the menu buttons below the
small LCD-s builtin to some keyboards.

Add mappings for these buttons on the Logitech MX5000 and MX5500 keyboards.

Revert "cryptsetup: umount encrypted devices before detaching it during shutdown"

This reverts commit 362c378291e85df3e00aaad491d1e08233ad127f.

This commit introduced an ordering loop: remote-cryptsetup.target was both
before and after remote-fs-pre.target. It also globally ordered all cryptsetup
volumes before all mounts. Such global ordering is problematic if people have
stacked storage. Let's look for a different solution.

See https://github.com/systemd/systemd/pull/14378#discussion_r359460109.

Merge pull request #14382 from topimiettinen/fix-analyze-security-rootimage

analyze: badness if neither of RootImage and RootDirectory exists

[man] note which UID ranges will get user journals

Fixes #13926

[man] fix URL

test: add test case for PrivateDevices=y and Group=daemon

For root, group enforcement needs to come after PrivateDevices=y set up
according to 096424d1230e0a0339735c51b43949809e972430. Add a test to
verify this is the case.

core: create inaccessible nodes for users when making runtime dirs

To support ProtectHome=y in a user namespace (which mounts the inaccessible
nodes), the nodes need to be accessible by the user. Create these paths and
devices in the user runtime directory so they can be used later if needed.

core: add test case for PrivateUsers=true in user manager

The test exercises that PrivateTmp=yes and ProtectHome={read-only,tmpfs}
directives work as expected when PrivateUsers=yes in a user manager.

Some code is also added to test-functions to help set up test cases that
exercise the user manager.

core: PrivateUsers=true for (unprivileged) user managers

Let per-user service managers have user namespaces too.

For unprivileged users, user namespaces are set up much earlier
(before the mount, network, and UTS namespaces vs after) in
order to obtain capbilities in the new user namespace and enable use of
the other listed namespaces. However for privileged users (root), the
set up for the user namspace is still done at the end to avoid any
restrictions with combining namespaces inside a user namespace (see
inline comments).

Closes #10576

analyze: badness if neither of RootImage and RootDirectory exists

Instead of requiring both RootImage and RootDirectory directives, give badness
points if neither is present. Fixes conversion in d737b451f.

Merge pull request #14376 from poettering/sd-event-no-stack

sd-event: don't use stack for event queue array

network: introduce AddPrefixRoute= and deprecate PrefixRoute=

PrefixRoute= was added by e63be0847c39bfdca45c25c505922814374581a7,
but unfortunately, the meaning of PrefixRoute= is inverted; when true
IFA_F_NOPREFIXROUTE flag is added. This introduces AddPrefixRoute=
setting.

Merge pull request #14377 from keszybz/fixups

Fixups

test-network: add test case for multipath routing

network: introduce multipath route

Closes #12541.

sd-netlink: introduce rtattr_append_attribute()

It will be used in later commit.

Merge pull request #14365 from yuwata/networkctl-altname

network, udev: further alternative name support