Merge pull request #11785 from dvdhrm/implicit-sasl

sd-bus: allow cross-uid-namespace connections

Merge pull request #12000 from poettering/split-more-util

split more files in src/basic/

sd-bus: skip sending formatted UIDs via SASL

The dbus external authentication takes as optional argument the UID the
sender wants to authenticate as. This uid is purely optional. The
AF_UNIX socket already conveys the same information through the
auxiliary socket data, so we really don't have to provide that
information.

Unfortunately, there is no way to send empty arguments, since they are
interpreted as "missing argument", which has a different meaning. The
SASL negotiation thus changes from:

    AUTH EXTERNAL <uid>
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

to:

    AUTH EXTERNAL
    DATA
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

And thus the replies we expect as a client change from:

    OK <server-id>
    AGREE_UNIX_FD                       (optional)

to:

    DATA
    OK <server-id>
    AGREE_UNIX_FD                       (optional)

Since the old sd-bus server implementation used the wrong reply for
"AUTH" requests that do not carry the arguments inlined, we decided to
make sd-bus clients accept this as well. Hence, sd-bus now allows
"OK <server-id>\r\n" replies instead of "DATA\r\n" replies.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: fix SASL reply to empty AUTH

The correct way to reply to "AUTH <protocol>" without any payload is to
send "DATA" rather than "OK". The "DATA" reply triggers the client to
respond with the requested payload.

In fact, adding the data as hex-encoded argument like
"AUTH <protocol> <hex-data>" is an optimization that skips the "DATA"
roundtrip. The standard way to perform an authentication is to send the
"DATA" line.

This commit fixes sd-bus to properly send the "DATA" line. Surprisingly
no existing implementation depends on this, as they all pass the data
directly as argument to "AUTH". This will not work if we want to pass
an empty argument, though.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: avoid magic number in SASL length calculation

Lets avoid magic numbers and use a constant `strlen()` instead.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

main: use _exit() rather than exit() in code potentially caled from signal handler

util: split out nulstr related stuff to nulstr-util.[ch]

util: move some raw memory functions from string-util.h → memory-util.h

util: don't include util.h from def.h

Nothing it defines is used in it.

util: move dbus specific definition into bus-internal.h

It shouldn't be defined globally, since it's pretty much an
implementation detail of DBus.

util: split out kbd related stuff

This stuff is neither generic enough to be in def.h, nor really has much
to do with locale, hence give it its own .c/.h file pair.

util: move display_is_local() to pam_systemd.c, its only user

It's quite specific anyway, hence let's move this where it's used

util: split out errno related stuff

util: split out plymouth related stuff

Merge pull request #11985 from poettering/clean-dir

some rafactoring in systemctl/bus-unit-util

units: update catalog after systemd-tmpfiles runs

`systemd-journal-catalog-update.service` writes to `/var`. However, it's
not explicitly ordered wrt `systemd-tmpfiles-setup.service`, which means
that it may run before or after.

This is an issue for Fedora CoreOS, which uses Ignition. We want to be
able to prepare `/var` on first boot from the initrd, where the SELinux
policy is not loaded yet. This means that the hierarchy under `/var` is
not correctly labeled. We add a `Z /var - - -` tmpfiles entry so that it
gets relabeled once `/var` gets mounted post-switchroot.

So any service that tries to access `/var` before `systemd-tmpfiles`
relabels it is likely to hit `EACCES`.

Fix this by simply ordering `systemd-journal-catalog-update.service`
after `systemd-tmpfiles-setup.service`. This is also clearer since the
tmpfiles entries are the canonical source of how `/var` should be
populated.

For more context on this, see:
https://github.com/coreos/ignition/issues/635#issuecomment-446620297

Merge pull request #11993 from poettering/resolved-stub-edns-size

some resolved stub dns reply fixes

Re-add uaccess tag for /dev/dri/renderD*

Setting an access mode != 0666 is explicitly supported via -Dgroup-render-mode
In such a case, re-add the uaccess tag.

This is basically the same change that was done for /dev/kvm in
commit fa53e24130af3a389573acb9585eadbf7192955f and
ace5e3111c0b8d8bfd84b32f2c689b0a4d92c061
and partially reverts the changes from
4e15a7343cb389e97f3eb4f49699161862d8b8b2

man: provide an example how to plug systemd-mount into udev

Prompted by: #11982

Merge pull request #11971 from keszybz/kernel-install-directory

Make kernel-install create entry directory

Merge pull request #11968 from yuwata/network-l2tp

network: introduce L2TP tunnel

hwdb: Fix airplane mode triggering when resuming HP Spectre x360 13

On these devices the key randomly fires during/after suspend/resume
triggering spurious airplane mode changes. The scancode simply needs to
be ignored.

man: mention that DynamicUser= should not be mixed with ReadWriteDirectory= or AF_UNIX dir fd passing

bootctl: use path_join() to join paths

We would say "/boot/efi//loader/entries"...

man: be even more explicit that RestartPreventExitStatus= does not affect ExecStartPre=

The man page was already pretty clear about this, but apparently not
clear enough, let's hence extend this further.

Fixes: #11868

test-network: add tests for L2TP

network: wait for L2TP tunnel to be created before creating sessions

And if failed to create L2TP tunnel, then do not try to create sessions.

netlink: support NLMSG_ERROR message in genl

This resolves the following log message after L2TP tunnel or session is
created:
```
sd-netlink: ignored message with unknown type: 2
```

network: automatically pick an address on link when L2TP.Local= is not specified

This makes L2TP.Local= support an empty string, 'auto', 'static', and
'dynamic'. When one of the values are specified, a local address is
automatically picked from the local interface of the tunnel.

networkd: Introduce l2tp tunnel

This works allows networkd to configure l2tp tunnel.
See http://man7.org/linux/man-pages/man8/ip-l2tp.8.html

network: introduce new netdev create type NETDEV_CREATE_AFTER_CONFIGURED

It will be used to support L2TP tunnel in later commits.

network: introduce netdev_get_create_type() helper function

network: do not call link_joined() when not all netdevs are configured

If some of stacked netdevs are already configured, then link_joined()
is called before netdevs are fully configured.

resolved: if we can't append EDNS OPT RR, then indicate truncation to stub client

We do so for any other RR we can't add, do this here too.

Fixes: #11625

resolved: don't let EDNS0 OPT dgram size affect TCP

Fixes: #11884

resolved: don't follow cnames if we already noticed truncation

virt: detect WSL environment as a container (id: wsl)

bus-unit-procs: use empty_or_root() where appropriate

bus-unit-util: split out code that shows a unit's process tree

The code is complex enough to deserve its own .c file. Let's split this
out.

shared: split out code to wait for jobs to complet into its own source file

It's complex enough and quite a few functions. Let's hence split this
out.

No code change, just some rearranging of source files.

systemctl: drop unnecessary {}

systemctl: use strv_consume() where appropriate

systemctl: minimize scope of 'p'

execute: use path_join() where appropriate

bus-unit-util: insist on full initialization

bus-unit-util: never call into log_job_error_with_service_result() if we are not a service

The call can't handle non-services, hence don't bother.

bus-unit-util: move explanations array to inner scope

It's specific to service units, hence let's minimize the scope since it
has no validity outside of the log message generation for service units.

bus-unit-util: use structure initialization

bus-unit-util: use free_and_strdup() where we can

systemctl: refactor code to watch unit ActiveState a bit

let's split out one function, to make this reusable

tests: add tests for embedded newlines in /proc/cmdline

Prompted by: #7097

bootspec: don't log in boot_entries_load_config_auto() about no ESP

Let's do it in the caller instead. That way, logind can stay silent
about it.

Fixes: #11950

test: avoid double-fsck'ing of the rootfs on Arch

Since systemd 206 the combination of systemd and mkinitcpio
causes, under certain conditions, the rootfs to be double fsck'd.

Symptoms:
```
:: performing fsck on '/dev/sda1'
systemd: clean, 3523/125488 files, 141738/501760 blocks
********************** WARNING **********************
*                                                   *
*  The root device is not configured to be mounted  *
*  read-write! It may be fsck'd again later.        *
*                                                   *
*****************************************************
<snip>
[  OK  ] Started File System Check on Root Device
```

This occurs when neither 'ro' or 'rw', or only 'ro' is present
on the kernel command line. The solution is to mount the roofs
as read-write on the kernel command line, so systemd knows to not fsck
it again.

man: clarify that sd_journal_seek_head() seeks *before* the first entry

Merge pull request #11986 from poettering/util-split

some splitting up of util.[ch]

networkd: Add bridge port capabilities

This PR adds the configuration switches for multicast flooding, neighbor
suppression and learning of a bridge port.

login: mark nomodeset fb devices as master-of-seat

When 'nomodeset' is specified, there's no DRM driver to take over from
efifb. This means no device will be marked as a seat master, so gdm will
never find a sufficiently active seat to start on.

I'm not aware of an especially good way to detect this through a proper
kernel API, so check for the word 'nomodeset' on the command line and
allow fbdev devices to be seat masters if found.

For https://bugzilla.redhat.com/show_bug.cgi?id=1683197.

util: split out sorting related calls to new sort-util.[ch]

util: split out memcmp()/memset() related calls into memory-util.[ch]

Just some source rearranging.

util: split out some stuff into a new file limits-util.[ch]

util: split out namespace related stuff into a new namespace-util.[ch] pair

Just some minor reorganiztion.

test: don't overwrite TESTDIR if already set

Merge pull request #11861 from yuwata/network-verify-2

network: config parser updates and wireguard refactoring

Merge pull request #11893 from yuwata/wait-online-take-operstate

wait-online: optionally take required minimum operational state

Merge pull request #11283 from yuwata/fix-11276

core/namespace: introduce new mount mode READWRITE_IMPLICIT

cryptsetup: add same-cpu-crypt and submit-from-crypt-cpus options

Closes #11946.

Merge pull request #11933 from keszybz/coverity

Minor tweaks to boot/efi code inspired by coverity

wait-online: use log_link_debug() or friends

network: move log_link_debug() or friends to log-link.h

man: update wait-online and RequiredForOnline= setting

wait-online: support $REQUIRED_OPER_STATE_FOR_ONLINE= in state file

This also make wait-online optionally take operstate in -i option,
and adds '--operstate' option to wait-online which also takes operstate.

Also, this contains huge refactoring for wait-online.

sd-network: add sd_network_link_get_required_operstate_for_online()

It reads $REQUIRED_OPER_STATE_FOR_ONLINE in serialized link data.

network: make RequiredForOnline= also take operational state

This will be used by systemd-networkd-wait-online.

hashmap: add hashmap_free_free_keyp and friend

network: introduce 'degraded-carrier' operstate to order all states

Previously, 'degraded' state is ambiguous for bonding or bridge master:
1. one or more slave interfaces does not have carrier,
2. no link local address is assigned to the master,
3. combination of the above two.

This makes the above case 1 and 3 are in the new 'degraded-carrier'
state, and makes 'degraded' state as all slaves are active but no
link local address on master.

network: move LinkOperationalState and relevant functions to network-util.[ch]

test-network: wait more and fix wrong operational state

Closes #11977.

test-network: add test for WireGuard.PrivateKeyFile=

wireguard: add PrivateKeyFile= option

Closes #11878.

wireguard: check whether PrivateKey= and PublicKey= are set

wireguard: drop unused arguments and rename parse_wireguard_key()

wireguard: do not log wireguard key

It may be PrivateKey=.

wireguard: reuse sd_event_source object

wireguard: use NetworkConfigSection to manage [WireGuardPeer] sections

This also contains huge refactoring of wireguard support.

test-network: add tests for invalid Address sections

test: make network_verify() public and use it in test-networkd-conf

network: drop sections contain invalid settings in network_verify()

If e.g., an [Address] section has an invalid setting, then
previously assigned settings in the section is freed, and
only later settings are stored. That may cause partially broken
section stored in Network object.

This makes if an invalid setting is found, then set 'invalid' flag
instead of freeing it. And invalid sections are dropped later by
network_verify().

network: make all xxx_new_static() static

These functions are called from only config parsers, and the parsers are
in the same files. So, let's make them static.

network: add IPv4LL route right after .network file is parsed

Previously, the route is added when the .network config is assigned
to a Link. So, if multiple links match the .network file, the route
entry becomes duplicated in the corresponding Network object.

network: move NetworkConfigSection and related functions to networkd-util.[ch]

network: use ltype to determine netdev kind in config_parse_stacked_netdev()

test: add a testcase for ProtectHome=tmpfs vs ProtectSystem=strict

core/namespace: logs mount mode when the entry is dropped

core/namespace: introduce new mount mode READWRITE_IMPLICIT

ProtectSystem=strict or ProtectKernelTunable=yes create implicit
read-write mounts, but they are not overridable by TemporaryFileSystem=.
This makes such implicit read-write mounts use the new mount mode.
So, they can be override by TemproraryFileSystem= now.
A typical usecase is that ProtectSystem=strict and ProtectHome=tmpfs.

Fixes #11276.

Merge pull request #11919 from poettering/login-simplify

various fixes to $HOME and $SHELL validation

update TODO

login: drop redundant newline

user-util: extra paranoia, make sure $SHELL can't be fucked with in suid programs

It's better to be safe than sorry, let's not allow overriding of the
user shell in suid binaries. Similar for $USER.

execute: no need to synthesize $HOME for uid==0 again, get_home_dir() already does that

execute: simplify paths we set as HOME/SHELL for invoked programs