test-network: find routing policy rule by priority

We usually configure a test rule with a unique priority. Hence, finding
rule by priority reduces the lines of output, and we can debug easily.

Also print short comments on check. That's helpful when the check is
called several times.

network/routing-policy-rule: use address family of existing rule when judging if existing rule can be updated

Otherwise, the other RoutingPolicyRule object may not have a valid
address family yet, and the existing rule may be wrongly handled as
that it is not requested by any interface, and it may be removed.

Follow-up for 727235006a7e8904f8493d32376cffa6969c5fa9.
Fixes #34068.

Merge pull request #34055 from whot/wip/eviocrevoke-warnings

Update warnings for failed EVIOCREVOKE invocations

Merge pull request #34054 from yuwata/network-failed-state

network: several fixlets for reconfiguration after entered failed state

networkctl: split networkctl.c into small pieces

No functional change, just refactoring.

Merge pull request #33498 from DaanDeMeyer/btrfs

repart: Allow Subvolumes= when running offline

Revert "cgroup-util: Don't try to open pidfd for kernel threads"

The kernel patch was reverted so let's try again to open pidfds
for kernel threads.

This reverts commit ead48ec35c863650944352a3455f26ce3b393058.

Merge pull request #34049 from yuwata/network-routing-policy-rule

network: further rework for routing policy rule

repart: Allow Subvolumes= and DefaultSubvolume= when running offline

mkfs.btrfs has recently learned new options --subvol and --default-subvol
so let's stop failing when Subvolumes= and DefaultSubvolume= are used offline
and use the new --subvol and --default-subvol options instead to create subvolumes
in the generated root filesystem without root privileges or loop devices.

repart: Don't add same dir to MakeDirectories= or Subvolumes= twice

repart: Constify partition_needs_populate()

repart: Use loop_device_error_is_fatal() in one more place

logind: warn about EVIOCREVOKE errors other than EINVAL too

EINVAL means the kernel doesn't support it, ENODEV means it's
already revoked or the device is no longer there which has the same
effect anyway. All others - let's print an error to the logs.

network/ipv4acd: adjust comment and logging

sd-dhcp-client: actually restart daemon after sending DECLINE message

client_stop() sets DHCP_STATE_STOPPED to client->state, thus the server
never restarted.

sd-dhcp-client: stop client without calling notification after sending RELEASE

Otherwise, even the acquired lease is released, the client may be in
e.g. BOUND state or so, and may send renew or rebind after timeout
later.

sd-dhcp-client: refuse to send RELEASE or friends gracefully when the daemon is stopped or so

We can easily hit the assertions without checking the internal states of
the DHCP client before calling these functions. That's annoying.
Let's do more gracefully.

sd-dhcp-client: do not call callback with SD_DHCP_CLIENT_EVENT_STOP if already stopped

When an interface enters the failed state, even if the DHCP client is
stopped, the acquired DHCP lease is not unreferenced, as the callback
dhcp4_handler() do nothing in that case. When the failed interface is
being reconfigured after that, the DHCP client is stopped again
(though it is already stopped), and SD_DHCP_CLIENT_EVENT_STOP event is
triggered and sd_dhcp_client_send_release() is called, and the
assertion in the function is triggered.

E.g.
===
systemd-networkd[98588]: wlp59s0: DHCPv4 address 192.168.86.250/24, gateway 192.168.86.1 acquired from 192.168.86.1
systemd-networkd[98588]: wlp59s0: Could not set DHCPv4 route: Nexthop has invalid gateway. Network is unreachable
systemd-networkd[98588]: wlp59s0: Failed
systemd-networkd[98588]: wlp59s0: State changed: configuring -> failed
systemd-networkd[98588]: wlp59s0: The interface entered the failed state frequently, refusing to reconfigure it automatically.
systemd-networkd[98588]: wlp59s0: DHCPv4 client: STOPPED
systemd-networkd[98588]: wlp59s0: DHCPv4 client: State changed: bound -> stopped
systemd-networkd[98588]: Got message type=method_call sender=:1.449 destination=org.freedesktop.network1 path=/org/freedesktop/network1 interface=org.freedesktop.network1.Manager member=ReconfigureLink ...
systemd-networkd[98588]: wlp59s0: State changed: failed -> initialized
systemd-networkd[98588]: wlp59s0: found matching network '/etc/systemd/network/50-wifi.network'.
systemd-networkd[98588]: wlp59s0: Configuring with /etc/systemd/network/50-wifi.network.
systemd-networkd[98588]: wlp59s0: DHCPv4 client: STOPPED
systemd-networkd[98588]: Assertion 'sd_dhcp_client_is_running(client)' failed at src/libsystemd-network/sd-dhcp-client.c:2197, function sd_dhcp_client_send_release(). Aborting.
===

network: log and enter failed state in link_reconfigure()

No functional change, just refactoring.

network: enter initialized state when the interface will be reconfigured

When the interface is in the failed state, link_getlink_handler_internal()
will do nothing and return zero, thus the interface will not be
reconfigured, especially when the reconfiguration is triggered in
link_enter_failed().

Follow-up for c2eb7753dd47ec04ae0d66400e70bc87fbf1adcc.

network: introduce reconfigure_data_free() and _freep()

No functional change, just refactoring.

Merge pull request #34018 from yuwata/network-address-label

network: allow to configure IPv6 address label in networkd.conf

process-util: handle pidfd_spawn() returning E2BIG

In some kernels (specifically, 5.4) even though the clone3 syscall is
supported, setting CLONE_INTO_CGROUP is not. The error message returned
in this case is E2BIG.

If posix_spawn_wrapper encounters this error, it does not retry, and
cannot spawn any programs in said kernels.

This commit adds a check for the E2BIG error and retries pidfd_spawn()
without the POSIX_SPAWN_SETCGROUP flag.

If we encounter an E2BIG error, and the pidfd_spawn() succeeds after
removing the POSIX_SPAWN_SETCGROUP flag, then we cache the result so
that we do not retry every time.

Originally, this issue was reported in https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1077204.

Signed-off-by: Kornilios Kourtis <kornilios@gmail.com>

tests: Don't override QemuKvm= value if TEST_NO_KVM=0

Let's disable KVM if TEST_NO_KVM=1 is set but let's not specify anything
if it's not set so the QemuKvm= setting from mkosi.conf is used.

test-network: add test for ManageForeignRoutingPolicyRules=

test-network: add tests for Type=table, goto, and nop

test-network: do not pass '[detached]' to 'ip rule del'

That indicates the interface name in 'iif' or 'oif' cannot be resolved
when 'ip rule' command is invoked. That's natural when networkd fail to
remove rule but the corresponding interface is already removed.
To make not the residual rules interfere subsequent test cases, let's
ignore the flag and actually remove unwanted rules.

network/routing-policy-rule: support all known type of rule

This also adds GoTo= to specify the target priority of goto rule.

Note, table was the default but could not be specified in Type=.

network/routing-policy-rule: also manage remaining attributes

Currently, these attributes are not configured by us, but there may be a
existing rule created by user manually with one of these attribute.
To correctly manage such foreign rules, let's read these attributes.

sd-netlink: introduce sd_netlink_message_read_u64()

network/routing-policy-rule: remove rules that have conflicting flags

The kernel does not distinguish rules with different flags in
rule_exists(), but the flags of an existing rule cannot be updated.
Let's remove rules that have conflicting flags, and configure new rules
later with requested flags.

network/routing-policy-rule: anyway detach rule even when we fail to remove it

When we fail to remove a rule, that mostly means the rule does not exist
in the kernel anymore, e.g. already removed manually and we have not
received notification about that yet.
Let's detach the rule in that case.

network/routing-policy-rule: do not save rule to Manager before it is configured

Otherwise, if we fail to configure the rule, then the manager will keep
nonexistent rule forever. So, let's first copy the rule and put it on
Request, then on success generate a new copy based on the netlink
notification and store it to Manager.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88, but for
routing policy rule.

network/routing-policy-rule: skip requesting when rule is already requested

If it is already requested, the new request will be anyway silently refused by
link_queue_request_safe(), which returns 0 in such case. Let's return earlier.

There should be no functional change, just refactoring.

network/address-label: allow to configure IPv6 address label in networkd.conf

Closes #23159.

network/queue: introduce manager_queue_request_full()

Currently it is not used, but will be used later.

network/address-label: split out address_label_fill_message()

No functional change, just refactoring and preparation for later
commits.

network/address-label: several cleanups for conf parsers

- Check userdata, instead of data, though they point to the same
  position.
- Support an empty string.
- Use UINT32_MAX, as the label is uint32_t.

network/address-label: introduce custom hash_ops

No functional change, just refactoring.

network/routing-policy-rule: add trailing period to the log message

network/routing-policy-rule: do not modify RountingPolicyRule objects managed by Manager or Network

They are stored in Manager.rules set or Network.rules_by_section hashmap.
For safety, let's not edit them even temporarily.

No functional change, just refactoring.

shared: invoke agents only when we have a controlling TTY

being connected to a TTY is not really enough to determine
interactivity in many cases. Let's also check if we have a controlling
TTY.

Inspired by #34016

Merge pull request #34044 from poettering/isatty-fixes

fixes around isatty() handling

man: fix ID_NET_LABEL_ONBOARD= documentation

We do not prefix the field with anything, since
8c053c83ae3c18342c4faaa0043d787884056614.

Merge pull request #34009 from yuwata/network-resolve-polkit

network,resolve: support interactive authentication

Merge pull request #34014 from yuwata/network-ip-masquerade

network: make IPMasquerade= imply global IP forwarding settings again

Merge pull request #34021 from yuwata/network-routing-policy-rule

network/routing-policy-rule: several cleanups

resolved: demote the global unicast scope

This will greatly reduce the number of cases where the global unicast
scope overlaps with link scopes configured as default-route, making it
feasible to use the global DNS setting in conjunction with per-link dns
servers configured by the network.

This change is preferred over demoting links to default-route=no where
the user prefers to use the network provided DNS servers, and I expect
it is non-disruptive in that it should not degrade the efficacy of any
existing configuration.

tree-wide: use isatty_safe() more

terminal-util: don't assume errno is correctly set when using isatty_safe()

let's instead generate ENOTTY on our own. This is more correct with out
coding style (since we generally do not propagate errors via errno), and
also addresses #34039 as side effect. (#34039 really needs to be fixed
in musl though, too, this is just a work-around as side-effect).

Fixes: #34039

terminal-util: fix isatty_safe() on hung-up TTYs

glibc returs EIO on ttys that are hung up. That's not really correct,
POSIX seems to disagree.

Work around this in our code, and turn this into a clean "1", since a
hung up tty doesn't stop being a tty just because it is hung up.

Background: https://github.com/systemd/systemd/pull/34039

test-network: make kernel send NA with router flag

If the router interface send NA without router flag, client interface will drop
SLAAC addresses. To make the router interface send NA with router flag,
IPv6 forwarding needs to be enabled.
===
client: NDISC: Received Neighbor Advertisement from fe80::1034:56ff:fe78:9a99: Router=no, Solicited=yes, Override=no
client: NDISC: Invoking callback for 'neighbor' event.
client: Removing NDisc route (configured): dst: 2002:da8:1:99::/64, src: n/a, gw: n/a, prefsrc: n/a, table: main(254), priority: 1024, proto: ra, scope: global, type: unicast, flags: n/a
client: Removing NDisc route (configured): dst: n/a, src: n/a, gw: fe80::1034:56ff:fe78:9a99, prefsrc: n/a, table: main(254), priority: 1024, proto: ra, scope: global, type: unicast, flags: n/a
client: Removing NDisc address (configured): 2002:da8:1:99:1034:56ff:fe78:9a00/64 (valid for 23h 59min 58s, preferred for 3h 59min 58s), flags: manage-temporary-address,no-prefixroute, scope: global
===

namespace: Fix extension release memory leak

In apply_one_mount(), in the MOUNT_EXTENSION_DIRECTORY case,
char **extension_release was used as a return pointer twice but only
cleaned up once in the end. Fix it by removing duplicate code that
was causing this issue.

Fixes issue introduced in 55ea4ef096543d2bceea9315868d5aca945d7a57.

network/routing-policy-rule: drop unused argument

network/routing-policy-rule: introduce ref and unref functions for RoutingPolicyRule

No functional change, just refactoring and preparation for later change.

network/routing-policy-rule: manage all flags

Currently, only FIB_RULE_INVERT flag can be configurable, but for
simplicity and future extension, let's manage all flags.

No functional change, just refactoring.

network/routing-policy-rule: use int32_t for suppress_prefixlen

The kernel parses FRA_SUPPRESS_PREFIXLEN as uint32_t, but internally
handled as signed integer and negative values as unset. Let's explicitly
specify the size of the variable.

No functional change, just refactoring.

network/routing-policy-rule: reorder elements of RoutingPolicyRule and add comments

No functional change, just refactoring.

network/routing-policy-rule: update hash and compare function for fib rule

Let's manage fib rules with the logic used by the kernel.

Should not change any behavior.

test-dhcp-server: Gracefully handle the network being down

run: also enable interactive authentication on opening pty

run: use sd_bus_set_allow_interactive_authorization()

mount: use sd_bus_set_allow_interactive_authorization()

timedatectl: drop unnecessary temporal variables

Also drop unnecessary spaces.

tree-wide: voidify polkit_agent_open_if_enabled()

timedatectl: enable interactive authentication for DBus methods

resolve: inherit server userdata

No functional change, just refactoring.

resolve: support polkit authentication for io.systemd.Resolve.Monitor

Then, non-privilege user can call e.g. 'resolvectl monitor' with
authentication.

sd-varlink: allow to dispatch method again on pending-method-more state

Otherwise, polkit authentication does not work for methods that require
the MORE flag.

resolvectl: acquire DBus connection only when necessary

When e.g. `resolvectl monitor` is called, it is not necessary to acquire
DBus connection.

resolvectl: several coding style cleanups

Use RET_GATHER(), FOREACH_ARRAY(), and strv_skip().

resolvectl: introduce --no-ask-password option

resolvectl: enable interactive authentication for dbus method call

Even the server side supports polkit authentication, previously
the client side did not support polkit authentication.

networkctl: introduce --no-ask-password option

networkctl: enable interactive authentication for dbus method call

Previously, e.g. 'networkctl reload' did not ask password through
polkit.

Merge pull request #34026 from DaanDeMeyer/tests

Handle unprivileged user namespaces gracefully in tests

test: Gracefully handle running within user namespace with single user

Unprivileged users often make themselves root by unsharing a user namespace
and then mapping their current user to root which does not require privileges.
Let's make sure our tests don't fail in such an environment by adding checks
where required to see if we're not running in a user namespace with only a
single user.

Merge pull request #34025 from YHNdnzj/edit-util-wrong-place

edit-util: catch and warn about edits outside of markers

Merge pull request #34022 from YHNdnzj/unit-is-filtered

core/unit: two trivial cleanups

Merge pull request #34020 from YHNdnzj/cred-no-mountover

core/dbus-service: refuse bind mounting over /run/credentials/

analyze: introduce --instance= option to control instance name for template units

Note, `systemd-analyze foo@.service --instance=hoge` is equivalent to
`systemd-analyze foo@hoge.service`. But, the option may be useful when
e.g. passing multiple template units that have restriction on their
instance name:
```
$ ls
template_aaa@.service   template_bbb@.service   template_ccc@.service
$ systemd-analyze ./template_* --instance=hoge
```
Without the option, we need to embed an instance name into each unit
name, so cannot use globs.

Prompted by #33681.

edit-util: catch and warn about edits outside of markers

The users still periodically come back to #24208.
Let's add a detection for this hence.

string-util: update ptr declaration to match our coding style

basic/process-util: modernize setpriority_closest()

Before this commit, the "Cannot raise nice level" branch
is rather confusing, as we're actually lowering the nice.
Also, it's better to log about the final nice value
for both cases, no matter whether we need to set to limit
or not.

test-netlink: Gracefully handle the loopback interface being down

core/unit: unit_is_filtered() -> unit_passes_filter() and invert logic

Follow-up for 6d2984d21bf2a8f71d379ef6bc13a761bb2e2756

The current semantics of "filtered" in unit_is_filtered()
are actually the contrary of ListUnitsFiltered(). Let's
make things consistent, i.e. return true when the unit
shall be included.

core/unit: rename set_unit_path() -> setenv_unit_path()

The previous name is quite vague on what this precisely
do.

core/dbus-service: refuse bind mounting over /run/credentials/

The credential mounts should be managed singlehandedly by pid1.
Preparation for the future introduction of RefreshOnReload=credential,
where refreshing creds will be properly supported on reload.

core/dbus-service: some modernization for bus_service_method_mount()

Perform some checks earlier to avoid pointless polkit auth.

Plus, the missing unit_get_exec_context() shall not be
a formalized error. As it's our internal representation
and in the normal operation should never happen.

network: refuse files under API VFS specified in PrivateKeyFile= and friends

Addresses https://github.com/systemd/systemd/pull/34013#discussion_r1719890231.

test: add test case that 'nspawn --network-veth' enables IP forwarding

network/wireguard: introduce [WireGuardPeer] PublicKeyFile=

Similar to PresharedKeyFile=, but for public key.

Closes #34012.

test: allow to skip matrix_run_one() if $TEST_MATCH_TESTCASE is set

network: make IPMasquerade= imply global IP forwarding settings again

After 3976c430927e1bfefa0413f80ebac84ab9a64350 (#31423), IPMasquerade=
implies only per-interface IP forwarding. That means, nspawn users need
to manually enable IPv4/IPv6Forwarding= in networkd.conf when
--network-veth or friend is used. Even the change was announced in NEWS,
the change itself breaks backward compatibility and extremely reduces
usability.

Let's make the setting imply the global setting again.

Fixes #34010.

network/lldp-tx: introduce link_lldp_tx_update_capabilities()

Currently it is unused, but it will be used later.

sd-lldp-tx: insert missing empty line

kernel-install: discard comments in cmdline files

It was quite a surprise to find my comments in a booted kernel cmdline.

Add $SYSTEMD_IN_CHROOT to override chroot detection

When running unprivileged, checking /proc/1/root doesn't work because
it requires privileges. Instead, let's add an environment variable so
the process that chroot's can tell (systemd) subprocesses whether
they're running in a chroot or not.

test: fix typo

Follow-up for 538766ddf47cfd457d9c69f108c035d4d97eaba1.

shell-completion: zsh: fix incorrect unescaping

Previously the `_filter_units_by_property` completion function
outputs with a [zsh parameter expansion flag] `g:o:`. This means
that the returned result is unescaped as the zsh builtin `echo`,
except that octal escapes don’t take a leading zero. This seemed to
have worked back in the days when it was first introduced:

  6c9414a700a040be1d3160bd2336baac58a1da3e

But it now leads to incorrect over-unescaping; for example,

  system-systemd\\x2djournald.slice (correct)

is incorrectly completed by zsh in commands such as
`systemctl kill`:

  system-systemd-journald.slice (incorrect)

This commit fixes such problems by removing the `g:o:` flag.

See:
[zsh parameter expansion flag]: https://zsh.sourceforge.io/Doc/Release/Expansion.html#Parameter-Expansion-Flags