test-network: test the default required operational state for CAN devices

network: make 'carrier' as the default required operational state for CAN device

As CAN devices do not support IP address, hence the state never goes to
higher than 'carrier'.

Prompted by https://github.com/linux-can/can-utils/issues/68#issuecomment-1327987724.

wait-online: several cleanups for LinkOperationalState

- fix memleak in parser,
- fix missing return in parser on failure,
- drop unnecessary temporary argument in command line argument parser,
- use recently introduced macros and helper functions.

network: several cleanups for LinkOperationalState

- introduce link_required_operstate_for_online() helper function,
- use recently introduced macros and helper functions,
- unconditionally serialize the minimum and maximum of required
  operational state.

network: drop unnecessary temporary variables

sd-network: modernize parse_operational_state_range()

- rename 'out' -> 'ret',
- introduce LINK_OPERSTATE_RANGE_INVALID,
- constify LINK_OPERSTATE_RANGE_DEFAULT,
- drop spurious const specifier for allocated string,
- etc,.

sd-network: introduce three helper functions for LinkOperationalState

po: Translated using Weblate (Punjabi)

Currently translated at 32.1% (73 of 227 strings)

Co-authored-by: A S Alam <aalam@users.noreply.translate.fedoraproject.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/pa/
Translation: systemd/main

Merge pull request #30944 from CodethinkLabs/vmspawn/fix_fedora_issues

vmspawn: fix more issues

network/route: find/distinguish routes in the same way that the kernel uses

The kernel uses different logics to find or distinguish IPv4 and IPv6 routes.
Let's follow the same way that the kernel uses.
See comments in the code for more details.

labeler: add bsod, hibernate-resume, nspawn and vmspawn

Merge pull request #30960 from poettering/get-user-creds-modernization

user-util: modernize get_user_creds() + get_group_creds()

logind: allow Sleep() and CanSleep() dbus calls

Follow-up for cd4dd90b99ac5617431ce4f0ca1e9089197c85fd

Merge pull request #30963 from poettering/creds-tweaks

two minor creds-util.c simplifications

Merge pull request #30961 from poettering/varlink-bus-polkit-fixes

varlink polkit client fixes

Merge pull request #30959 from poettering/varlink-debug-better

varlink tweaks for making debugging easier

user-util: honour PREFER_NSS flag in get_group_creds() the same way as we already do in get_user_creds()

let's onour the PREFER_NSS flag also in get_group_creds() the same
way we honour it in get_user_creds().

Simply to remove surprises.

user-util: modernize get_user_creds() + get_group_creds()

Let's rename return parameters to ret_xyz, and let's guarantee the usual
rule to initialize all return parameters on success, and not touch any
on failure.

creds-util: drop unnecessary include

Follow-up for: e653a194e490fae7d166f40762c334006d592051

creds-util: simplify offset calculation a bit

Don't recalculate the overall offset entirely each time we process
another header. Instead, if we already validated an earlier offset, just
reuse the result, it's readily available in 'p'.

No change in behaviour, just a bit of code simplification.

bus-polkit: don't return positive in varlink_verify_polkit_async() just because we already sent an error reply

A positive return value means "access granted", hence if we already
reply to the method call don't accidentally return positive.

Follow-up for: d04c1a1c8e7c95daa483d8d52d5fc4c25fbc67f2

bus-polkit: explicitly cast away return value we ignore

bus-polkit: treat various well-known PK errors as denied

Various recognizable errors from

https://www.freedesktop.org/software/polkit/docs/latest/eggdbus-interface-org.freedesktop.PolicyKit1.Authority.html#eggdbus-errordomain-org.freedesktop.PolicyKit1.Error.

should be considered access failures, hence treat them like that.

varlink: also honour new env var $SYSTEMD_VARLINK_LISTEN in varlink_server_listen_auto()

varlink_server_listen_auto() is supposed to be the one-stop solution for
turning simple command line tools into IPC services. They aren't easy to
test/debug however, since you have to invoke them through a service
manager.

Let's make this easier: if the SYSTEMD_VARLINK_LISTEN env var is set,
let's listen on the socket specified therein. This makes things easier
to gdb: just run the service from the cmdline.

varlink-idl: prefix all varlink IDL debug lines wit "Varlink-IDL:"

Let's improve debuggability of varlink IPC transactions, and separate
out log messages triggered by the IPC info from others, by prefixing
them with a specific prefix.

Merge pull request #30953 from yuwata/network-nexthop-silently-removed-by-kernel

network/nexthop: forget nexthops silently removed by kernel

network/route: introduce route_get_link() and use it in log_route_debug()

No functional change, just refactoring and preparation for later
commits.

vmspawn: supply a serial TTY to the kernel by default

vmspawn: ignore firmwares with enrolled-keys by default

udev: even if a device is a zac device, scsi-$ID_SERIAL will be reserved for it (#30459)

Co-authored-by: wangyuhang <wangyuhang27@huawei.com>

Merge pull request #30851 from lnussel/kernel-install

kernel-install fixes

tree-wide: Load entry-token and layout.conf from /usr/lib/kernel/ as well

test-network: add test case for removal of nexthop that is a member of a group nexthop

network/nexthop: drop dependent nexthops on removal

If a nexthop is removed, dependent nexthops are silently removed by the
kernel. Hence, networkd may be confused that nexthops that depends on the
nexthop still exist, and may fail to configure other routes or so.

network/nexthop: introduce a reverse map of nexthop group members

It is not used in this commit, but will be used later.
Preparation for later commits.

network/nexthop: read netlink message in nexthop_update_group()

No functional change, preparation for later commits.

network/nexthop: reorder elements in NextHop

bus-socket: Clarify that inotify is supposed to watch all components

The previous wording of the components could mean that we should only
watch directories, not the socket itself. Reword so that we clearly
mention that all components of the path are watched, including the
socket itself.

kernel-install: silence num kernels installed

kernel-install: fix context_copy

Don't reopen or dup values that weren't set before. Fixes add-all.

strv: introduce strv_copy_unless_empty()

Merge pull request #30934 from yuwata/network-introduce-route-nexthop

network/route: introduce RouteNextHop object

systemctl-is-system-running: display "offline" with --image

With the `--image` option, the `running_in_chroot` check is not enough. E.g.:

```
> build/systemctl --image /tmp/20240108-openSUSE.raw is-system-running
running
```

test-network: add simple test case for DHCP relay on bridge interface

For issue #30763.

resolve: on_transaction_stream_error() may free multiple transactions

Fixes #30928.

Merge pull request #30933 from YHNdnzj/sleep-trivial-cleanup

Trivial cleanup for systemd-sleep unit/man page

Merge pull request #30936 from yuwata/network-automatically-reconfigure-interface-on-failure

network: automatically reconfigure interface on failure

test-network: try to flip interface state frequently

network/link: automatically reconfigure interface on failure

Closes #29246.

network/link: shorten code a bit

network/route: do not read RTA_OIF twice

It is also read in route_nexthops_read_netlink_message(), and already
stored in the Route object. Let's use it.

network/route-nexthop: store ifindex of the assigned interface in Route.nexthop.ifindex

And use it if set on building netlink message.

network/route: also use RouteNextHop for managing gateway

No functional change, just refactoring.

network/route-nexthop: introduce struct RouteNextHop and replace MultipathRoute with it

It is mostly equivalent to MultipathRoute. So, no functional change,
just refactoring and preparation for later commits.

test: create /run/sshd in TEST-74-AUX-UTILS

12264s [ 4819.948632] sshd[1365]: fatal: Missing privilege separation directory: /run/sshd
12264s [ 4819.952120] testsuite-74.sh[1362]: kex_exchange_identification: read: Connection reset by peer
12264s [ 4819.952120] testsuite-74.sh[1362]: Connection reset by /run/ssh-unix-local/socket port 0

https://autopkgtest.ubuntu.com/results/autopkgtest-jammy-upstream-systemd-ci-systemd-ci/jammy/amd64/s/systemd-upstream/20240113_093341_50fc7@/log.gz

We copy binaries manually so some setups are missing, create the directory
as needed

man/systemd-sleep.conf: document the operation of s2h more thoroughly

units: update Description= for systemd-sleep units

battery-util: raise log level for battery_is_discharging_and_low

Merge pull request #30932 from yuwata/network-route-split-out-more

network/route: split out more functions to networkd-route-nexthop.[ch]

Fix gcc14 -Wcalloc-transposed-args warnings

all functions annotated with two parameter _alloc_ are calloc-like.
gcc14 enforces this and warns if arguments are backwards.

Merge pull request #30927 from YHNdnzj/logind-action-job

logind-dbus: refuse multiple jobs in method_do_shutdown_or_sleep too

logind-dbus: refuse multiple jobs in method_do_shutdown_or_sleep too

Fixes #30917

logind-dbus: minor modernization

network/route-nexthop: make multipath_route_get_link() take fallback link

No functional change, just refactoring.

network/route-nexthop: do not update MultipathRoute object

A MultipathRoute object is always owned by a Network object, and the
interface matching with its name specified in a MultipathRoute= setting
may be removed, and re-added later with a different ifindex.

network/route-nexthop: split out route_nexthops_is_ready_to_configure()

No effective functionality changed, just refactoring and preparation for
later commits.

network/route-nexthop: split out route_nexthops_to_string()

And reorder elements shown in the debugging log.
No effective functionality changed, just refactoring.

network/route-nexthop: split out netlink message handling for route nexthops

No functional change, just refactoring and preparation for later
commits.

varlink/network: OnlineState may not be set

Follow-up for c5c74d85d302d95d2b0f2b938c4f178e428e19a3.

Fixes #30918.

Merge pull request #30916 from yuwata/network-route-section-verify

network: several cleanups for verifying [Route] section

wireguard: verify routes configured in .netdev file

Then, scope and friends are correctly adjusted, and the behavior should
be matched when the same route is configured in .network file.

network/route: split out route_section_verify_nexthops()

No effective functional change, just refactoring and preparation for
later commits.

network/route: relocate route_type_is_reject() and friends

No functional change, preparation for later commits.

Merge pull request #30895 from yuwata/network-drop-object-even-on-fail

network: remove Address object even when we failed to remove relevant address

Merge pull request #30902 from YHNdnzj/run-accounting

run: small improvements for accounting data output

Merge pull request #30897 from yuwata/network-route-expiration

network: several cleanups for route expiration handling

Merge pull request #30896 from yuwata/network-route-conf-parser

network: minor cleanups for conf parsers

modprobe: set 'ifb numifbs=0' to avoid autocreating ifb0

Fixes https://github.com/systemd/systemd/issues/30913

test: skip TEST-43-PRIVATEUSER-UNPRIV if unprivileged userns is restricted

With newer versions of AppArmor, unprivileged user namespace creation
may be restricted by default, in which case user manager instances will
not be able to apply PrivateUsers=yes (or the settings which require it).

This can be tested with the kernel.apparmor_restrict_unprivileged_userns
sysctl.

Merge pull request #30908 from poettering/nsid

networkd: expose netns "nsid" together with inode id

network: fix 6rd tunnel link section name

Spotted randomly when going through CI logs:

systemd-udevd[658]: /usr/lib/systemd/network/80-6rd-tunnel.link:21: Unknown section 'Network'. Ignoring.

Follow-up for 658169e6d30.

networkd: expose the nsid in the GetNamespaceId() varlink call

Let's return both ids in the GetNamespaceID(), since they are pretty
much the same concept.

networkd: expose nsid via dbus

socket-util: add netns_get_nsid() helper to show nsid of netns

sd-netlink: hook up nsid APIs

Merge pull request #30911 from poettering/vmspawn-tweaks

vmspawn: various clean-ups

udev: distinguish host-managed zoned block in scsi_id

According to SPC4, the value of 0x14 is reserved to distinguish
host managed zoned block, e.g., some SMR (Shingled Magnetic Recording)
disks.

Other utilities such as sg3_utils can successfully recognize such
kind of disks. This patch implements the same ability.

Merge pull request #30904 from YHNdnzj/no-selinux-reload

core/execute: don't reload selinux before spawning executor

mkosi: Build a directory image by default

Both building and booting a directory image is much faster than
building or booting a disk image so let's default to a directory
image.

In CI, we stick to a disk image to make sure that keeps working as
well.

The only extra dependency this introduces is virtiofsd which is
packaged in all distributions except Debian stable. For users
hacking on systemd on Debian stable, a disk image can be built by
writing the following to mkosi.local.conf:

```
[Output]
Format=disk
```

vmspawn: suppress unnecessary '-'

vmspawn: use SD_EVENT_SIGNAL_PROCMASK flag where possible

vmspawn: use our generic vsock CID parser, instead of a howngrown one

Let's also use 'unsigned' as type for the CID everywhere, and
VMADDR_CID_ANY as marker for "invalid CID", as that's what the vsock
APIs natively do.

vmspawn: fix empty lines before section titles in --help text

Always put an empty line before section titles (one was missing so far)

vmspawn: make sure are fine with ovmf metadata extensions

The JSON ovmf data on Fedora at least has more fields than we expect,
ignore it.

network/ndisc: do not try to set too large value for ICMP ratelimting

Follow-up for 6197db53ba3c61de2268eb723a7a9cd4b3f5f87c.

When we set too large value, the kernel just refuse it. So, this does
not change the net behavior.

Prompted by https://github.com/systemd/systemd/pull/30490#discussion_r1449477125.

json: downgrade extension log message to LOG_DEBUG

This is not supposed to be something we should complain about loudly
after all.

Follow-up for: a617fd904789cd3a05cf4cb2f54649e2a1f73d33

Add --root= support for list and prepare add-all for --root= support

Let's make sure these follow the rest of kernel-install and always
operate on the given root directory, even if the verb itself can't
support --root= just yet.

test: use systemd-id128 from the build dir

As distro sd-id128 might not have all the options we need.

Follow-up for: 378712c
Replaces: #30901

man: fix typo AV_VSOCK → AF_VSOCK

A reported by Arian van Putten:

https://github.com/systemd/systemd/pull/30777#pullrequestreview-1816817988

run: don't show IP/IO accounting data if 0