test-varlink: add superficial test that validates varlink/errno translation both ways

varlink: tweak what we include in "system error" messages

We so far only included the numeric Linux errno. That's pretty Linux
specific however. Hence, let's improve things and include an origin
string, that clearly marks Linux as origin. Also, include the string
name of the error.

Take these two fields into account when translating back, too. So that
we prefer going by symbolic name rather than by numeric id.

sd-json: make it safe to call sd_json_dispatch_full() with a NULL table

This is useful for generating good errors when dispatching varlink
methods that take no parameters, as we'll still generate precise errors
in that case, taking a NULL table as equivalent as one with no
entries.

userdb: define new 64K "foreign UID" range (#35932)

This is establish the basic concepts for #35685, in the hope to get this
merged first.

This defines a special, fixed 64K UID range that is supposed to be used
by directory container images on disk, that is mapped to a dynamic UID
range at runtime (via idmapped mounts).

This enables a world where each container can run with a dynamic UID
range, but this in no way leaks onto the disk, thus making supposedly
dynamic, transient UID range assignments persistent.

This is infrastructure later used for the primary part of #35685: unpriv
container execution with directory images inside user's home dirs, that
are assigned to this special "foreign UID range".

This PR only defines the ranges, synthesizes NSS records for them via
userdb, and then exposes them in a new "systemd-dissect --shift" command
that can re-chown a container directory tree into this range (and in
fact any range).

This comes with docs. But no tests. There are tests in #35685 that cover
all this, but they are more comprehensive and also test nspawn's hook-up
with this, hence are excluded from this PR.

process-util: do not unblock unrelated signals while forking

This makes sure when we are blocking signals in preparation for fork()
we'll not temporarily unblock any signals previously set, by mistake.

It's safe for us to block more, but not to unblock signals already
blocked. Fix that.

Fixes: #35470

repart: modernize set_gpt_flags()

meson: add install tags for udev and hwdb

Allows building and installing them individually, like
other existing components

tree-wide: Fix python formatting

The new release of ruff formats a few more things which causes linter
failures in CI so let's fix those formatting nits.

fmf: Move meson logs and failed test journals to test artifacts dir (#35939)

fmf: Use one fewer than number of available CPUs again

This effectively reverts b8582198ca1e6fe390f7169e623a9130b68a6b36
as I can not get the testing farm bare metal machines working
downstream and even if I managed to, without also using the testing
farm bare metal machines upstream (for which there is no capacity),
the setup would very quickly bitrot anyway so we'll just run the
container based tests for now.

fmf: Log clock source

fmf: Move meson logs and failed test journals to test artifacts dir

update TODO

update TODO

Stash the subscriber list when we disconenct from the bus (#35406)

If we unexpectly disconnect from the bus, systemd would end up dropping
the list of subscribers, which breaks the ability of clients like logind
to monitor the state of units.

Stash the list of subscribers into the deserialized state in the event
of a disconnect so that when we recover we can renew the broken
subscriptions.

---

Fixes: #8672 #26744

pam: add session class "none" to disable logind sessions (#35171)

pam_systemd is used to create logind sessions and to apply extended
attributes from json user records. Not every application that creates a
pam session expects a login scope, but may be interested in the extended
attributes of json user records. Session class "none" implements this
service by disabling logind for this session altogether.

---

Closes: #34988

machine: introduce io.systemd.Machine.OpenRootDirectory method (#35880)

This PR introduces io.systemd.Machine.OpenRootDirectory method which is
DBus's alternative to OpenMachineRootDirectory.

mkosi: Re-enable TEST-21-DFUZZER when running with sanitizers

Similar to how CentOS CI did it previously, let's only run
TEST-21-DFUZZER when built with sanitizers for maximum effect.

Two integration test fixes (#35937)

TEST-06-SELINUX: Add knob to allow checking for AVCs (#35921)

When running the integration tests downstream, it's useful to be able to
test that a new systemd version doesn't introduce any AVC denials, so
let's add a knob to make that possible.

fmf: Force SELinux relabel when running within testing farm

We expect to run as root within testing farm and to have permissions
to do selinux relabelling so let's enable it explicitly.

TEST-06-SELINUX: Add knob to allow checking for AVCs

When running the integration tests downstream, it's useful to be
able to test that a new systemd version doesn't introduce any AVC
denials, so let's add a knob to make that possible.

test: Only plug in integration-test-setup.sh in interactive mode

If we're not running interactively, there's no point in the features
from integration-test-setup.sh which are intended for interactive
development and debugging so lets skip adding it in that case.

test: Drop set -x from integration-test-setup.sh

machine: set SD_VARLINK_SERVER_ALLOW_FD_PASSING_OUTPUT for varlink server

machine: tests for io.systemd.Machine.OpenRootDirectory

machine: introduce io.systemd.Machine.OpenRootDirectory

machine: use machine_open_root_directory() in dbus

machine: machine_open_root_directory()

process-util: read_errno()

hostname: use sd_device to acquire fallback chassis

This makes
- also cache sd_device for ACPI device.
- split fallback_chassis() into small pieces,
- use sd_device to reading sysfs attributes.

No functional change, just refactoring.

sd-device: make sd_device_new_from_path() accept relative path to device node

Even though udevadm accepts relative syspath, previously, udevadm
could not use relative path to device node:
===
$ cd /dev
$ udevadm info sda
Bad argument "sda", expected an absolute path in /dev/ or /sys/ or a unit name: Invalid argument
$ udevadm info /usr/../dev/sda
Unknown device "/usr/../dev/sda": No such device
===
With this change, both the above cases work fine.

Note, still sd_device_new_from_devname() requires absolute path starts
with /dev/, for safety.

fmf: Use different heuristic for number of process with many CPUs

Downstream we sometimes end up with machines with lots of CPUs which
leads to running out of memory when trying to run the tests in VMs.
So let's switch to a different heuristic when we have lots of CPUs to
avoid running out of memory.

manager: s/deserialized_subscribed/subscribed_as_strv

Now that this field may get populated at runtime, the deserialized name
is misleading. Change the name to reflect its updated purpose.

dbus: stash the subscriber list when we disconenct from the bus

If we unexpectly disconnect from the bus, systemd would end up dropping
the list of subscribers, which breaks the ability of clients like logind
to monitor the state of units.

Stash the list of subscribers into the deserialized state in the event
of a disconnect so that when we recover we can renew the broken
subscriptions.

hwids: add a new efi firmware type of device entry (#35747)

This change adds a new firmware type device entry for the .hwids
section.
It also adds compile time validations and appropriate unit tests for
them.
chid_match() and related helpers have been updated accordingly.

Duplicate of https://github.com/systemd/systemd/pull/35281
Last review feedback's from this above PR has been incorporated and
merged.

@anonymix007

Remove no longer needed login-options override. Fixes agetty autologin.

The need for -o was introduced in db6aeda to set the -p flag for login.
Setting -o overrides agettys built-in handling of arguments, so "-- \\u" was needed to mimic it.

This broke the autologin-feature, since the -f (noauth) flag is not passed to login [1].

But with 3d2157e, the -p flag is dropped, but the full change wasn't reverted,
leaving autologin still broken - But for no reason since agetty does the right thing.

Reference:
[1]: https://github.com/util-linux/util-linux/blob/4e14b57/term-utils/agetty.c#L529-L550

update TODO

dissect: add new --shift command

userdb: synthesize stub user records for the foreign UID

user-classification: add new "foreign" UID range

This makes the UID range configurable via build time options, but of
course it really shouldn't be changed. The default range I picked is
outside even of IPAs current (ridiculously large) allocation ranges,
hence hopefully minimizes conflicts.

udev/net: add three settings for ethtool features (#35906)

Closes #31415.
Closes #32979.

nsresource: optionally mangle userns names passed to nsresourced (#35900)

We enforce quite strict rules on naming userns we assign uid ranges to
for users. So strict that they are hard to get right for clients. hence,
let's optionally mangle provided strings so that they work for us.

This should make it much easier to work with the API, as something
reasonable happens regarldess what kind of garbage a client sets as
name.

mangling the name is opt-in for clients, so that there's tight control
for the client on the name, but also "fire and forget".

pid1: allow removal of foreign-owned subcgroups of cgroups owned by some user (#35922)

This improves operation in unprivileged userns environments, where
unpriv user code might invoke a container with a delegated userns UID
range, and thus ends up with a subcgroup owned by another UID. With this
patch any user is always allowed to remove their own cgroups even if it
has subcgroups owned by other users.

This removes a DoS of sorts, and enforces the rule that users strictly
own everything below cgroups they own.

fmf: Dump CPU and memory information

udev/net: add PartialGenericSegmentationOffload= setting

Closes #32979.

udev/net: add ReceiveFCS= and ReceiveAll= settings

Closes #31415.

two pidref tweaks (#35918)

test: add testcase that verifies we can safely delete subcgroups owned by other users if we own the parent

This is a test for the previous commits: we create an unpriv, delegated cgroup in
--user mode, then create a subcgroup that is owned by some other user
(to mimic the case where an unpriv user got a userns with delegated UIDs
assigned), and then try to stop the unit. traditionally this would fail,
because our unpriv systemd --user instance can't remove the subcrroup
owned by someone else. With the earlier patches this is addressed.

cgroup: when we fail to clean up a cgroup, let's ask PID 1 for help

pid1: add D-Bus API for removing delegated subcgroups

When running unprivileged containers, we run into a scenario where an
unpriv owned cgroup has a subcgroup delegated to another user (i.e. the
container's own UIDs). When the owner of that cgroup dies without
cleaning it up then the unpriv service manager might encounter a cgroup
it cannot delete anymore.

Let's address that: let's expose a method call on the service manager
(primarly in PID1) that can be used to delete a subcgroup of a unit one
owns. This would then allow the unpriv service manager to ask the priv
service manager to get rid of such a cgroup.

This commit only adds the method call, the next commit then adds the
code that makes use of this.

pid1: allow moving processes in a userns owned by the user, too

Let's liberalize process migration a bit. Previously, PID 1 would only
allow you to move processes into your own cgroups, if those processes
are owned by you too. This is now slightly relaxed: it's now also OK if
the processes are in a userns owned by you.

This makes process migration more useful in context of unpriv userns.

dissect-image: mount the ESP with fmask=0177 (#35871)

Avoid showing the files on the ESP (i.e. a FAT formatted volume) as
executable by removing the execute permission from them.

IMO this makes the colored output of `ls` more sensible since the file
system will be mounted with `noexec` anyway.

Add a `fstype_can_fmask_dmask` function that checks if a file system
type can use the `fmask` and `dmask` mount options.

This replaces `fstype_can_umask` since it was only used in
`partition_pick_mount_options` which only cares about the file system
support for fmask & dmask now.

It somewhat reduces the coverage of the feature since there are more file
systems that support umask as opposed to those supporting dmask & dmask,
but it should not be much of an issue since fmask & dmask are supported
by vfat, exfat and ntfs3.

test: make sure the userns long name mangling codepaths are tested

nsresourced: add ability to mangle specified name if necessary

Let's optionally mangle any passed name on the server side so that it is
useful for identifying a userns, if it isn't suitable for that
right-away. This mostly means truncating it if too long.

It's just too nasty to leave this to the client side, since they'd have
to understand the precise rules for naming userns then.

While we are at it, add full Varlink IDL comments.

userns: refuse empty userns names

Let's tighten rules a bit.

Simple pam_systemd clean-ups (#35919)

pidref: drop support for kernels lacking waitid(P_PIDFD, …)

Our baseline is not 5.4, which is where P_PIDFD was introduced.

pidref: copy fd id in pidref_copy() too

fmf: Only mess with /etc/yum.repos.d when running within testing farm

If running tmt locally to debug the test script, make sure we don't
mess with /etc/yum.repos.d.

Three fmf fixes (#35917)

logind: also potentially GC the session if we cannot send reply

logind: indicate that 'error' parameter is input by making it const

logind: split out logic that finds free session ID into helper call

Just some refactoring to make an overly large function a bit smaller.

logind: normalize parameter to create_session()

We can pass a properly typed Manager object here, no reason to pass it
as void*.

fmf: Fix glob

Globs inside quotes aren't expanded and we need the glob to be more
specific to avoid matching multiple entries inside the tmt source
directory.

fmf: Fix dist-git example

All that's needed is dist-git-source: true so remove the other settings
that aren't required.

fmf: Don't fail if we can't put selinux in permissive mode

The tests might be running unprivileged or in an environment without
selinux so let's not fail if we can't put it in permissive mode.

Stop installing some markdown docs/ files

These files are rendered on systemd.io and targeted at contributors, not
users, so it's not really useful to install them on a running system.

namespace-util: two new operations (#35833)

(This is preparation for #35685, but since it comes with nice test cases
should be safe to add on their own)

namespace-util: add process_is_owned_by_uid() helper

namespace-util: add helper to get base UID from userns

namespace-util: slightly tweak proc_mounted() handling in namespace_is_init()

Let's not sloppily eat up errors here.

namespace-util: return recognizable error if namespace_open_by_type() fails because ns type not supported

This makes sure the the codepath that derives an nsfd from a pid works
the same for the pidfd case and the non-pidfd case: if we can verify
that /proc/ is mounted but the /proc/$PID/ns/ files are missing, we can
assume the ns type is not supported by the kernel. Hence return the same
ENOPKG error in this case as we already do in the pidfd ioctl based
codepath.

Bump minimum kernel baseline to 5.4, recommended version to 5.7

As requested, a list of kernel version to feature mapping
for kernels older than minimum baseline is also included,
in order to ease potential backport work.

udev: introduce io.systemd.Udev varlink interface (#35721)

Replaces #25523.

resolve: fix typo in DNS_EDE_RCODE_PROHIBITIED constant name

Drop the extra `I` and rename the constant to DNS_EDE_RCODE_PROHIBITED
in accordance with the error code string.

mkosi: Bump device timeout back to default value

Hopefully fixes #35302

stdio-bridge: fix polled fds

Poll fds associated with the bus instead of hardcoding stdin/stdout.

This is consequential under socket activation, when the provided fd
should be used instead of stdin/stdout.

fmf: Check out target branch in packit

packit: Simplify configuration

obs: also trigger Fedora package builds

The package is logistically separated, as the rpm sources conflict from Fedora
conflict with the rpm sources from SUSE (some files have the same name and
location but different, incompatible content), so Fedora builds can't be
triggered from the same package. The result is the same.

ask-password: req must be non-NULL

After #35074, the parameter 'req' must be non-NULL.

Fixes CID#1586101, CID#1586102, and CID#1586103.

mkosi: Install which in build image

Required by gdb-add-index to find gdb and not declared as a dependency
of the package.

test: add test case for AddDependencyUnitFiles assert

Follow-up for d87dc74e8f1a30d72a0f202e411400bab34ab55a

units: introduce systemd-udevd-varlink.socket

Co-authored-by: David Tardon <dtardon@redhat.com>

udevadm: use varlink connection to send ping

udevadm-control: use varlink to send commands

udev-varlink: introduce io.systemd.Udev varlink interface

Co-authored-by: David Tardon <dtardon@redhat.com>

TEST-17-UDEV: wait for udevd being restarted after exit control command

Also wait for created devices being processed before running tests.

docs: Remove VIRTUALIZED_TESTING.md

Let's nuke this out-of-date doc in favor of HACKING.md.

repart: Use streq_ptr()

p->format is not guaranteed to be initialized.

machine: update log message and comments

Follow-up for 9af9d66184caf565805d0cabc1dd99de5469931e and
453f2359ffcafaafe10297319dd8f85a11a4e1c4.

xopenat(): introduce new XO_REGULAR flag (#35834)

This is something I think we should have added a long time ago: a
flavour of open() that safely ensures the inode we are opening is a
regular file, before we open it. It does this by means of pinning the
inode via O_PATH first, and after verification actually opening it.

This ports some code over to this, but sooner or later we should
probably use this a lot more, so that we don't accidentally open weird
stuff such as device nodes or pipes, where we should not.

pretty-print: drop extra ';' from progress reporting end sequence

This corrects the closing sequence for the ConEmu progress reporting
final sequence. We by mistake sent two final ;;, where only one was
expected. The terminals I tested this with didn't care, but Ghostty
apparently does. Let's fix things and generate the closing sequence as
per doc:

https://conemu.github.io/en/AnsiEscapeCodes.html#ConEmu_specific_OSC

process-util: a process from a foreign pidns is definitely not our child

Addresses: https://github.com/systemd/systemd/pull/35242#pullrequestreview-2531712318

basic/linux: update kernel headers from v6.13-rc6

This also removes README and moves the explanation about the header
modification to the script.

update TODO

copy: port things over to XO_REGULAR

machine: switch to using cleanup handling for child process cleanup