update TODO

test: test comprehensive tests for new (and old) nspawn userns modes

man: document new nspawn functionality around unpriv support

nspawn: add support for 'managed' userns mode even when we run privileged

So far, we supported two modes:

1. when running unpriv we'd get the mounts from mountfsd, and the userns
   from nsresourced
2. when running priv we'd do the mounts/userns ourselves

This untangles this a bit, so that we can also use mountfsd/nsresourced
when running privilged.

I think this is generally a bit nicer, and probably something we should
switch to entirely one day, as it reduces the variety of codepaths.

With this patch the default behaviour remains unchanged, but by
selecting the new "managed" option for --private-users= the codepaths
via mountfsd/nsresourced can be explicitly requested even when running
with privs.

This is mostly just reworks that we check for arg_userns_mode !=
USER_NAMESPACE_MANAGED rather than arg_privileged for a number of
codepaths, but requires more fixes, too. The devil is in the details.

nspawn: support foreign mappings also when nspawn doing the mapping itself

This adds a new "foreign" value to --private-users-ownership= which is a
lot like "map", but maps from the host's foreign UID range rather than from the
host's 0.

(This has nothing much to do with making unprivileged directory-based
containers work, it's just very handy that we can run privileged
contains with such a mapping too, with an easy switch)

nspawn: allow to run unpriv from dir

This simply calls into mountfsd to acquire the root mount and uses it as
root for the container.

Note that this also makes one more change: previously we ran containers
directory off their backing directory. Except when we didn't, and there
were a variety of exceptions: if we had no privs, if we ran off a disk
image, if the directory was the host's root dir, and some others.

This simplifies the logic a bit: we now simply always create a temporary
directory in /tmp/ and bind mount everything there, in all code paths.
This simplifies our code a bit. After all, in order to control
propagation we need to turn the root into a mount point anyway, hence we
might just do it at one place for all cases.

dissect-image: add client side API wrapper for MountDirectory() varlink call

This is simply a Varlink API client that taks a directory path and
userns fd and returns a mount fd.

mntfsd: add api to mount dirs for containers

systemd-mountfsd so far provided a MountImage() API call for mounting a
disk image and returning a set of mount fds. This complements the API
with a new MountDirectory() API call, that operates on a directory
instead of an image file. Now, what makes this interesting is that it
applies an idmapping from the foreign UID range to the provided target
userns – and in which case unpriveleged operation is allowed (well,
under some conditions: in particular the client must own a parent dir of
the provided path).

This allows container managers to run fully unprivileged from
directories – as long as those directories are owned by the foreign UID
range. Basic operation is like this:

1. acquire a transient userns from systemd-nsresourced with 64K users
2. ask systemd-mountfsd for an idmapped mount of the container dir
   matching that userns
3. join the userns and bind the mount fd as root.

Note that we have to drop various sandboxing knobs from the mountfsd
service file for this to work, since the kernel's security checks that
try to ensure than an obstructed /proc/ cannot be circumvented via
mounting a new procfs will otherwise prohibit mountfsd to duplicate the
mounts properly.

docs: mention the two other userdb services we ship these days

udev-rules: check OWNER/GROUP= setting more strictly (#36123)

- refuses lines with unknown or invalid user/group,
- refuses non-system user/group in the setting.

creds: permit interactive polkit auth when encrypting/decrypting through IPC

core/job: fix typo

NEWS: mention OWNER=/GROUP= in udev rules now refuses non-system user/group

test: add test cases for OWNER=/GROUP= with non-system user/group

udev-rules: ignore non-system user/group in OWNER=/GROUP=

Recently, we introduce 'clock' system group, and set it for rtc/ptp
devices. See af96ccfc24bc4803078a46b4ef2cdeb5decdfbcd.

However, if non-system group with the same name is already exist,
previously the devices were owned by the non-system group. That may
possibly happen on updating systemd.

Let's avoid accidentally devices being owned by non-system user/group.

udev-rules: ignore OWNER=/GROUP= with unknown user/group

Previously, when an unknown or invalid user/group is specified,
a token was installed with UID_INVALID/GID_INVALID. That's not only
meaningless in most cases, but also clears previous assignment,
if multiple OWNER=/GROUP= token exist for the same device, e.g.

KERNEL=="sda", GROUP="disk"
KERNEL=="sda", GROUP="nonexistentuser"

This makes when an unknown user/group is specified, the line will be
ignored. Hence, in the above example, the device will be owned by the
group "disk".

udev-rules: get_user_creds()/get_group_creds() return -ESRCH when user/group does not exist

This drops -ENOENT error check for get_user_creds()/get_group_creds(),
as nowadays they always return -ESRCH when the specified user/groups
cannot be found.

This also adds short comments for NULL arguments.

units: modprobe@.service tweaks (#36132)

sd-device: chase sysattr and refuse to read/write outside of sysfs (#36004)

udevadm: introduce cat command to show udev rules (#35893)

Closes #35818.

units: don't load squasfs/erofs kmods explicitly

File system modules should be something the kernel can autoload
automatically, and according to my testing that works fine, hence let's
drop the explicit deps, in particular as systems usually stick to one fs
for these things, not both.

I inquired bluca about the reason to add it, and didn't remember
anymore, and was fine with me removing this. So let's remove this for
now, should issues arise we can revert this.

units: mountfsd needs to pull DM and loop kmods

mountfsd is supposed to be available during early boot aleady, before
systemd-tmpfiles-setup-dev-early.service completes, hence make sure
loopback devices and DM already work before that.

As suggested by yuwata here:

https://github.com/systemd/systemd/pull/35685#issuecomment-2608157569

units: add a longer comment to modprobe@.service explaining when to use it

sd-device: use device_in_subsystem() at more places

sd-device: use specific setters for read entries from uevent file

Previously, if e.g. DRIVER=foo is specified in uevent file, the value is
only saved as property, but was not set to sd_device.driver.
That was inconsistent to the case when a device is created through
netlink uevent.

Let's always set when we get e.g. sd_device.driver when DRIVER=foo
from both uevent file and netlink uevent.

sd-device: use sd_device_get_sysattr_value() to read uevent file

This also replaces the custom parser with strv_split_newlines_full().
No functional change, just refactoring.

sd-device: use sd_device_get_sysattr_value() to read special symlinks

Then, cached result may be used. No functional change, just refactoring.

sd-device: chase sysattr and refuse to read/write files outside of sysfs

This makes sd_device_get_sysattr_value()/sd_device_set_sysattr_value()
refuse to read/write files outside of sysfs for safety.

Also this makes
- use chase() to resolve and open the symlink in path to sysfs attribute,
- use delete_trailing_chars(),
- include error code in cache entry, so we can cache more error cases,
- refuse caching value written to uevent file of any devices, i.e.
  sd_device_set_sysattr_value(dev, "../uevent", "add") will also not
  cache the value "add".

fileio: make read_virtual_file_at() accept O_PATH file descriptor

Then, merge read_virtual_file_at() and read_virtual_file_fd(), and make
the latter inline.

fileio: make write_string_file_at() accept O_PATH fd and an empty filename

Then, introduce an inline wrapper write_string_file_fd().

fileio: fix verification on failure in write_string_file_full()

Fixes a bug introduced by 0ab5e2a4b4f5d435cb66b591ef5c700894663fd3.

udevadm: introduce cat command

This introduces 'udevadm cat' command, that shows udev rules files or
udev.conf, which may be useful for debugging.

Closes #35818.

bash-completion/udevadm-verify: suggest found udev rules files

This also fixes the issue that no suggestion is provided after a standalone
option is specified.

udevadm-verify: chase specified paths

Also, when a filename is specified, also search udev rules file in
udev/rules.d directories.

This also refuses non-existing files, and file neither nor a regular
nor a directory, e.g. /dev/null.

udev-rules: log the first line number when continued

udev: sort builtins

Then, 'udevadm test-builtin --help' lists builtins alphabetically.

shell-completion/udevadm: add net_driver

Follow-up for 2b5b25f123ceb89b3ff45b2380db1c8a88b046d9.

tree-wide: use hash ops with destructor (#36107)

mkosi: Add back --preserve-env when running integrationt tests

The test wrapper script depends on various github actions environment
variables so let's make sure those are propagated.

hashmap: drop hashmap_free_free() and friends

test: use hash ops with destructor

remount-fs: use hash ops with destructor

exec-util: use hash ops with destructor

network: use hash ops with destructor

sd-journal: use hash ops with destructor

journal-file: use hash ops with destructor

This also makes JournalFile.chain_cache allocated when necessary.

sd-bus: use hash ops with destructor

This also makes vtable_methods and vtable_properties managed by Set,
as the key and value of each entry are equivalent.

delta: use hash ops with destructor

This also makes it use RET_GATHER().

bootctl: use hash ops with destructor

This also makes the hashmap allocated when necessary.

catalog: modernize code

- set destructors to catalog_hash_ops,
- acquire OrderedHashmap when necessary,
- gracefully handle NULL catalog directories and output stream,
- rename function output arguments,
- add many many assertions,
- use RET_GATHER().

wait-online: use hash ops with destructor

udev: use hash ops with destructor

udevadm-monitor: use hash ops with destructor

This also make it use STATIC_DESTRUCTOR_REGISTER() macro, and logs OOM
error.

hash-funcs: introduce several basic hash_ops with value destructor

Clarify that Conflicts= only applies when starting units

The "vice versa" in the old text could be interpreted as either
(wrong) "stopping the former will start the latter", or
(right) "starting the latter will stop the former".

Rephrase to avoid that ambiguity.

run: add --job-mode= argument (#34708)

systemctl has a --job-mode= argument, and adding the same argument to
systemd-run is useful for starting transient scopes with dependencies.
For example, if a transient scope BindsTo a service that is stopping,
specifying --job-mode=replace will wait for the service to stop before
starting it again, while the default job mode of "fail" will cause the
systemd-run invocation to fail.

run: add --job-mode= argument

systemctl has a --job-mode= argument, and adding the same argument to
systemd-run is useful for starting transient scopes with dependencies.
For example, if a transient scope BindsTo a service that is stopping,
specifying --job-mode=replace will wait for the service to stop before
starting it again, while the default job mode of "fail" will cause the
systemd-run invocation to fail.

pkg-config: add Requires.private: libcap

The two shared libraries for now link against libcap,
so add it to the Requires.private as it's a dependency

Fixes https://github.com/systemd/systemd/issues/36117

core/device: do not drop backslashes in SYSTEMD_WANTS=/SYSTEMD_USER_WANTS= (#35869)

Let consider the following udev rules:
```
PROGRAM="/usr/bin/systemd-escape foo-bar-baz", ENV{SYSTEMD_WANTS}+="test1@$result.service"
PROGRAM="/usr/bin/systemd-escape aaa-bbb-ccc", ENV{SYSTEMD_WANTS}+="test2@$result.service"
```
Then, a device expectedly gains a property:
```
SYSTEMD_WANTS=test1@foo\x2dbar\x2dbaz.service test2@aaa\x2dbbb\x2dccc.service
```
After the event being processed by udevd, PID1 processes the device, the
property previously was parsed with
`extract_first_word(EXTRACT_UNQUOTE)`, then the device unit gained the
following dependencies:
```
Wants=test1@foox2dbarx2dbaz.service test2@aaax2dbbbx2dccc.service
```
So both `%i` and `%I` for the template services did not match with the
original data, and it was hard to use `systemd-escape` in `PROGRAM=`
udev rule token.

This makes the property parsed with
`extract_first_word(EXTRACT_UNQUOTE|EXTRACT_RETAIN_ESCAPE)`, hence the
device unit now gains the following dependencies:
```
Wants=test1@foo\x2dbar\x2dbaz.service test2@aaa\x2dbbb\x2dccc.service
```
and `%I` for the template services match with the original data.

Fixes a bug caused by ceed8f0c8b9a46300eccd1afa2dd8d3c2cb6b47c (v233).

Fixes #16735.
Replaces #16737 and #35768.

mkosi: Update to latest (#36114)

pretty-print: fix handling of line continuation in cat_file() (#35886)

Fixes #35878.

network/ndisc: allow to configure route option preference (#35213)

Continuation of #35212.
Closes #35714.

core/job: never consider reload jobs redundant

Follow-up for 656bbffc6c45bdd8d5c28a96ca948ba16c546547

The commit reworked job merging logic so that reload jobs
won't get merged. However, they might get dropped from
transaction due to being deemed redundant, i.e. way before
it even hits job_install(). Let's make sure reload jobs
are always kept during transaction construction stage, too.

mkosi: switch rootfs to ext4

btrfs is currently broken for nspawn on recent kernels, so switch
to the best filesystem until that is solved

mkosi: Update to latest

With the latest mkosi, mkosi takes care of making sure it is
available within mkosi sandbox so we get rid of all the --preserve-env=
options when we invoke mkosi sandbox with sudo as these are not
required anymore. It also doesn't matter anymore if mkosi is installed
in /usr on the host so we get rid of the documentation around that as
well.

mkosi: Run two more mkosi commands with sudo

Running some mkosi commands as root and other not can lead to cache
invalidations with the latest version, so make sure we run everything
as root after we've built the tools tree.

udev-dump: also show written sysfs attributes and sysctl entries (#36091)

Split-out of #35968.

OBS: switch to new top-level namespace (#36121)

https://build.opensuse.org/project/show/system:systemd

docs: mention packages in HACKING.md

test-network: add test case for [IPv6RoutePrefix] Preference=

network/radv: add [IPv6RoutePrefix] Preference= setting

network/radv: modernize config_parse_router_preference()

udevadm-test: allow to specify extra directories to load udev rules files

This adds -D/--extra-rules-dir=DIR switch for 'udevadm test' command.
When specified, udev rules files in the specified directory will be also
loaded. This may be useful for debugging udev rules by copying some udev
rules files to a temporary directory.

rpm: mark udevd for reloading when an rules file is installed/updated

Then, we can avoid using udevadm (especially udev control socket) in
processing rpm.

udev: add systemd tag to devices tagged with security-device

This ensures that device units are created for these, which is
convenient for other units that want to declare dependencies on
such devices.

TEST-65-ANALYZE: add detailed test case for cat-config

pretty-print: make cat_file() also highlight the trailing backslash for line continuation

pretty-print: fix handling of line continuation in cat_file()

Fixes #35878.

pretty-print: cleanups for cat_file()

- add one missing assertion,
- always logs on error,
- simplify the logic to make it easy to understand,
- add several more comments.

Preparation for later commits. No functional change.

userdb: add comments to userdb varlink IDL

machine-id-setup: actually unlink /run/machine-id if write/mount fails (#36105)

Follow-up for 64d52739c59e28a5eb453f749e24f23b2d2ec06a

Fixes CID#1590374 and CID#1590375

pidfd-util: preferably acquire pidfd inode id through name_to_handle_at()

See rationales described in kernel commit:
https://github.com/torvalds/linux/commit/b3caba8f7a34a2bbaf45ffc6ff3a49b70afeb192

userdb: two small fixes (#36115)

fs-util: at_flags_normalize_nofollow() follow-up (#36116)

Just some extension to 6981203f3a824ac3ceeb5a23c66942d5a284d9bb

test: add test cases for parsing SYSTEMD_WANTS=/SYSTEMD_USER_WANTS=

core/device: do not drop backslashes in SYSTEMD_WANTS=/SYSTEMD_USER_WANTS=

Let consider the following udev rules:
===
PROGRAM="/usr/bin/systemd-escape foo-bar-baz", ENV{SYSTEMD_WANTS}+="test1@$result.service"
PROGRAM="/usr/bin/systemd-escape aaa-bbb-ccc", ENV{SYSTEMD_WANTS}+="test2@$result.service"
===
Then, a device expectedly gains a property:
===
SYSTEMD_WANTS=test1@foo\x2dbar\x2dbaz.service test2@aaa\x2dbbb\x2dccc.service
===
After the event being processed by udevd, PID1 processes the device, the
property previously was parsed with extract_first_word(EXTRACT_UNQUOTE),
then the device unit gained the following dependencies:
===
Wants=test1@foox2dbarx2dbaz.service test2@aaax2dbbbx2dccc.service
===
So both '%i' and '%I' for the template services did not match with the original
data, and it was hard to use systemd-escape in PROGRAM= udev rule token.

This makes the property parsed with extract_first_word(EXTRACT_UNQUOTE|EXTRACT_RETAIN_ESCAPE),
hence the device unit now gains the following dependencies:
===
Wants=test1@foo\x2dbar\x2dbaz.service test2@aaa\x2dbbb\x2dccc.service
===
and '%I' for the template services match with the original data.

Fixes a bug caused by ceed8f0c8b9a46300eccd1afa2dd8d3c2cb6b47c (v233).

Fixes #16735.
Replaces #16737 and #35768.

OBS: switch to new top-level namespace

https://build.opensuse.org/project/show/system:systemd

udev-dump: also show written sysfs attributes and sysctl entries

This should be useful to know what is changed by processing an event.

udev-dump: voidify one function call

Fixes CID#1590377.

fs-util: also add an at_flags_normalize_follow() helper

This is the reverse of at_flags_normalize_follow()

xattr-util: use at_flags_normalize_nofollow() at one more place

userdb: reset errno before getpwent()

errno handling for NSS is always a bit weird since NSS modules generally
are not particularly careful with it. Hence let's initialize errno
explicitly before we invoke getpwent() so that we know it's in a
reasonable state afterwards on failure, or zero if not.

We do this in most places we use NSS, including in userdb when it comes
to getgrent(), just for getpwent() we don't so far. Address that.

userdbctl: don't expect argument to --fuzzy

The getopt() parser was completely wrong, it expected an argument where
wasn't expected or processes.

The test cases only passed by accident because they use the "user" verb
which is also the default verb. It would be accidently read as argument
for --fuzzy and ignored.

Fix that.

test: Make sure we run lcov from the meson source directory

In ac75c5192797082c1965ab30be4711490f2937bc, we accidentally changed
the working directory that the tools executed in the wrapper script
are invoked in. This broke our invocations of lcov. Let's explicitly
run those in the meson source directory again to fix the coverage
workflow.

po: Translated using Weblate (French)

Currently translated at 100.0% (257 of 257 strings)

Co-authored-by: Léane GRASSER <leane.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

machine-id-setup: fix typo

machine-id-setup: actually unlink /run/machine-id if write/mount fails

Follow-up for 64d52739c59e28a5eb453f749e24f23b2d2ec06a

Fixes CID#1590374 and CID#1590375

networkd-test: unconditionally stop previous invocation of networkd before starting new one

When networkd is already running, creating some .network files and
friends and starting networkd does not take any effect. Let's always
restart networkd when we want to start a new invocation.

mountpoint-util: several tweaks for fd_is_mount_point(), drop support for kernels without /proc/pid/fdinfo/ (#36093)

mountpoint-util: port path_is_mount_point() to chase_and_open_parent()