machine: tests for io.systemd.Machine.{MapFrom, MapTo} methods

machine: introduce io.systemd.Machine.{MapFrom, MapTo} methods

update TODO

test: Add CHID matching test (#35532)

core: make ProtectHostname= optionally take a hostname (#35626)

Closes #35623.

systemctl-edit: ignore ENOENT from unit_is_masked()

If a specified unit does not exist, then it is definitely not masked.

Fixes #35632.

meson: allow to customize the access mode for tty/pts devices

Then, switch the default value to "0600", due to general security
concerns about terminals being written to by other users.

Closing #35599.

networkd: show wireguard private key read error number

Noticed while looking at #35641

mkosi: temporarily disable panic_on_warn

Due to a BTRFS issue in kernel 6.12 (and backported in Ubuntu to 6.8)
there's a warning triggered by some tests, and it then causes a panic.

The BTRFS issue has a patch but it is not available in any distro yet,
so disable panic_on_warn until it reaches Arch and Ubuntu Noble. Bugs
have been filed.

test: Add test-chid-match

boot: introduce smbios_raw_info_get_cached() to cache populated SMBIOS raw info

Then, drop cache in smbios_info_populate().
No functional change, just refactoring and preparation for later commit.

boot: Add chid.c to libefitest

Also fix compilation for testing CHID matching in userspace

boot: Deduplicate efi.h and efi-fundamental.h

These definitions are needed for both userspace and EFI, so keep them in efi-fundamental.h

hwdb: fix key toggle touchpad for VAIO VJFH52 (#35645)

Fixes #35644.

core: make ProtectHostname= optionally take a hostname

Closes #35623.

core/exec-invoke: fix ProtectHostname= value in log message

Follow-up for cf48bde7aea52b18ac3fa218d3f60fd3d533ef66.

udev: add option to trigger parent devices despite filters

This commit add the `-i` option to `udevadm trigger` that force it to
match parent devices even if they're excluded from filters.
The rationale is that some embedded devices have a huge number of
platform devices ( ~ 4k for MX8 ) they are there because they're defined
in the device tree but there isn't any action or udev rules associated
with them.

So at boot a significant time is spend triggering and processing rules
for devices that don't produce any effect and we would like to filter
them by calling:

```
udevadm trigger --type=device --action=add -s block -s tty
```

instead of the normal

```
udevadm trigger --type=device --action=add
```

so we can use filter to filter out only subsystems for we we know that
we have rules in place that do something useful.

On the other side action / rules are not triggered until the parent is
triggered ( which is part of another subsystem), so the additional option
will allows udev to complete the coldplug with only the devices we care.

Example on iMX8:

.Without the new option
```
root@dev:~# udevadm trigger --dry-run  -s block --action=add -v
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0boot0
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0boot1
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p1
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p2
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p3
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p4
```

.With the new option
```
root@dev:~# udevadm trigger --dry-run -i -s block --action=add -v
/sys/devices/platform
/sys/devices/platform/bus@5b000000
/sys/devices/platform/bus@5b000000/5b010000.mmc
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0boot0
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0boot1
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p1
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p2
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p3
/sys/devices/platform/bus@5b000000/5b010000.mmc/mmc_host/mmc0/mmc0:0001/block/mmcblk0/mmcblk0p4
```
Boot time reduction with this is place is ~ 1 second.

terminal-util: temporarily turn on nonblocking mode when waiting for ANSI seq responses

We never know, maybe there's some spurious POLLIN and read() will fail
with EAGAIN even though we saw POLLIN. Handle that.

(this can happen if we area not the only process reading from the tty,
or in case of hups and such).

Fixes: #35499

ptyfwd: fix OSC sequence termination handling (#35640)

Fixes #35631.

TEST-50-DISSECT: add test case with systemd-notify

This also merges the previous test cases into one.

Follow-up for 284dd31e9d7d25e8a0bdfee60cf938ab961f2a7a and
498c20fad6a472dfbbfacc1ed55754f9ebfa869e.

ptyfwd: fix logic of OSC sequence termination

Previously, when an OSC sequence is terminated with \x1b\x5c, configured
OSC sequence would be inserted between the two characters, rather
than after the two.

Fixes a bug introduced by d848a9499830c530e804a41ffd8aa1bc942fa735.
Fixes #35631.

ptyfwd: clean up logic of color state transition in pty_forward_ansi_process()

Drop all 'continue', to make the logic easy to understand.
No functional change, just refactoring and preparation for later commit.

hwdb: Make remote controllable lights work out-of-the-box

Give access to USB/Bluetooth lights such as the Logitech Litra family of
devices.

The Logitech devices in particular are accessible through USB
and Bluetooth.

test/README: Environment= setting for mkosi should be in [Build] section

Otherwise, we get the following warning:

mkosi.local.conf: Setting Environment should be configured in [Build], not [Content].

hwdb: add scancodes for HP Elitebook 2170p runnning coreboot

HP Elitebook 2170p's keyboard scancodes under coreboot is different
with those under oem firmware. The scan code of backspace key of HP
Elitebook 2170p under coreboot is 0x66, but 93b078c has
KEYBOARD_KEY_66=pickup_phone for general HP laptops, making the
backspace key of the HP Elitebook 2170p running coreboot unusable.

The committed scancodes map KEYBOARD_KEY_66 back to backspace, and
provide all Fn-keys of HP Elitebook 2170p under coreboot.
Their evdev string matches the default SMBIOS tables of coreboot
for Elitebook 2170p, to avoid conflict with HP Elitebook 2170p running
oem firmware.

Fixes #35469 and https://ticket.coreboot.org/issues/571

TEST-35-LOGIN: check only tty session

For some reasons, another session logind-test-user may be started.
===
Dec 13 07:04:16 systemd-logind[2140]: Got message type=method_call ... member=CreateSessionWithPIDFD ...
(snip)
Dec 13 07:04:16 systemd-logind[2140]: New session 15 of user logind-test-user.
Dec 13 07:04:16 systemd-logind[2140]: VT changed to 2
Dec 13 07:04:16 systemd-logind[2140]: rfkill: Found udev node /dev/rfkill for seat seat0
Dec 13 07:04:16 systemd-logind[2140]: udmabuf: Found udev node /dev/udmabuf for seat seat0
Dec 13 07:04:16 systemd-logind[2140]: Found static node /dev/snd/timer for seat seat0
Dec 13 07:04:16 systemd-logind[2140]: Found static node /dev/snd/seq for seat seat0
Dec 13 07:04:16 systemd-logind[2140]: Changing ACLs at /dev/snd/timer for seat seat0 (uid 0→4712 add)
Dec 13 07:04:16 systemd-logind[2140]: Changing ACLs at /dev/rfkill for seat seat0 (uid 0→4712 add)
Dec 13 07:04:16 systemd-logind[2140]: Changing ACLs at /dev/udmabuf for seat seat0 (uid 0→4712 add)
Dec 13 07:04:16 systemd-logind[2140]: Changing ACLs at /dev/snd/seq for seat seat0 (uid 0→4712 add)
Dec 13 07:04:16 systemd[1]: user-4712.slice: Changed dead -> active
Dec 13 07:04:16 systemd[1]: user-4712.slice: Job 5951 user-4712.slice/start finished, result=done
Dec 13 07:04:16 systemd[1]: Created slice user-4712.slice.
Dec 13 07:04:16 systemd-logind[2140]: Electing new display for user logind-test-user
Dec 13 07:04:16 systemd-logind[2140]: Choosing session 15 in preference to -
(snip)
Dec 13 07:04:16 systemd-logind[2140]: Got message type=method_call ... member=CreateSessionWithPIDFD ...
(snip)
Dec 13 07:04:16 systemd-logind[2140]: New session 16 of user logind-test-user.
Dec 13 07:04:16 systemd-logind[2140]: Electing new display for user logind-test-user
Dec 13 07:04:16 systemd-logind[2140]: Ignoring session 16
===
Let's track only session for the user with tty, which we explicitly created.

Fixes #35597.

network: don't warn with no NSID assigned

This is nothing interesting to warn about. Also use the symbolic
constant name when testing for this condition.

test: include MAINPID in notify message in TEST-50-DISSECT for notify socket

Copy what systemd-notify does by default by setting it to the PID of the shell,
so that main process tracking works as expected. Also use test -S instead of ls
to check socket.

[   33.980396] (sh)[1024]: run-p1022-i1322.service: Executing: sh -c "echo READY=1 | ncat --unixsock --udp \$NOTIFY_SOCKET --source /run/notify && env"
[   34.138778] systemd[1]: run-p1022-i1322.service: Child 1024 belongs to run-p1022-i1322.service.
[   34.138825] systemd[1]: run-p1022-i1322.service: Main process exited, code=exited, status=0/SUCCESS (success)
[   34.139451] systemd[1]: run-p1022-i1322.service: Failed with result 'protocol'.
[   34.139559] systemd[1]: run-p1022-i1322.service: Service will not restart (restart setting)
[   34.139573] systemd[1]: run-p1022-i1322.service: Changed start -> failed
[   34.139945] systemd[1]: run-p1022-i1322.service: Job 1364 run-p1022-i1322.service/start finished, result=failed

Fixes #35619

Follow-up for 18bb30c3b2ea7f4497edf86414133667b3e155fe

udev: move several definitions (#35613)

test-time-util: fix truncation of usec to sec

Also
- use ASSERT_XYZ() macros,
- log tzname[] on failure.

mkosi: fix section for WithNetwork=

/tmp/autopkgtest.L6NPL0/build.doZ/src/mkosi.conf.d/10-debian-ubuntu/mkosi.conf.d/network.conf: Setting WithNetwork should be configured in [Build], not [Content]

TEST-07-PID1: fixlets for running with sanitizers (#35616)

Hopefully fixes #35546.

TEST-07-PID1: skip test cases that invokes unshare when running with sanitizers

Fixes #35546.

mkosi: drop wrapper for unshare

This effectively reverts ef9a3241b37690ee0e76d84d48f82135da42e48b,
as it does not work.

udev: move enums to udev-def.h

No functional change, just refactoring and preparation for later
commits.

udev: move listen_fds() to udev-manager.c

Also
- drop redundant error message when manager_init() failed,
- close unexpected fds.

No functional change, just refactoring.

udev: several coding style fixes

- use 'type* func()' rather than 'type *func()',
- merge variable declarations,
- etc.

udev: several trivial cleanups for builtins (#35612)

test-udev-spawn: migrate to use ASSERT_XYZ()

udev-builtin-kmod: log about unloading only when already loaded

udev-builtin: drop unnecessary 'initialized' flag

All builtin _init() functions can be called multiple times gracefully,
and _exit() can be called without _init() called.

udev-builtin: use FOREACH_ELEMENT() macro

logind: allow wall messages to be controlled via config file

Right now, the sending of wall messages on reboot/shutdown/etc can be
controlled via DBus properties. This patch adds support for changing the
default via the logind.conf file as well.

Note that the DBus setting is lost if logind is restarted or reloaded,
but it was already the case before this patch that the setting is lost
upon restart.

Replace array with magic indices with normal variables in vconsole-setup (#35181)

core: log disconnect on api and system busses, and dump list of subscribers (#35603)

Split out of #35406.

log: raise log level to LOG_DEBUG if $DEBUG_INVOCATION=1 is set (#35606)

Let's implement our own protocols, and raise the log level to debug if
DEBUG_INVOCATION=1 is set.

Follow-up for: 7d8bbfbe0852ec89590d1dc5e28afc95d6d44fa1

network: add MPLSRouting= setting to enable MPLS routing (#35495)

Closing #35487.

semaphore: bump timeout (#35610)

When semaphore is overloaded tests can take more than 1hr, bump timeout
and reinstate some removed tests

Revert "semaphore: skip some tests"

This reverts commit e19cae12ff2e832ce7d79aa483e1aa27ed0ea1f4.

semaphore: bump timeout

When semaphore is overloaded tests can take more than 1hr, bump
timeout

update TODO

log: raise log level to LOG_DEBUG if $DEBUG_INVOCATION=1 is set

Let's implement our own protocols, and raise the log level to debug if
DEBUG_INVOCATION=1 is set.

Follow-up for: 7d8bbfbe0852ec89590d1dc5e28afc95d6d44fa1

vconsole-setup: drop impossible condition

vconsole-setup: use normal variables instead of an array

We had this elaborate scheme with an array of strings instead of a bunch of a
normal string fields. If there were hundreds of those strings, this would make
sense. But we had just five and one was actually a bit different because it had
a fallback, so overall, the code is easier to read when normal fields are used.

The fallback was implemented in the accessor function, now it's actually
implemented in the place where it's used.

While at it, rename the variables so that they match the config keys for
legibility.

tmpfiles: reduce quoting in warning message

We printed:
systemd-tmpfiles[705]: /usr/lib/tmpfiles.d/20-systemd-shell-extra.conf:10: Unknown modifiers in command 'L$'.
systemd-tmpfiles[705]: /usr/lib/tmpfiles.d/systemd-network.conf:10: Unknown modifiers in command 'd$'.
systemd-tmpfiles[705]: /usr/lib/tmpfiles.d/systemd-network.conf:11: Unknown modifiers in command 'd$'.
...

There's a lot of additional characters here make the message harder to parse. We know
that the command is a word without any whitespace, so quoting isn't really necessary.

Change this to:
... unknown modifiers in command: L$

test-network: add test case for MPLSRouting=yes

network: introduce MPLSRouting= to enable MPLS routing

Closing #35487.

sysctl-util: support AF_MPLS

To support writing/reading e.g. /proc/sys/net/mpls/conf/eth0/input .

repart: Take configured minimum and maximum size into account for Minimize=

- Let's check if the minimum size we got is larger than the configured
maximum partition size and fail early if it is.
- Let's make sure for writable filesystems that we make the minimal
filesystem at least as large as the minimum partition size, to allow
creating minimal filesystems with a minimum size.

Revert "repart: Drop unprivileged subvolumes logic for btrfs"

This adds back support for unprivileged btrfs subvolumes which
can be merged once btrfs-progs 6.12 is out.

This reverts commit 4d9ccdc9aec5728a6bfc66879420b2af25817e03.

core: Bind mount notify socket to /run/host/notify in sandboxed units (#35573)

To be able to run systemd in a Type=notify transient unit, the notify
socket can't be bind mounted to /run/systemd/notify as systemd in the
transient unit wants to use that as its own notify socket which
conflicts with systemd on the host.

Instead, for sandboxed units, let's bind mount the notify socket to
/run/host/notify as documented in the container interface. Since we
don't guarantee a stable location for the notify socket and insist users
use $NOTIFY_SOCKET to get its path, this is safe to do.

journalctl: make --setup-keys honor --output=json and --quiet (#35507)

Closes #35503.
Closes #35504.

core: Bind mount notify socket to /run/host/notify in sandboxed units

To be able to run systemd in a Type=notify transient unit, the notify
socket can't be bind mounted to /run/systemd/notify as systemd in the
transient unit wants to use that as its own notify socket which conflicts
with systemd on the host.

Instead, for sandboxed units, let's bind mount the notify socket to
/run/host/notify as documented in the container interface. Since we don't
guarantee a stable location for the notify socket and insist users use
$NOTIFY_SOCKET to get its path, this is safe to do.

core/namespace: several fixes for recently merged PRs (#35580)

Fixes #35546.
Fixes #35566.

hwdb: move down touchpad toggle section from generic to product specific

adding `KEYBOARD_KEY_76` in generic section is causing a regression
in MSI GF63. Moving this down fixes.
This commit also adds a probable KEY Code for MSI GF63 touchpad toggling

core: Add PrivateUsers=full (#35183)

Recently, PrivateUsers=identity was added to support mapping the first
65536 UIDs/GIDs from parent to the child namespace and mapping the other
UID/GIDs to the nobody user.

However, there are use cases where users have UIDs/GIDs > 65536 and need
to do a similar identity mapping. Moreover, in some of those cases,
users want a full identity mapping from 0 -> UID_MAX.

To support this, we add PrivateUsers=full that does identity mapping for
all available UID/GIDs.

Note to differentiate ourselves from the init user namespace, we need to
set up the uid_map/gid_map like:
```
0 0 1
1 1 UINT32_MAX - 1
```

as the init user namedspace uses `0 0 UINT32_MAX` and some applications
- like systemd itself - determine if its a non-init user namespace based
on uid_map/gid_map files.

Note systemd will remove this heuristic in running_in_userns() in
version 258 (https://github.com/systemd/systemd/pull/35382) and uses
namespace inode. But some users may be running a container image with
older systemd < 258 so we keep this hack until version 259 for version
N-1 compatibility.

In addition to mapping the whole UID/GID space, we also set
/proc/pid/setgroups to "allow". While we usually set "deny" to avoid
security issues with dropping supplementary groups
(https://lwn.net/Articles/626665/), this ends up breaking dbus-broker
when running /sbin/init in full OS containers.

Fixes: #35168
Fixes: #35425

logind: let system-wide idle begin at the time logind was initialized

Initialize the start of the system-wide idle time with the time logind was
initialized and not with the start of the Unix epoch. This means that systemd
will not repport a unreasonable long idle time (around 54 years at the time of
writing this), especially at in the early boot, while no login manager session,
e.g,. gdm, had a chance to provide a more accurate start of the idle period.

Fixes #35163

Couple small cleanups (#35593)

basic/fileio: two modernizations (#35559)

shell-completion: add smbios11 verb to systemd-analyze

Follow-up for 8c5045f9b2681774e8731dc0d142c207b61aedf6

mkosi: update debian commit reference

* e8b7c9a4dd Install 81-net-bridge.rules
* 50d2997a07 Install systemd-creds bash completion
* ff0c42823c test: fix flaky boot-and-services test
* 2a19dee4ba test: fix flaky boot-and-services test
* a15a0bfe60 Update changelog for 257-2 release
* c24eafcb7e Backport patches to fix test failures
* 29840f9b68 udev: install dmi_memory_id and its rules on riscv64
* 44893bdb32 Update changelog for 257-1 release
* 7f71d995fb Update symbols file for v257
* 2dd2b80499 Update upstream source from tag 'upstream/257'
* 51a3271a85 Update changelog for 257~rc3-1 release
* 8e687227c5 Update symbols for 257~rc3
* c9bae527d6 Drop patches, merged upstream
* e8cf329870 Update upstream source from tag 'upstream/257_rc3'
* 794457516d autopkgtest: fix one more tzdata dependency
* 16bb143da1 Bump version in tzdata dependency due to p-u upload
* f2ddf70604 sysctl: Add file trigger on /usr/lib/sysctl.d to restart systemd-sysctl
* 79260cb0f4 Increase minimum sections in stub PE header on arm64/armhf/riscv64 to 500
* ed3af24635 systemd-ukfy: recommend systemd-boot-efi for the stub

core/mount: don't keep cred mounts around after mounted

Follow-up for 6577cf1ba96027053cedce97ebb22d4ea96887bd

test-loop-block: return -77 on skip in more places

battery-check: parse options before checking for kernel command line

Otherwise --help/--version/etc which exit immediately will do pointless work

units: use PrivateTmp=disconnected instead of 'yes' if DefaultDependencies=no

Avoids subtle race conditions such as the one described at
#35582.

Fixes #35582

core: fix loading verity settings for MountImages= (#35577)

The MountEntry logic was refactored to store the verity
settings, and updated for ExtensionImages=, but not for
MountImages=.

Follow-up for a1a40297dbfa5bcd926d1a19320deb73c033c6f5

network: several cleanups (#35267)

mkosi: Fix opensuse build

The opensuse spec still looks for README.testsuite so hack it to look
for README.md instead now that we changed the name in the repo.

core: Set /proc/pid/setgroups to allow for PrivateUsers=full

When trying to run dbus-broker in a systemd unit with PrivateUsers=full,
we see dbus-broker fails with EPERM at `util_audit_drop_permissions`.

The root cause is dbus-broker calls the setgroups() system call and this
is disallowed via systemd's implementation of PrivateUsers= by setting
/proc/pid/setgroups = deny. This is done to remediate potential privilege
escalation vulnerabilities in user namespaces where an attacker can remove
supplementary groups and gain access to resources where those groups are
restricted.

However, for OS-like containers, setgroups() is a pretty common API and
disabling it is not feasible. So we allow setgroups() by setting
/proc/pid/setgroups to allow in PrivateUsers=full. Note security conscious
users can still use SystemCallFilter= to disable setgroups() if they want
to specifically prevent this system call.

Fixes: #35425

gpt-auto: take timeout opts in rootflags= into account; hibernate-resume: always respect user-defined timeout (#35518)

Export two more functions, and update symbol tests (#35578)

Prompted by #35554.
Continuation of #35555.

mkosi: wrap unshare command when running with sanitizers

Follow-up for 219a6dbbf3ad0121ec43118d4fcdb7b375532cbe.
Fixes #35546.

core/namespace: use ProtectHostname in NamespaceParameters

To make the type of NamespaceParameters.protect_hostname consistent
with the one in ExecContext.

Addresses https://github.com/systemd/systemd/pull/35447#discussion_r1880372452.
Fixes #35566.

creds: introduce --transcode=help and friends and use them in shell completion (#35579)

Follow-ups for 783f794e89996ae7f2ae1872d65c515a672437fa (#35537).

bash-completion/creds: generate suggestions by systemd-creds itself

Follow-ups for 783f794e89996ae7f2ae1872d65c515a672437fa.

creds: support --transcode=help and --with-key=help

string-table: make DUMP_STRING_TABLE() returns 0

Then, we can use it as
===
  return DUMP_STRING_TABLE(...);
===

tpm2-util: allow to control if legend and/or footer shown by tpm2_list_devices()

ci: enable linter for generate-sym-test.py

test: also generate list of symbols from header files

To make the generated tests able to detect issues like #35554.

test: modernize generate-sym-test.py

sd-json: properly export sd_json_variant_type_from_string() and _to_string()

These exist in the header file, but were not exporeted.

Continuation of e11f5aa7226253bf31b2ed61be8599bb213c1819.

test: rename README.testsuite -> README.md

README: drop CentOS CI badges

CentOS CIs are disabled after ead814a0b0f64c572282b9e27a0a995893f10cf0.

polkit-agent: allow to invoke polkit agent even if STDIN is not a tty (#35431)

Closes #35018.

test: add more coverage for extensions and verity

core: fix loading verity settings for MountImages=

The MountEntry logic was refactored to store the verity
settings, and updated for ExtensionImages=, but not for
MountImages=.

Follow-up for a1a40297dbfa5bcd926d1a19320deb73c033c6f5

shell completion: add systemd-creds

semaphore: skip some tests

semaphore CI runs are always very close to the limit of 1hr, and often
time out when it's particularly oversubscribed.
Skip some low-value test cases to shorten the runtime.

exec-util: use strv_from_stdarg_alloca()

No functional change, just refactoring.