stdio-bridge: Use customized log message for forwarding bus

Let's more clearly indicate that we failed to set up the server
which forwards messages from the remote client to the local bus
instead of logging a generic bus client message.

stdio-bridge: Use bus_log_connect_error()

bus-util: Move geteuid() check out of bus_connect_system_systemd()

Let's move this check to bus_connect_transport_systemd() so that
bus_connect_system_systemd() will only ever connect to the manager
private manager bus instance and fail otherwise.

bus-util: Drop fallback to system/user bus if manager bus doesn't work

We have various callsites that explicitly need the manager bus and
won't work with the system bus, like daemon-reexec and friends which
can't properly wait until the operation has finished unless using the
manager bus.

If we silently fall back to the system bus for these operations, we
can end up with rather hard to debug issues so let's remove the fallback
as it was added back in 2013 in a6aa89122d2fa5e811a72200773068c13bfffea2
without a clear explanation of why it was needed (I expect as a fallback
if kdbus wasn't available but that's not a thing anymore these days).

update-utmp: Make reconnect logic more robust

We might also fail to connect to the private manager bus itself if
the daemon-reexec is still ongoing, so let's handle that as well by
retrying on ECONNREFUSED.

mkosi: Fix up ownership of testuser home directory on first boot

When building unprivileged, the testuser home directory ends up
owned by root:root because mkosi can't chown directories to other
owners when running unprivileged. So let's fix up the testuser
ownership on first boot with tmpfiles instead.

Merge pull request #34707 from YHNdnzj/user-manager-reexec

core: fix STATUS=Ready for user manager; units/user@.service: issue daemon-reexec when notify-reloading

rpm/systemd-update-helper: Use systemctl reload to reexec/reload user managers

Let's always use systemctl reload to reexec and reload user managers
now that it always implies a reexec. This moves all the job management
logic to pid 1 instead of bash and reduces the complexity of the logic
as we remove systemd-run, pam and systemd-stdio-bridge from the equation.

units/{user,capsule}@.service: issue daemon-reexec when notify-reloading

Closes #28367 (but not really in the exact form, see below)

We have the problem of restarting all user manager instances
after upgrade. Current approaches involve systemctl kill
with SIGRTMIN+25, which is async and feels rather ugly [1][2];
or systemctl --machine=user@ --user, which requires entering
each user session. Neither is particularly elegant.
Instead, let's just signal daemon-reexec when user@.service
is reloaded from system manager. Our long goal of dropping
daemon-reload in favor of reexec (see TODO) is unlikely to happen
due to user dbus restrictions, but here the synchronization
is done via READY=1.

[1] https://gitlab.archlinux.org/archlinux/packaging/packages/systemd/-/blob/main/systemd.install?ref_type=heads#L37
[2] https://salsa.debian.org/systemd-team/systemd/-/blob/debian/master/debian/systemd.postinst#L24

#28367 would not really work for us now I come to think about it,
because all processes will be reparented to pid1 as soon as
original user manager process exits. This alternative approach
seems good enough for our use case.

core/manager-serialize: drop serialization for Manager.ready_sent

This field indicates whether READY=1 has been sent to
the service manager/supervisor. Whenever we reload/reexec/soft-reboot,
manager_send_reloading() always resets it to false first,
so that READY=1 is sent after reloading finishes. Hence
we utterly get "false" at all times. Kill it.

core/manager: still send out STATUS=Ready for user manager

This effectively reverts 37d15cd132f3a8a0bf42fb252c1604e804171ff2.

The offending commit wrongly assumed that the second READY=1
notification is for system scope only, but it also serves the purpose
of flushing out previous STATUS= containing user unit job status.

udev: allow persistent storage rules for ublk devices

Tools such as lsblk which query the udev database instead of probing
devices directly fail when run on ublk devices. For instance, in the
following commands, the partition type is missing, despite the fact that
/dev/ublkb0 was just partitioned with a single Linux filesystem type
partition.

$ lsblk /dev/ublkb0
NAME       MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
ublkb0     259:0    0 31.3G  0 disk
└─ublkb0p1 259:1    0 31.2G  0 part
$ lsblk -o pkname,parttype /dev/ublkb0
PKNAME PARTTYPE

ublkb0

This happens because ublk devices are missing from a couple of
whitelists in the udev rules which are responsible for populating the
database with the data lsblk is looking for. Add the ublk devices to
these whitelists.

docs/DESKTOP_ENVIRONMENTS: fix formatting

The annotation about omittance is meant to be about the `RANDOM` string.
However, the current formatting makes it look like the entire naming
scheme is optional. Fix this.

docs: don't mention split-usr path anymore

We don't support split /usr/ anymore. Hence fix the paths. This
apparently matters because of PK validating the binary path.

Fixes: #34712

mkosi: fix sections for settings

Follow-up for 963157ca78429c51feb3103828d8cc94440956f3.

Merge pull request #34699 from yuwata/netlink-cleanups

sd-netlink: several cleanups

sd-netlink: introduce two more _get_family()

Then, use them in sd_rtnl_message_get_family().

sd-netlink,network: rename functions and RoutingPolicyRule.type

To make them consistent to the netlink message header.
No functional change, just refactoring.

sd-netlink: introduce macros to define sd_rtnl_message setters and getters

sd-netlink: make size verifier in sd_netlink_message_read_xyz() stricter

Also, fill remaining output buffer with zero, for safety.

sd-netlink: shorten sd_netlink_message_read_string_strdup() a bit

sd-netlink: various cleanups

- use uint8_t, uint16_t, and so on, rather than unsigned char, unsigned
  short, and so on, respectively,
- rename output parameters to ret or ret_xyz,
- add several missing assertions.

man: reword comment a bit regarding ExecStartPre= multiple commands

The documentation claimed that ExecStartPre=/ExecStartPost= accepts
multiple command lines, in contrast to ExecStart=. This is half an
untruth, because ExecStart= allows that too – as long as Type=oneshot is
set.

Hence, reword this a bit, and do not emphasize the contrast.

Prompted by: #34570

ukify: Fix systemd-measure detection in tests

Fixes: 206fa93c854e3d5c94e56da9b53e107245f31503

Merge pull request #34684 from yuwata/login-scheduled-shutdown

login: allow to cancel delayed action by CancelScheduledShutdown()

sd-event: rename output parameters to ret

machined: use sd_json_dispatch_uint() when parsing CID

This is preferable, because we will accept CIDs encoded as strings too
now, as we do for all other integers. Also, it's shorter. Yay!

ukify: fix return value type of resolve_at_path()

Follow-up for eca003de2f3a708c44946d36af6517cbcf3392ff.

network/dhcp4: add support for ARPHRD_RAWIP and ARPHRD_NONE network interface types

This should fix QMI wwan modems, as noted in
https://github.com/systemd/systemd/issues/27219

repart: fix typo

Follow-up for d3032e651e2131c47d276e3fbdcbdf9fc51c8ef9.

core/mount: fix typo

Follow-up for 00ad3f02275b507a753495ace5e5f84cb38b604d.

Merge pull request #34687 from DaanDeMeyer/mkosi

Various fixes

stub: reindent lines

Follow-up for 2ea0487c1be4203ba3664d249418317846f55c1a.

mkosi: Fix sections for settings

Upstream we moved settings around a bit to different sections, let's
adapt to those changes in the systemd repo.

mkosi: Update to latest

mkosi: Remove particle profile

We have https://github.com/systemd/particleos for testing the particle
stuff so let's drop it from the systemd repo as it's bit rotting.

efi-loader: Add @ to valid characters

This is now a valid character with the introduction of multi UKI
profiles, so update the function to allow it.

boot: Introduce file_size and use it when we're working with file_offset

When we're reading a section from disk, use file_size to use the
size on disk instead of the size in memory.

boot: Rename pe section size to memory_size

Let's clearly indicate this is the size in memory and not the size
on disk, these two are not guaranteed to be the same.

ukify: Read .profile from path starting with @

ukify: Introduce resolve_at_path()

Merge pull request #34665 from poettering/fastopen-fallback

resolved: fix MSG_FASTOPEN fallback logic

ukify: Fix off by one error

We weren't measuring the profile section itself.

Merge pull request #34641 from behrmann/ukifystyle

Type annotate and format ukify

logind: add comment why we save action in execute_shutdown_or_sleep()

When I first read the code, I was confused about that. Hopefully, this
helps maintain code a bit.

login: use event_reset_time_relative() at one more place

login: provide delayed action in ScheduledShutdown property

Even though we can get the existence of delayed action through
PreparingForShutdownWithMetadata property or friends, for consistency
with CancelScheduledShutdown() method, it is better to also provide the
information through ScheduledShutdown property.

login: allow to cancel delayed action by CancelScheduledShutdown()

Fixes #34554.

Merge pull request #34636 from WilliButz/repart/verity-hash-max-data-size

repart: support verity hash partitions sized for custom data size

Merge pull request #34691 from poettering/polkit-varlink-field-macro

polkit: introduce common macro for generating polkit allowInteractive…

network/sysctl-monitor: change variable type to avoid preverifier denial

The compiler clones the u32 i variable to another register, and fails to
calculate the range of possible values, so the verification fails.

    libbpf: prog 'sysctl_monitor': BPF program load failed: Permission denied
    libbpf: prog 'sysctl_monitor': -- BEGIN PROG LOAD LOG --
    0: R1=ctx() R10=fp0
    ; int sysctl_monitor(struct bpf_sysctl *ctx) { @ sysctl-monitor.bpf.c:65
    0: (bf) r6 = r1                       ; R1=ctx() R6_w=ctx()
    ; if (bpf_current_task_under_cgroup(&cgroup_map, 0)) @ sysctl-monitor.bpf.c:69
    1: (18) r1 = 0xffff892a0fda9c00       ; R1_w=map_ptr(map=cgroup_map,ks=4,vs=4)
    3: (b7) r2 = 0                        ; R2_w=0
    4: (85) call bpf_current_task_under_cgroup#37         ; R0_w=scalar()
    5: (55) if r0 != 0x0 goto pc+88       ; R0_w=0
    ; if (!ctx->write) @ sysctl-monitor.bpf.c:73
    6: (61) r1 = *(u32 *)(r6 +0)          ; R1_w=scalar(smin=0,smax=umax=0xffffffff,var_off=(0x0; 0xffffffff)) R6_w=ctx()
    7: (15) if r1 == 0x0 goto pc+86       ; R1_w=scalar(smin=umin=umin32=1,smax=umax=0xffffffff,var_off=(0x0; 0xffffffff))
    8: (b7) r1 = 1                        ; R1_w=1
    ; we.version = 1; @ sysctl-monitor.bpf.c:81
    9: (7b) *(u64 *)(r10 -480) = r1       ; R1_w=1 R10=fp0 fp-480_w=1
    10: (b7) r8 = 0                       ; R8_w=0
    ; we.path[0] = 0; @ sysctl-monitor.bpf.c:83
    11: (73) *(u8 *)(r10 -440) = r8       ; R8_w=0 R10=fp0 fp-440=???????0
    ; we.newvalue[0] = 0; @ sysctl-monitor.bpf.c:86
    12: (73) *(u8 *)(r10 -180) = r8       ; R8_w=0 R10=fp0 fp-184=???0????
    ; we.current[0] = 0; @ sysctl-monitor.bpf.c:85
    13: (73) *(u8 *)(r10 -340) = r8       ; R8_w=0 R10=fp0 fp-344=???0????
    ; we.comm[0] = 0; @ sysctl-monitor.bpf.c:84
    14: (73) *(u8 *)(r10 -456) = r8       ; R8_w=0 R10=fp0 fp-456=???????0
    ; we.pid = bpf_get_current_pid_tgid() >> 32; @ sysctl-monitor.bpf.c:89
    15: (85) call bpf_get_current_pid_tgid#14     ; R0=scalar()
    16: (77) r0 >>= 32                    ; R0_w=scalar(smin=0,smax=umax=0xffffffff,var_off=(0x0; 0xffffffff))
    17: (63) *(u32 *)(r10 -472) = r0      ; R0_w=scalar(id=1,smin=0,smax=umax=0xffffffff,var_off=(0x0; 0xffffffff)) R10=fp0 fp-472=????scalar(id=1,smin=0,smax=umax=0xffffffff,var_off=(0x0; 0xffffffff))
    ; we.cgroup_id = bpf_get_current_cgroup_id(); @ sysctl-monitor.bpf.c:90
    18: (85) call bpf_get_current_cgroup_id#80    ; R0_w=s
    libbpf: prog 'sysctl_monitor': failed to load: -13
    libbpf: failed to load object 'sysctl_monitor_bpf'
    libbpf: failed to load BPF skeleton 'sysctl_monitor_bpf': -13
    Unable to load sysctl monitor BPF program, ignoring: Permission denied.

Change the type to u64 to fix it.

namespace: rename drop_unused_mounts() → sort_and_drop_unused_mounts()

The function sorts the listed mounts, and that's kinda key, hence
reflect that in the name.

update TODO

polkit: introduce common macro for generating polkit allowInteractiveAuth varlink method call IDL field

We define the same field at many places, let's add a macro with it, that
also contains a suitable description comment.

stub: Add support for .initrd addon files

Teaches systemd-stub how to load additional initrds from addon files.
This is very similar to the support for .ucode sections in addon files,
but with different ordering. Initrds from addons have a chance to
overwrite files from the base initrd in the UKI.

test/repart: add test case for hash size derived from max data size

repart: derive hash partition size from SizeMaxBytes= of data sibling

This change makes it possible for repart to create dm-verity hash
partitions for a custom amount of protected data. When the property
`SizeMaxBytes=` is specified for a dm-verity data partition, the size
of the corresponding hash partition is set to accommodate hash data
for this maximum size, rather than the actual contents its data
sibling. However, the contained hash data continues to be generated
from said sibling.

ukify: Factor out sbat into constants

ci: Check ukify types and formatting.

ukify: Ensure that find_tool always returns a tool or throws an error

This also makes the error message configurable, so that find_sbsign and
find_pesign can be inlined again.

ukify: Move summary option handling out of finalize_options

This way finalize_options will not call sys.exit by itself.

ukify: Type-annotate ukify

ukify: Make it lint clean

ukify: Use OSError insteead of IOError

The latter was deprecated for the former and is only an alias for it.

ukify: Use non-deprecated import for Sequence

ukify: Sort imports

ukify: Import Path directly

ukify: Format with ruff

Merge pull request #34679 from DaanDeMeyer/bus-log

Various logging improvements

Merge pull request #34656 from yuwata/private-users

core: drop implicit support of PrivateUsers=off

Merge pull request #34651 from yuwata/polkit-transient-unit

dbus: pass transient unit name metadata to polkit

hwdb: move key 66/65 handling from specific to generic HP laptop coverage

This takes the idea from #18595 and implements it based on our current
hwdb: the original PR suggested the keys 66/65 are a generic HP thing,
and not limited to specific laptops. The current specific laptop entries
do not contradict that claim.

Hence, let's move them from the specific sections matching some HP
laptops to the generic section matching all.

This uses the correct key names, which have long been fixed (which used
to be a problem our CI was tripped off by).

This is not tested, but I think fairly risk-less, and should allow us to
get rid of a really old PR.

Replaces: #18595

core: Log in more scenarios about which process initiated an operation

Exit/Reboot/Poweroff and similar operations are invasive enough that
logging about who initiated them is very useful to debug issues.

core: Bump log level of reexecute request to notice

A daemon-reload is important enough to deserve logging at notice
level.

bus-util: Log more information when connecting to a bus socket fails

Let's log about which bus we're trying to connect to and what transport
we're using to do it.

Merge pull request #34593 from Werkov/deprecate-aux-scopes

core/manager: Deprecate StartAuxiliaryScope() method

Merge pull request #34671 from yuwata/memory

tree-wide: several memory accounting cleanups

NEWS: announce the F20/F21/F22/F23 key mangling removal scheduled for v258

As per: https://github.com/systemd/systemd/pull/34325
And: https://github.com/systemd/systemd/issues/34323

update TODO

core: drop implicit support of PrivateTmp=off

Follow-up for 0e551b04efb911d38b586cca1a6a462c87a2cb1b.

Similar to the previous commit, but for PrivateTmp=.

core/dbus: pass transient unit name metadata to polkit

Fixes #17224

core/dbus: add assertions

core/dbus: introduce bus_verify_manage_units_async_impl()

Then, make bus_verify_manage_units_async() and _full() inline.

Co-authored-by: Renjaya Raga Zenta <ragazenta@gmail.com>

core/dbus: move bus_verify_xyz() to dbus-util.c

mount: optimize mountinfo traversal by decoupling device discovery

In mount_load_proc_self_mountinfo(), device_found_node() is synchronously called
during the traversal of mountinfo entries. When there are a large number of
mount points, and the device types are not significantly different, this results
in excessive time consumption during device discovery, causing a performance
bottleneck. This issue is particularly prominent on servers with a large number
of cores in IDC.

This patch decouples device discovery from the mountinfo traversal process,
avoiding redundant device operations. As a result, it significantly improves
performance, especially in environments with numerous mount points.

Signed-off-by: Chen Guanqiao <chen.chenchacha@foxmail.com>

core: drop implicit support of PrivateUsers=off

Follow-up for fa693fdc7e17618958c505af4b2f39ecd1c3363e.

The documentation says the option takes a boolean or one of the "self"
and "identity". But the parser uses private_users_from_string() which
also accepts "off". Let's drop the implicit support of "off".

oomd: separate entries with comma for readability

oomd: update system context when oomctl is invoked

Otherwise, oomctl shows 0 memory and swap usage when swap monitoring
is not enabled.
=======
$ oomctl
Dry Run: no
Swap Used Limit: 90.00%
Default Memory Pressure Limit: 60.00%
Default Memory Pressure Duration: 20s
System Context:
        Memory: Used: 0B Total: 0B
        Swap: Used: 0B Total: 0B
Swap Monitored CGroups:
Memory Pressure Monitored CGroups:
...
======

oomd: drop unused usec_now

systemctl: separate memory usage with comma

Just for readability.

Before:
$ build/systemctl status -n 0 systemd-networkd.service | grep Memory:
     Memory: 4.7M (peak: 14.3M swap: 1M swap peak: 1.1M)

After:
$ build/systemctl status -n 0 systemd-networkd.service | grep Memory:
     Memory: 4.7M (peak: 14.3M, swap: 1M, swap peak: 1.1M)

core: suppress one debugging log

Otherwise, the log is shown even when getting properties.
Even though it is in the debug level, that's quite noisy.

[  338.785847] TEST-55-OOMD.sh[1624]: Oct 07 16:35:15 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.786985] TEST-55-OOMD.sh[1624]: Oct 07 16:35:17 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.787412] TEST-55-OOMD.sh[1624]: Oct 07 16:35:20 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.791776] TEST-55-OOMD.sh[1624]: Oct 07 16:35:22 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.792938] TEST-55-OOMD.sh[1624]: Oct 07 16:35:24 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.793225] TEST-55-OOMD.sh[1624]: Oct 07 16:35:26 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.793424] TEST-55-OOMD.sh[1624]: Oct 07 16:35:28 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.796448] TEST-55-OOMD.sh[1624]: Oct 07 16:35:31 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.797997] TEST-55-OOMD.sh[1624]: Oct 07 16:35:33 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.799206] TEST-55-OOMD.sh[1624]: Oct 07 16:35:35 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount

Merge pull request #34675 from poettering/dupfd-query

fd-util: use F_DUPFD_QUERY for same_fd()

Merge pull request #34674 from yuwata/reallocarray

tree-wide: replace reallocarray() with GREEDY_REALLOC()

Merge pull request #34672 from yuwata/timestamp

analyze: fix timestamp

core/manager: Deprecate StartAuxiliaryScope() method

The method was added with migration of resources in mind (e.g. process's
allocated memory will follow it to the new scope), however, such a
resource migration is not in cgroup semantics. The method may thus have
the intended users and others could be guided to StartTransientUnit().

Since this API was advertised in a regular release, start the removal
with a deprecation message to callers.
Eventually, the goal is to remove the method to clean up DBus API and
simplify code (removal of cgroup_context_copy()).

Part of DBus docs is retained to satisfy build checks.

Merge pull request #34678 from kalrish/documentation-fixes

Fix little errors in man pages `machinectl(1)` and `systemd-nspawn(1)`

man: `machinectl(1)`: Fix description of subcommand `poweroff`

man: `systemd-nspawn(1)`: Fix some typos

Merge pull request #34556 from ryantimwilson/extra-fds

Add ExtraFileDescriptor property to StartTransientUnit dbus API

fd-util: use F_DUPFD_QUERY for same_fd()

Catch up with the nice little toys the kernel fs developers have added
for us. Preferably, let's make use of the new F_DUPFD_QUERY fcntl() call
that checks whether two fds are just duplicates of each other
(duplicates as in dup(), not as in open() of the same inode, i.e.
whether they share a single file offset and so on).

This API is much nicer, since it is a core kernel feature, unlike the
kcmp() call we so far used, which is part of the (optional)
checkpoint/restore stuff.

F_DUPFD_QUERY is available since kernel 6.10.