test_ukify: add instructions

Copied directly from a1d6dbb1c94685d7972f63ed2762fe4ba0251287.

test_ukify: use sha384 in the signing tests

On Fedora, with crypto policy TEST-FEDORA41, sha1 is not allowed:

$ SYSTEMD_LOG_LEVEL=debug build/systemd-measure sign
  --linux=/lib/modules/6.9.7-200.fc40.x86_64/vmlinuz
  --osrel=/tmp/tmp.osrelbl2sr77f
  --cmdline=/tmp/tmp.cmdlineouc7hqtj
  --uname=/tmp/tmp.unamecbjgesty
  --pcrpkey=/tmp/tmpufiadu8l
  --initrd=/boot/3a9d668b4db749398a4a5e78a03bffa5/6.9.7-200.fc40.x86_64/initrd
  --sbat=/tmp/tmp.sbataz9arpy0
  --private-key=/tmp/tmppyf0gx6w
  --public-key=/tmp/tmpufiadu8l
  --bank=sha1
Measuring boot phases: enter-initrd, enter-initrd:leave-initrd, enter-initrd:leave-initrd:sysinit, enter-initrd:leave-initrd:sysinit:ready
Loaded 'libtss2-esys.so.0' via dlopen()
Loaded 'libtss2-rc.so.0' via dlopen()
Loaded 'libtss2-mu.so.0' via dlopen()
PolicyPCR calculated digest: cec1a2ccb188ddd171a2be7bfa6b31cb9148776647354eb1069e0f891ed2dbe7
Failed to initialize signature context: error:03000098:digital envelope routines::invalid digest
Failed to sign PCR policy: Input/output error

test_ukify: do not use files from /boot

They might not be readable to the unprivileged user running the tests
and it shouldn't really matter what is used. OTOH, we need a real kernel
because we look at the header.

Merge pull request #33761 from DaanDeMeyer/mkosi

mkosi: Various NO_BUILD improvements

mkosi: Build CentOS Stream 10 images by default

CentOS Stream 10 has a newer util-linux which means the terminal
gets correctly resized to the size specified by mkosi. This is a
much nicer experience than CentOS Stream 9 where you're stuck on
80x24 so let's make CentOS Stream 10 the default release to build.

update TODO

mkosi: Streamline running the integration tests without building systemd

Let's document in detail how to build the integration test image and run
the integration tests without building systemd. To streamline the process,
we stop automatically using binaries from build/ when invoking mkosi directly
and don't automatically use a tools tree anymore if systemd on the host is too
old. Instead, we document these options in HACKING.md and change the mkosi meson
target to automatically use the current build directory as an extra binary search
path for mkosi.

mkosi: Skip sync script if NO_BUILD is enabled

If we're not doing a build, there's no point in syncing either so
lets skip it.

Merge pull request #33092 from YHNdnzj/freezer-cleanup

UnitFreezer: several cleanups

sd-device: remove debug log message when dirs are missing

This is a common case, and nothing noteworthy at all. For example, if we
establish an enumerator for listing all devices tagged by some tag, then
the per-tag dir is not going to exist if there are currently no devices
tagged that way, but that's a really common case, and doesn't really
deserve any mention, not even at debug level.

main: show different welcome msg in initrd than on the host

It has bugged me for a while that we show the exact same welcome message
at boot twice: once in the initrd, and once after the initrd→host
transition. That's very confusing.

Let's change the text a bit, and tone down the initrd message a bit (by
removing the empty line before and after it), because it is the less
relevant one.

varlink-util: minor tweak

Apparently I forgot that in the initial PR. Fix that.

https://github.com/systemd/systemd/pull/33714#pullrequestreview-2177885475

Merge pull request #33609 from AdrianVovk/table-json

Improve table JSON name mangling

table: Fix JSON name mangling breaking changes

In previous commits, we've changed the JSON name mangling logic. This,
of course, will cause breaking changes to occur on anything that relied
on the JSON mangling logic.

This commit fixes those breaking changes by manually forcing the JSON
name back to what it was before.

table: Improve mangling of JSON field names

First, when displaying JSON we convert dashes into underscores. We want
to avoid using dashes in JSON field names in new code, because some
JSON parsers don't support dashes very well.

Second, we make the first character of every word lower-case. This
better matches our JSON field name style, and makes the automatic
JSON name mangling a lot more useful for vertical tables, where fields
are given a display name. For example, "Foo Bar" would be converted into
"foo_bar" instead of "Foo_Bar", which much better matches our style.
We don't make the whole string lowercase to support cases like:
"fooBar" should stay as "fooBar".

Some situations don't behave quite perfectly, such as "Foo BarBaz" gets
converted into "foo_barBaz", or all-caps headings get mangled
incorrectly. In these situations, the JSON field should be overridden
manually. In most cases, or at least more cases than before, this
heuristic does good enough.

table: Add TABLE_SET_JSON_FIELD_NAME

Lets you conveniently set JSON field names in table_add_many. Especially
useful for vertical tables. For example:

table_add_many(t,
               TABLE_FIELD, "Display Name",
               TABLE_STRING, obj->display_name,
               TABLE_SET_JSON_FIELD_NAME, "displayName",
               TABLE_FIELD, "Timestamp",
               TABLE_TIMESTAMP, obj->timestamp,
               TABLE_SET_JSON_FIELD_NAME, "timestampUSec");

Merge pull request #33752 from DaanDeMeyer/lsm

Two mkosi improvements

mkosi: Remove enforcing=0 from default kernel command line

We already have selinux=0 in the default kernel command line so
enforcing=0 is redundant. Instead, pass in enforcing=0 when we
enable selinux in TEST-06-SELINUX.

mkosi: Stop setting apparmor=0

It doesn't get pulled in as a dependency anyway and kernel command
line space is precious so let's remove apparmor=0 as it's a noop
anyway.

sleep,home: always initialize UnitFreezer if used

Previously, unit_freezer_new_freeze() would only return
UnitFreezer object if FreezeUnit() succeeds. This is not
ideal though, as a failed bus call doesn't mean the action
actually failed. E.g. a timeout might occur because pid1
is waiting for cgroup event from kernel, while the bus call
timeout was exceeded (#33269). In such a case, ThawUnit()
will never be called, resulting in frozen units remain that
way after resuming from sleep.

Therefore, let's get rid of unit_freezer_new_freeze(),
and make sure as long as unit freezer is involved, we'll
call ThawUnit() when we're done. This should make things
a lot more robust.

sleep: also log about errno when getenv_bool fails

sleep: explicitly list valid sleep operations in switch

To follow our usual coding style.

core/dbus-unit: add an explicit bus error when unit is frozen by parent

While at it, use more accurate errno (EDEADLK) instead of ECHILD.

core/unit: introduce unit_freezer_complete, correctly report end state

core/unit: introduce unit_set_freezer_state, make logging consistent

Also, emit PropertiesChanged signal for FreezerState too.

Fixes #31115

core/cgroup: skip freezer action wholly if current == objective

core/cgroup: replace hardcoded state set with freezer_state_finish()

This makes code simpler and more readable.

core/unit: rename a few more vars for unit_next_freezer_state()

id128: add 'var-partition-uuid' verb

As per DPS the UUID for /var/ should be keyed by the local machine-id,
which is non-trivial to do in a script. Enhance 'systemd-id128' to
take 'var-partition-uuid' as a verb, and if so perform the
calculation.

core/unit: use switch for unit_next_freezer_state

core/unit: rename freezer "target" to "objective"

core/slice: simplify slice_freezer_action a bit

core: make unit_can_freeze take const Unit*

core,unit-def: use our usual way of asserting enums

core/unit: drop pointless unit_freezer_state wrapper

core/dbus-unit: use UNIT_IS_LOAD_ERROR where appropriate

Merge pull request #33714 from poettering/make-varlink-public

varlink: make API public as "sd-varlink.h"

docs: update mkosi version mentioned in HACKING.md (#33723)

* fix: update docs since the default config uses a setting only available in v23

* fix: update docs to only refer to installing from the mkosi repo

rules: Add uaccess tag to /dev/udmabuf

In some cases userspace may need to create dmabuffers from userspace
on such example is the software ISP part of libcamera which needs to
allocate dma-buffers for the output of the software ISP.

At first the plan was to allow console users access to /dev/dma_heap/*,
this was discussed with various kernel folks here:
https://lore.kernel.org/all/bb372250-e8b8-4458-bc99-dd8365b06991@redhat.com/

Giving console users access to the dma_heap's was deemed a bad idea
because memory allocated this way is not accounted in cgroup limits.

Giving access to /dev/udmabuf OTOH was deemed acceptable so that
is what this patch adds.

Resolves: #32662

id128: refuse --app-specific= if we're listing GPT types

Prompted by #33737

The intention of b37e8184a5a376749fbf68674ed6d7a4fc9901aa
is to expose sd_id128_get_app_specific() on command line.
But combining that with GPT type list makes little sense.

gpt: add more architecture aliases

Same as the other aliases. Allows chaining commands like:

$ systemd-id128 show -P root-$(dpkg-architecture --query DEB_HOST_ARCH)
4f68bce3e8cd4db196e7fbcaf984b709

mkosi: List library packages explicitly in VolatilePackages=

These should already get pulled in as dependencies, but it doesn't
hurt to be explicit.

mkosi: Build initrd as a subimage

Let's make things a little more consistent and build the initrd
explicitly as a subimage as well instead of relying on mkosi building
it as part of the main image build.

We drop the opensuse initrd postinst script as we don't use erofs by
default anymore. We can always reintroduce it again later if needed.

mkosi: Drop CacheOnly=always from two subimages

This is a universal setting and can only be configured in the main
image so let's drop it from the subimages.

update TODO

sd-json/sd-varlink: downgrade assert() → assert_ret()

Our usual rule is that we are more lenient towards misuse for public
users of our code than for ourselves. Or in other words: when validating
parameters of our public functions (those starting with sd_…) we prefer
assert_ret() over assert().

libsystemd: use C23 explicit enum types where available

In C23 we can explicitly choose the integer type for an enum. Let's do
so to make our requirements for 64bit integers explicitly. Previously,
we'd rely on a GNU extension that would size the enum to 64bit if at
least one value outside the 32bit range is in the enum. Let's keep that
too, for compat with older compilers.

(Also, add the support for older compilers to the definition of
sd_json_dispatch_flags_t, where it was forgotten so far)

sd-varlink: make our internal Varlink API public as sd-varlink.[ch]

It's time. sd-json was already done earlier in this cycle, let's now
make sd-varlink public too.

This is mostly just a search/replace job of epical proportions.

I left some functions internal (mostly IDL handling), and I turned some
static inline calls into regular calls.

Merge pull request #33695 from DaanDeMeyer/epel

mkosi: Add CI for CentOS Stream 10

TEST-13-NSPAWN: make sure we don't load libnss_systemd

Let's make sure we don't load libnss_systemd.so from bash as the
necessary environment variables aren't set to make that work when
we're running with sanitizers enabled.

We can't add a sanitizer wrapper for bash as the wrapper runs using
bash so you end up in a loop.

mkosi: Disable unique debug source names

We use -fdebug-prefix-map= because debugedit doesn't work for us (for
a currently unknown reason since it's the most obtuse code I've ever
had the pleasure of reading). With all the unique macros enabled, the
destination directory we pass to -fdebug-prefix-map= includes the package
release. The release is either the timestamp of the current commit or
the current time if the working tree is dirty. This means it generally
changes every time we rerun the build script. However, meson only reads
compiler arguments the first time it is invoked or if --wipe is specified.
This means that on a rerun -fdebug-prefix-map= will be configured wrong
and the build will fail.

Let's prevent this from happening by disabling the unique debug source
names by overriding the --unique-debug-src-base option that is passed to
find-debuginfo.sh by rpm via the _find_debuginfo_opts macro.

systemd-networkd-tests: Skip tests requiring dhcpd if it is not available

dhcpd is not available on CentOS Stream 10

See https://github.com/systemd/systemd/issues/33717

TEST-55-OOMD: Remove the opensuse user@ dropin

Required to make TEST-55-OOMD pass on OpenSUSE.

mkosi: Install binutils

TEST-64-UDEV-STORAGE: Use max_ioqpairs instead of num_queues

Fixes a deprecation warning from qemu.

mkosi: Use clang --print-runtime-dir

mkosi: Extend arch build script comment about symlinks

test: do not attempt to set xattr on tmpfs

This is only possible since a recent kernel version, and fails otherwise,
like on CentOS 9

mkosi: Add CI for CentOS Stream 10

We switch to the c10s-sig-hyperscale branch of the spec repository
as it will receive all the latest changes the earliest before they
end up in the c9s-sig-hyperscale branch.

mkosi: Use squashfs for sysext if mkfs.erofs is not available

CentOS Stream 10 does not have erofs-utils so let's add a fallback
to squashfs when building the sysext.

mkosi: Make epel repositories optional for CentOS Stream 9

This allows us to add CI for CentOS Stream 10 as EPEL 10 doesn't
exist yet and won't exist for quite some time.

CentOS Stream 10 will be enabled later as soon as
https://issues.redhat.com/browse/RHEL-46604 is resolved.

mkosi: Introduce build image

We want the exitrd image to be built with the latest systemd as well.
As the exitrd image is built as part of mkosi.images, and all subimages
are built before the main image, this implies the packages must be built
as a subimage in mkosi.images/ as well. So we introduce the build image and
move all logic related to building distribution packages there.

This also has the nice side effect of slimming down the main image as the
build dependencies are not installed into the main image anymore. It also
makes sure the packages are built in a "clean" chroot without any of the
other packages which we install in the main image available.

mkosi: update fedora commit reference

* a3524fc837 Use a more precise Recommends for libkxbcommon
* 980ede8c0f Drop machined revert
* d569018a92 Rebuilt for the bin-sbin merge
* 8881fa94ee Version 256.2
* 1cc4f83002 Link systemd-executor statically
* 0319e62d9c Update dracut workaround
* c96f54de22 Fix ELN build
* 3f68c5d802 Only exclude dracut conflicts on non-fedora on upstream builds
* 7db154308b Conditionalize dracut Conflicts more

mkosi: Update to latest

Revert "hwdb: Added StarLabs StarLite position sensor mapping"

This reverts commit 1bd5db86f50feb2efd8e54e8156816d9727f6f2f.

The `kxcjk-1013` driver in Linux will parse the rotation matrix
from ACPI. This quirk is not specific enough to exist without
causing issues on different variations.

Signed-off-by: Sean Rhodes <sean@starlabs.systems>

Merge pull request #33718 from YHNdnzj/machine-id-followup

core/main: several cleanups

sysupdate: fix return types according to style guide

fstab-generator: add x-systemd.wants

This is an analog of x-systemd.requires that adds a Wants dependency
instead. This is useful for filesystems that support mounting in
degraded states (such as multi-device filesystems).

kernel-install: Remove existing loader entries and UKIs

When boot counting is enabled, adding a new loader entry or UKI can conflict
with an existing one that has booted successfully and therefore has its boot
counter removed. systemd-bless-boot will fail to bless the new successful boot,
since a file without a boot counter already exists. Since kernel-install will
clobber existing files without boot counting, we should therefore remove files
without a boot count as well, when we add a file with one.

Fixes: #33504

sysupdate: fix size_t specifier

core/main: refuse to run if /usr/ is not populated

The support for split-usr has been dropped in v255.
So, rather than emitting a warning, let's refuse
such unsupported setups completely.

core/main: move capability_ambient_set_apply() to initialize_runtime()

This is preparation for (user) manager, and we apply capability
settings for the system manager in initialize_runtime() too.

core/main: respect skip_setup for RUNTIME_SCOPE_USER too

core/main: merge second RUNTIME_SCOPE_SYSTEM block into switch above

core/main: modernize setup_os_release() a bit

core/main: cast ignored retval of machine_id_setup() to void

core/import-creds: use proc_cmdline_get_bool()

core/import-creds: use FOREACH_ARRAY and RET_GATHER where appropriate

basic/mkdir: merge two if blocks, return more accurate errno

machine-id: Add cmdline argument to use VM behaviour on bare metal (#32086)

Closes #30707

Merge pull request #33711 from dtardon/masked-unit-NeedDaemonReload

Fix `NeedDaemonReload=` for masked units with drop-ins

core/execute-serialize: fix deserialization for apparmor_profile_ignore

Follow-up for 99a1cdc9510ac8b4865d8d403b66bc82335a6520

Merge pull request #33520 from tomcoldrick-ct/coldtom/sysupdate-improvements

sysupdate: Add --offline mode, notifications, JSON output and additional metadata

logind-user: take gc_mode into account when reporting user state

Prompted by #33650

Previously, if a user manually starts user@.service (which is
something we support), we'd track it as 'manager' session.
However, since user_get_state() ignores all non-pinning sessions,
if lingering is not enabled, the user state would always be
reported as 'closing', which is spurious.

Let's instead take gc_mode into consideration, and ignore
non-pinning sessions only if USER_GC_BY_PIN.

core/unit: ignore dropins for masked units completely when checking need_reload

Follow-up for 19a44dfe4525ab01caf593a9c2beada4b412910d

If a drop-in is set from upper level, e.g. global unit_type.d/,
even if a unit is masked, its dropin_paths would still be partially
populated. However, unit_need_daemon_reload() would always
compare u->dropin_paths with empty strv in case of masked units,
resulting in it always returning true. Instead, let's ignore
dropins entirely here.

Fixes #33672

test: add a reproducer for #33672

update TODO

sysupdate: Split reboot_now into utils

This will let us reuse reboot_now in updatectl

sysupdate: Split UpdateSetFlags out from UpdateSet

This will let us reuse UpdateSetFlags in updatectl

sysupdate: Use FOREACH_ARRAY where possible

Replace simple loops over arrays with the FOREACH_ARRAY macro.

sysupdate: Support changelogs & appstream metadata

Makes it possible to specify URLs to a changelog and an appstream
catalog XML in the sysupdate.d/*.conf files. This will be passed along
to the clients of systemd-sysupdated, which can then present this data.

sysupdate: Implement JSON output

Previously, the JSON output happened mostly as an accident (i.e. just
dumped tables intended for viewing). Now we have more complete JSON
output.

sysupdate: Add --offline mode

This prevents sysupdate from going out to the network to enumerate
available instances. When combined with the list command, this lets us
query installed instances

sysupdate: Report download progress via sd_notify

We set up a NOTIFY_SOCKET to get download progress notifications from
each individual import helper. Along with the number of import jobs we
have to run, this gives an overall progress value which we report using
sd_notify

stub: const'ify a few parameters

Merge pull request #33686 from poettering/boot-tweaklets

boot/bootspec: some minor fixes/additions

Merge pull request #33697 from poettering/vmspawn-stream-fix

vmspawn: fix AF_VSOCK sd_notify() reception

signal-util: use common definitions for ignore + default "struct sigaction"

We use this at various places, let's unify this in one global constant.

This changes flags in crash-handler.c in a tiny irrelevant way: we ask
syscalls to be continued on signal arrival, which we previously didn't.
But that shouldn't change anything, the only thing we'll do in the
relevant process is call raise(), and that's it, hence there definitely
are no syscalls to restart or not to restart.

bootspec: correct log level for fatal errors

bootspec: implement sorting by tries left/done, to match what sd-boot does