Rework TEST-86-MULTI-PROFILE-UKI

Now that mkosi supports generating UKI profiles, let's make use of
that to generate the UKI profiles required for the test instead of
doing it within the test itself.

TEST-70-TPM2: Disable public key enrollment explicitly

Otherwise, when the test is executed on a system with signed PCRs,
cryptenroll will automatically pick up the public key from the UKI
which results in a volume that can't be unlocked because the pcrextend
tests appends extra things to pcr 11.

cryptenroll: Remove faulty assert()

We can break out of the preceeding for loop in certain scenarios
which would trigger the assert so let's drop it.

pcrlock: Take VirtualSize > SizeOfRawData into account

If VirtualSize > SizeOfRawData, measure extra zeros to take into
account the extra zeros also measured by the stub.

measure: Take SizeOfImage into account as well for .linux section

Same change as https://github.com/systemd/systemd/pull/34583 but for
systemd-measure. Otherwise we end up with PCR policy digest mismatches
as systemd-stub will measure the full virtual size of the kernel image
after it has been loaded while systemd-measure will disregard the extra
size introduced by SizeOfImage.

While ideally the stub would only measure the data that's actually on
disk and not the uninitialized data introduced by VirtualSize > SizeOfRawData,
we want newer systemd-measure to work with older stubs so we have to fix
systemd-measure and can't fix this in the stub.

TEST-55-OOMD: workaround for kernel regression in 6.12-rcX

This ignore failures when running on kernel-6.12-rcX, which has a
regression in the kernel scheduler that breaks PSI.

From https://github.com/systemd/systemd/issues/32730#issuecomment-2415312260
> There is a known scheduler bug in 6.12 that breaks psi. It leaks
> "running tasks" counts, which matches your symptoms of seeing partial
> pressure only.
>
> Do you see "inconsistent task state" warnings in dmesg | grep psi?
>
> A fix is queued in the scheduler tree, should be sent to Linus shortly:
> https://git.kernel.org/pub/scm/linux/kernel/git/tip/tip.git/commit/?id=c6508124193d42bbc3224571eb75bfa4c1821fbb

Workaround for #32730.

Merge pull request #34820 from poettering/dissect-image-uclean

dissect-image: generate better log message for EUCLEAN dissect error

Merge pull request #34783 from keszybz/man-nspawn-private-users

Change systemd-nspawn man page to strongly recommend private users

tree-wise: use "lightweight" spelling

Both spellings were used, but the dictionary says that "lightweight"
is the standard spelling.

man/systemd-nspawn: emphasise that user namespaces are strongly recommended

test: customize /etc/os-release instead of /usr/lib/os-release

As per spec image builders can create a local /etc/os-release
with per-image IDs, so modify that one instead of the original
one in /usr/lib. For example we do this when we build debian
unstable images in mkosi.

dissect-image: generate better log message for EUCLEAN dissect error

Fixes: #31799

dissect-image: uppercase first char of dissect error message systematically

Some of the log message stricts used proper uppercasing, others didn't.
Fix that to make it uniform.

resolved: refresh resolv.conf files when link goes away

This might have the effect that some DNS server or search domain
disappears, hence rewrite the relevant files.

See: #27543

mkosi: update opensuse commit reference and switch branch

'factory' was reset to 8 years ago

resolved: add some more comments to varlink interface

This is by no means complete, but gets us a bit closer.

networkd: raise limits on number of address 8x

Limits should be enforced, but not in a way real setups collide with
them.

There have been multiple reports that current limits are too low, hence
raise them 8x.

Fixes: #24852

update TODO

update TODO

GREEDY_REALLOC_APPEND: Make more type safe

Previously, GREEDY_REALLOC_APPEND would compile perfectly fine and cause
subtle memory corruption if the caller messes up the type they're passing
in (i.e. by forgetting to pass-by-reference when appending a Type* to an
array of Type*). Now this will lead to compilation failure

Merge pull request #34801 from poettering/async-sd-notify-close

pid1: close unexpected fds received via sd_notify() asyncronously

Merge pull request #34795 from YHNdnzj/bump-kernel-baseline-5.4

Bump kernel baseline to 5.4

udev: consider serial ports as unconfigured only if both port and iomem_base sysattr is zero

Various archs do not know the "io port" concept, hence check for the
"iomem" configuration, too.

Fixes: #34800

pid1: close fds we receive via sd_notify() and cannot make use of asynchronously

This addresses #11112 fully. It mostly was addressed by
99620f457ed0886852ba18c9093b59767299121c already, but for fds not
even passed to the fdstore, this adds the missing asynchronous close
codepath.

Fixes: #11112

fdset: optionally, close remaining fds asynchronously

Merge pull request #34597 from ryantimwilson/oomd-pressure-duration

Add ManagedOOMMemoryPressureDurationSec override setting for units

Reformat load-fragment-gperf.gperf.in

This commit reformats load-fragment-gperf.gperf.in after changes
made for adding the ManagedOOMMemoryPressureDurationSec= property.

cgroup: Add ManagedOOMMemoryPressureDurationSec= override setting for units

This will allow units (scopes/slices/services) to override the default
systemd-oomd setting DefaultMemoryPressureDurationSec=.

The semantics of ManagedOOMMemoryPressureDurationSec= are:
- If >= 1 second, overrides DefaultMemoryPressureDurationSec= from oomd.conf
- If is empty, uses DefaultMemoryPressureDurationSec= from oomd.conf
- Ignored if ManagedOOMMemoryPressure= is not "kill"
- Disallowed if < 1 second

Note the corresponding dbus property is DefaultMemoryPressureDurationUSec
which is in microseconds. This is consistent with other time-based
dbus properties.

oomd: Refactor DefaultMemoryPressureDurationSec= to use conf parser

Parsing DefaultMemoryPressureDurationSec= is currently split between
conf parser, main() and manager_start() methods. This commit centralizes
parsing and bounds checking logic within a single custom conf parser
function.

Merge pull request #34797 from yuwata/test-mount

TEST-60: several cleanups and potential performance improvement

TEST-60-MOUNT-RATELIMIT: disable journal ratelimiting

Otherwise, journal check in testcase_mount_ratelimit() may fail and we
need to wait 2 minutes.

TEST-60-MOUNT-RATEMINIT: split into small test cases

Then, use run_testcases().

TEST-60-MOUNT-RATELIMIT: wait for mount unit being started or stopped

Merge pull request #34793 from yuwata/journalctl-copy-arguments

journalctl: copy arguments

Bump kernel recommended baseline to v5.4

NEWS: rearrange incompatible changes, separate from Future Removals

doc: fix typo

Follow-up for b3b7cf8b7c35df14c6eb4f79da1a241dc0aa8c7e.

machine: fix typo

Follow-up for ad0d4f9a4c340f3fd5f0fcf646f7c762722737cd.

pidref: fix typo

Follow-up for de34ec188c4d4f682a337445aa7753259cd7f821.

ukify: fix typo

Follow-up for 02eabaffe98c9a3b5dec1c4837968a4d3e2ff7db.

Merge pull request #34381 from DaanDeMeyer/extension-submounts

sysext: Deal with nested mounts properly

Fix maybe-uninitialized warnings with gcc 14.2

../src/resolve/resolved-bus.c: In function ‘call_link_method’:
../src/resolve/resolved-bus.c:1769:16: warning: ‘l’ may be used uninitialized [-Wmaybe-uninitialized]
 1769 |         return handler(message, l, error);
      |                ^~~~~~~~~~~~~~~~~~~~~~~~~~
../src/resolve/resolved-bus.c:1755:15: note: ‘l’ was declared here
 1755 |         Link *l;
      |               ^
../src/resolve/resolved-bus.c: In function ‘bus_method_get_link’:
../src/resolve/resolved-bus.c:1828:13: warning: ‘l’ may be used uninitialized [-Wmaybe-uninitialized]
 1828 |         p = link_bus_path(l);
      |             ^~~~~~~~~~~~~~~~
../src/resolve/resolved-bus.c:1816:15: note: ‘l’ was declared here
 1816 |         Link *l;
      |               ^

pid1: add env var to override default mount rate limit interval

Similar to 24a4542c. 24a4542c can only be set 1 in 1s at most,
sometimes we may need to set to something else(such as 1 in 2s).
So it's best to let the user decide.

This also allows users to solve #34690.

journalctl: do not directly use optarg, but copy optarg before use

Otherwise, if the process forks child processes, then the arguments
cannot be used from them.
To avoid potential issues like the one fixed by
6d3012bab4ce4c1ed260598d05b4e9f2ea471658.

Merge pull request #34791 from poettering/live-mount-tweak

tweaks to live mount property logging

sysext: Deal with nested mounts properly

Nested mounts should be carried over from host to overlayfs to overlayfs
(and back to host if unmerged). Otherwise you run into hard to debug
issues where merging extensions means you can't unmount those nested mounts
anymore as they are hidden by the overlayfs mount.

To fix this, before unmerging any previous extensions, let's move the nested
mounts from the hierarchy to the workspace, then set up the new hierachy, and
finally, just before moving the hierarchy into place, move the nested mounts
back into place.

Because there might be multiple nested mounts that consists of one or more
mounts stacked on top of each other, we make sure to move all stacked mounts
properly to the overlayfs. The kernel doesn't really provide a nice way to do
this, so we create a stack, pop off each mount onto the stack and then pop from
the stack again to the destination to re-establish the stacked mounts in the same
order in the destination.

sysext: Run unmerge in a subprocess

Preparation for later commit where we need a private mount namespace
for unmerge.

journalctl: erase verify key before free

Even optarg is erased, copied string was not erased.
Let's erase the copied key for safety.

mount-util: Make get_submounts() a public function

Merge pull request #34756 from yuwata/test-oomd-cleanups

TEST-55-OOMD: several cleanups

test: fix TOCTOU in test-json

Follow-up for 60ae3b86fb52d545b279e3927d2214462385e734.
Fixes CID#1563782.

core: move debug logging from _can_live_mount() functions to caller

Let's debug log the returned dbus error where we want the logging, but
don't log it, where we don't.

This removes the noisy logging from the property handler for the
CanLiveMount property, but keeps it in place for the MountImage() method
call where we want it.

Alternative to #34175

Follow-up for 5162829ec87df20c7af763bdf274735bf9e53552 and 1cafbecabecc619b4e147abd9925282d0ff323bd

core: one more Mount -> LiveMount rename

Missed by earlier search-and-replace

Follow-up for 5162829ec87df20c7af763bdf274735bf9e53552

Merge pull request #34742 from yuwata/test-storage

test: fix multipath test in TEST-64-STORAGE

TEST-55-OOMD: check slice property before stressing slice

TEST-55-OOMD: stop test units when unnecessary

Then, sleep becomes not necessary anymore. This greatly improve performance.

TEST-55-OOMD: check slice more in detail

system and user slice has same name, hence we need to check full path.

TEST-55-OOMD: split into small testcases

Then, we can run each small test cases separately.

TEST-55-OOMD: check global config earlier

'Default Memory Pressure Duration' field in oomctl, which can be configured
with DefaultMemoryPressureDurationSec= in oomd.conf, is a global config.
Let's check it earlier.

This also drops unnecessary cleanup at the beginning.

TEST-55-OOMD: set ManagedOOMMemoryPressure= and friends in a drop-in config

Fedora and friends has a drop-in config for the settings in
/usr/lib/systemd/user/slice.d/ . Hence, settings in the main .slice may be
overridden. Let's set below in a drop-in with higher decimal prefix.

Also, rename override.conf -> 99-managed-oom-preference.conf for the same reason.

gpt-auto: remove directory check for ESP mount

Ensure that we always attempt to mount the `ESP` partition to `/boot`
when there is no `XBOOTLDR` partition.

Fixes an issue when booting without a `XBOOTLDR` partition and an empty
root partition, since it would mount the `ESP` partition to `/efi/`
unconditionally causing boot entries to not be under `/boot/` as
recommended by the Boot Loader Specification.

Merge pull request #34482 from bgurney-rh/alt-nvme-multins-symlink-fix

Pin obsolete NVMe symlinks to namespace 1

Merge pull request #34781 from poettering/write-string-rename-full

fileio: write_string_file() naming clean-ups

Merge pull request #34719 from poettering/pidref-remote

pidref: add explicit concept of "remote" PidRef

json-util: initialize "remote" flag for PidRef when parsing JSON pidref serializations

Now that we have a way to recognize "remoteness" of a PidRef, let's make
sure when we decode a JSON pidref we initialize things that way.

pidref: add explicit concept of "remote" PidRef

This PidRef just track some data, but cannot be used for any active
operation.

Background: for https://github.com/systemd/systemd/pull/34703 it makes
sense to track explicitly if some PidRef is not a local one, so that we
never attempt to for example "kill a remote process" and thus
acccidentally hit the wrong process (i.e. a local one by the same PID).

debug-generator: create prefix dir of generate unit file

Strictly speaking, it's more correct if we create the prefix path before
writing our unit file.

dropin: use WRITE_STRING_FILE_MKDIR_0755 to create drop-in prefix path

shared: modernize drop_in_file() a bit

Make the return parameters optional, since we don't actually need them
in all cases (see later commits).

fileio: clean up write_string_file() naming

let's rename the "_ts" flavour of these calls "_full" instead, exposing
the full functionality. And then keep two more minimal versions around:
one "_at" (which has the ts parameter suppressed, but keeps the dir_fd
one). And one without suffix (which supresses both).

Do the same for the label versions of these calls.

core: do not fail if ignorable img.v/ vpick dir is missing

Do not fail if the directory is missing entirely, other than just empty

Follow-up for 00f546e25e8
Follow-up for 5e79dd96a88
Follow-up for 622efc544dc

Merge pull request #34778 from poettering/userdb-error-tweak

userdb: handle userbd replies indicating invalid user/group names like record not found

TEST-64-UDEV-STORAGE: test for absence of obsolete NVMe symlink

Signed-off-by: Bryan Gurney <bgurney@redhat.com>

Merge pull request #34747 from yuwata/busctl-json-fd

busctl: dump passed fd info

userdb: return ESRCH if userdb service refuses a user/group name as invalid

if a userdb service refuse a user/group name as invalid, let's turn this
into ESRCH client-side following that there definitely is no user/group
record for a completely invalid user/group name.

Replaces: #34558

sd-varlink: add new sd_varlink_error_is_invalid_parameter() helper

network: add AF_TO_ADDRESS_FAMILY() helper

Make some code a bit shorter.

machine: add MachineImage interface

Follow-up for fb0ea6a6a36b5fa97e6c57d608bb9f7acb63c8b2.
Fixes #34772.

Merge pull request #34771 from ZLima12/run0-root-working-directory

run: fix bug causing run0 to ignore `-D /`.

Merge pull request #34442 from yuwata/network-dhcp6-information-requesting-ia-pd

network/dhcp6: allow to request IA_PD on information requesting mode

busctl: show information of passed file descriptor

sd-json: introduce json_variant_new_fd_info()

Currently this is not used, but will be used later.

sd-json: introduce json_variant_new_devnum() and friends

fs-util: make readlink_malloc() inline

busctl: minor coding style cleanups

- rename output parameter of json_transform_and_append(),
- return from call() earlier to reduce indentation,
- add several missing error messages.

TEST-74-AUX-UTILS: add tests for 'run0 -D'

run: fix bug causing run0 to ignore `-D /`.

Since the root directory was being suppressed to NULL, the subsequent
check would erroneously think that no working directory was specified.
This caused the default working directory to be applied instead.

Merge pull request #34723 from poettering/machined-pidref-more

machined: switch remaining Varlink overs over to use json_dispatch_pidref() and friends

network/radv: update comment

DHCPv6PrefixDelegation= is replaced with DHCPPrefixDelegation=.

man/network: update example for router upstream interface

This comments out all optional settings.

network/dhcp6: process hostname and IA_PD on information requesting mode

Fixes #34299.

sd-dhcp6-lease: adjust information refresh time with lifetime of IA_PD

For the case when IRT is too large but lifetime of IA_PD is too short.

sd-dhcp6-client: allow to request IA_PD on information requesting mode

To support RFC 7084, WPD-4.

network/dhcp6: set hostname even if UseAddress=no

Follow-up for f963f8953daeab03b892616ce0c65f7572932187 and
1536b7b2d00819615bf8eba194de7ccd20c3689f.

sd-dhcp6-lease: use free_and_replace_full()

Merge pull request #34769 from yuwata/machine-by-name-or-pid

machine: lookup_machine_by_name_or_pid() may return 1 on error and it is already replied

man: update documents of "_outbound" addresses

Follow-up for 4adf2653e2a68d4d593b46734fd9e24721a8d449.
Addresses https://github.com/systemd/systemd/issues/34739#issuecomment-2412904739.

TEST-13-NSPAWN: several cleanups

- suppress unnecessary error messages, especially in loop and at_exit(),
- ensure the container service is stopped before restarting,
- do not send KILL signal, as garbages will remain, and disturb the next
  invocation,
- drop unnecessary workaround of trying machine twice.

machine: trivial coding style cleanups

machine: fix memleak in vl_method_list_images()

Fixes an issue in fb0ea6a6a36b5fa97e6c57d608bb9f7acb63c8b2.