TEST-02-UNITTESTS: reuse $TEST_MATCH_SUBTEST to specify unit tests to be run

Then, we can easily test specific unit tests in qemu or container.

test-execute: update permission of credstore

Follow-up for 40fb9eebbc075ce1e63100386d2c5f177ad7d738.

Merge pull request #34761 from ikruglov/ikruglov/io-systemd-Machine-GetAddresses

machine: add Addresses, OSRelease, and UIDShift fields in varlink io.systemd.Machine.List output

Merge pull request #30952 from rpigott/resolved-dnr

RFC9463: Discovery of Network-designated Resolvers

test: CET/EET are deprecated, use Europe/Berlin and Kyiv

The links moved to the legacy dataset so they won't be available by
default, so stop using them and just use the city ones instead

Merge pull request #34628 from DaanDeMeyer/measure

Rework TEST-86-MULTI-PROFILE-UKI + associated bugfixes

resolve: move sd-* api into libsystemd-network

This duplicates the svc param constants for the benefit of the
resolved-core library.

ndisc: implement ndisc_option_build_encrypted_dns

This is only used by the fuzzer so far.

network: add dnr resolvers to networkctl status json output

test/fuzz: add dnr packets

The structure of DNR options is considerably more complicated than most
DHCP options, and as a result the fuzzer has poor coverage of these code
paths.

This adds some DNR packets to the fuzzing corpus, not with the intent of
capturing some specific edge case, but with the intent to rapidly
improve the fuzzers' coverage of these codepaths by giving it a valid
example to begin with.

Also include an ndisc router advert with a few Encrypted DNS options,
for the same purpose.

network: Serialize ipv6ra DNR

Serialize DNR servers acquired by ipv6ra option, same as the V4/V6 DNR
DHCP options.

network: Introduce IPv6RA UseDNR= option

Same as the DHCP v4/v6 options, this controls the use of DNR received
from ipv6ra.

ndisc: Parse RFC9463 encrypted DNS (DNR) option

This option is equivalent to the V4/V6 DNR options for DHCP.

test-network: add DHCPv6 DNR test

Same as the DHCPv4 test.

network: Serialize DHCPv6 DNR servers

This serializes DNR servers acquired by V6_DNR option, equivalent to the
V4_DNR option.

network: Introduce UseDNR DHCPv6 option

This is equivalent to the DHCPv4 option introduced earlier.

network: Parse RFC9463 DHCPv6 DNR option

Implement the parsing for V6_DNR DHCPv6 option. This does the same as
the DHCP V4_DNR option.

dhcp6: use dns_name_from_wire_format

Convert some of the option parsing to use dns_name_from_wire_format,
introduced earlier. No change in behavior intended.

test-dhcp6: terminate fqdn option

The encoded fqdn in this option must be properly terminated. We will
soon validate that this field is correctly encoded, so correct it in the
test.

test-network: add test for DHCPv4 DNR

This will test that networkd/resolved can understand the V4_DNR DHCP
option.

network: Serialize DNR servers

Implement serialization/deserialization for DNR servers. This re-uses
the string format in place for user configuration of DoT servers, and as
a consequence non-DoT servers are discarded when recording the link
configuration, for correctness.

This also enables sd-resolved to use these servers as it would other DNS
servers.

network: Add serialization for DoT resolvers

For now only DoT is supported, so DoT resolvers are represented using
the existing configuration format.

network: Introduce UseDNR DHCPv4 option

This option will control the use of DNR for choosing DNS servers on the
link. Defaults to the value of UseDNS so that in most cases they will be
toggled together.

machine: add tests for Addresses/OSRelease/UIDShift fields in io.systemd.Machine.List output

machine: use AcquireMetadata in io.systemd.MachineImage.List method

machine: add Addresses field in varlink io.systemd.Machine.List output

This is equivalent to DBus implementation of GetMachineAddresses.

machine: add OSRelease and UIDShift fields in varlink io.systemd.Machine.List output

This commit adds support of the above mentioned fields. This is equivalent to DBus implementation of:
- GetMachineOSRelease
- GetMachineUIDShift

machine: enum AcquireMetadata

Rework TEST-86-MULTI-PROFILE-UKI

Now that mkosi supports generating UKI profiles, let's make use of
that to generate the UKI profiles required for the test instead of
doing it within the test itself.

TEST-70-TPM2: Disable public key enrollment explicitly

Otherwise, when the test is executed on a system with signed PCRs,
cryptenroll will automatically pick up the public key from the UKI
which results in a volume that can't be unlocked because the pcrextend
tests appends extra things to pcr 11.

cryptenroll: Remove faulty assert()

We can break out of the preceeding for loop in certain scenarios
which would trigger the assert so let's drop it.

pcrlock: Take VirtualSize > SizeOfRawData into account

If VirtualSize > SizeOfRawData, measure extra zeros to take into
account the extra zeros also measured by the stub.

machine: rework Operation logic to reuse in varlink interface

Merge pull request #34403 from poettering/askpw-per-user

modernize the ask-password logic, and add unpriv askpw agents to the concept

Merge pull request #34787 from yuwata/core-ip-address-allow-deny

core/cgroup: fix IPAddressAllow=/IPAddressDeny= set through DBus

mkosi: update opensuse commit reference

It was force-pushed again

varlinkctl: respect $COLUMNS when rebreaking lines and we are not connected to a TTY

Let's provide a mechanism to select the number of screen columns for
rebreaking comments in Varlink IDL connected to a TTY, by honouring the
$COLUMNS env var then too. Previously we'd only honour when connected to
a TTY, but it's also useful otherwise for rebreaking ridiculously long
comments, hence honour it in this case too.

tty-askpw-agent: modernize wall_tty_match() a bit

ask-password-api: don't accidentally create a dir, when we don't want one

Previously, we were using touch(), which usually works fine, because the
path should always refer to an existing directory, in which case it just
updates the timestamp. However, if the dir does not exist yet (which
shouldn't happen), it would be created as regular file, which is just
wrong.

Hence, let's instead create the dir as dir if it is missing, and then
update its timestamp.

man: update PASSWORD_AGENTS spec, and introduce unpriv pw queries

Fixes: #1232 #2217

ask-password-tool: add --user/--system flag to systemd-ask-password tool

This allows selecting which agents to ask about this: system-level
agents, or per-user agents.

Fixes: #1232 #2217

ask-password-api: add support for querying pws from unpriv agents

ask-password-api: minor modernizations

tty-ask-password-agent: support for watching both system-wide and per-user askpw dir

Fixes: #1232 #2217

tty-ask-password-agent: minor modernizations

core: modernize askpw handling a bit

Merge pull request #33398 from AdrianVovk/sysupdate-optional

sysupdate: Add support for optional features

Merge pull request #34667 from rpigott/resolved-bypass

resolve: fixes for sd-resolved bypass

sysupdate: Use camelCase for JSON field names

Seems like we missed some snake_case field names in previous reviews of
systemd-sysupdate

measure: Take SizeOfImage into account as well for .linux section

Same change as https://github.com/systemd/systemd/pull/34583 but for
systemd-measure. Otherwise we end up with PCR policy digest mismatches
as systemd-stub will measure the full virtual size of the kernel image
after it has been loaded while systemd-measure will disregard the extra
size introduced by SizeOfImage.

While ideally the stub would only measure the data that's actually on
disk and not the uninitialized data introduced by VirtualSize > SizeOfRawData,
we want newer systemd-measure to work with older stubs so we have to fix
systemd-measure and can't fix this in the stub.

test: exercise bypass mode on the sd-resolved stub

A basic test will verify that we provide the right flags.

resolved: update condition for caching full packets

Previously a full packet was cached only if the CD bit was set, but this
no longer corresponds to the cases where bypass is enabled.

Update the cache to retain a full packet in the cases where it might
actually be useful.

resolved: enable CD bit without DO set

This is useful for a validating resolver to indicate to a non-validating
resolver when checking was disabled for the query. This matches the
behavior of the major public resovlers in response to queries with CD bu
tnot DO set.

resolved: authenticate bypass queries

Following 13e15dae9f0b, resolved does not forward the AD bit for bypass
queries, but resolved also didn't do it's own validation, making these
replies appear to never be authentic. We should enable validation for
bypass queries.

Let's disable our own validation when processing a +cd query, and also
ensure that it skips the cache so that we don't accidentally fail to
return inauthentic replies from upstream.

Previously, when we had a bypass transaction without cd, a cached,
authenticated, reply with cd could be served, leaving the cd bit
erroneously set in the reply. Only reply with a CD bit if the client
requested it.

Fixes: 13e15dae9f0b (resolved: clear the AD bit for bypass packets)

TEST-55-OOMD: workaround for kernel regression in 6.12-rcX

This ignore failures when running on kernel-6.12-rcX, which has a
regression in the kernel scheduler that breaks PSI.

From https://github.com/systemd/systemd/issues/32730#issuecomment-2415312260
> There is a known scheduler bug in 6.12 that breaks psi. It leaks
> "running tasks" counts, which matches your symptoms of seeing partial
> pressure only.
>
> Do you see "inconsistent task state" warnings in dmesg | grep psi?
>
> A fix is queued in the scheduler tree, should be sent to Linus shortly:
> https://git.kernel.org/pub/scm/linux/kernel/git/tip/tip.git/commit/?id=c6508124193d42bbc3224571eb75bfa4c1821fbb

Workaround for #32730.

updatectl: Introduce optional feature verbs

This introduces a nice UX for listing, inspecting, enabling, and
disabling optional features from the command line.

sysupdated: Plumb through optional features

This adds APIs to enumerate/inspect/enable/disable optional features.

sysupdate: Add verb to inspect features

sysupdate: Add tests for optional features

Makes sure we don't regress on #33343 and #33344

sysupdate: Introduce optional features

Optional features allow distros to define sets of transfers that can
be enabled or disabled by the system administrator. This is useful for
situations where a distro may want to ship some resources version-locked
to the core OS, but many people have no need for the resource, such as:
development tools/compilers, drivers for specialized hardware, language
packs, etc

We also rename sysupdate.d/*.conf -> sysupdate.d/*.transfer, because
now there are more than one type of definition in sysupdate.d/. For
backwards compat, we still load *.conf files as long as no *.transfer
files are found and the *.conf files don't try to declare themselves
as part of any features

Fixes https://github.com/systemd/systemd/issues/33343
Fixes https://github.com/systemd/systemd/issues/33344

fs-util: Introduce symlinkat_idempotent

Merge pull request #34820 from poettering/dissect-image-uclean

dissect-image: generate better log message for EUCLEAN dissect error

Merge pull request #34783 from keszybz/man-nspawn-private-users

Change systemd-nspawn man page to strongly recommend private users

tree-wise: use "lightweight" spelling

Both spellings were used, but the dictionary says that "lightweight"
is the standard spelling.

man/systemd-nspawn: emphasise that user namespaces are strongly recommended

test: customize /etc/os-release instead of /usr/lib/os-release

As per spec image builders can create a local /etc/os-release
with per-image IDs, so modify that one instead of the original
one in /usr/lib. For example we do this when we build debian
unstable images in mkosi.

dissect-image: generate better log message for EUCLEAN dissect error

Fixes: #31799

dissect-image: uppercase first char of dissect error message systematically

Some of the log message stricts used proper uppercasing, others didn't.
Fix that to make it uniform.

resolved: refresh resolv.conf files when link goes away

This might have the effect that some DNS server or search domain
disappears, hence rewrite the relevant files.

See: #27543

mkosi: update opensuse commit reference and switch branch

'factory' was reset to 8 years ago

resolved: add some more comments to varlink interface

This is by no means complete, but gets us a bit closer.

networkd: raise limits on number of address 8x

Limits should be enforced, but not in a way real setups collide with
them.

There have been multiple reports that current limits are too low, hence
raise them 8x.

Fixes: #24852

update TODO

update TODO

GREEDY_REALLOC_APPEND: Make more type safe

Previously, GREEDY_REALLOC_APPEND would compile perfectly fine and cause
subtle memory corruption if the caller messes up the type they're passing
in (i.e. by forgetting to pass-by-reference when appending a Type* to an
array of Type*). Now this will lead to compilation failure

Merge pull request #34801 from poettering/async-sd-notify-close

pid1: close unexpected fds received via sd_notify() asyncronously

Merge pull request #34795 from YHNdnzj/bump-kernel-baseline-5.4

Bump kernel baseline to 5.4

udev: consider serial ports as unconfigured only if both port and iomem_base sysattr is zero

Various archs do not know the "io port" concept, hence check for the
"iomem" configuration, too.

Fixes: #34800

pid1: close fds we receive via sd_notify() and cannot make use of asynchronously

This addresses #11112 fully. It mostly was addressed by
99620f457ed0886852ba18c9093b59767299121c already, but for fds not
even passed to the fdstore, this adds the missing asynchronous close
codepath.

Fixes: #11112

fdset: optionally, close remaining fds asynchronously

Merge pull request #34597 from ryantimwilson/oomd-pressure-duration

Add ManagedOOMMemoryPressureDurationSec override setting for units

Reformat load-fragment-gperf.gperf.in

This commit reformats load-fragment-gperf.gperf.in after changes
made for adding the ManagedOOMMemoryPressureDurationSec= property.

cgroup: Add ManagedOOMMemoryPressureDurationSec= override setting for units

This will allow units (scopes/slices/services) to override the default
systemd-oomd setting DefaultMemoryPressureDurationSec=.

The semantics of ManagedOOMMemoryPressureDurationSec= are:
- If >= 1 second, overrides DefaultMemoryPressureDurationSec= from oomd.conf
- If is empty, uses DefaultMemoryPressureDurationSec= from oomd.conf
- Ignored if ManagedOOMMemoryPressure= is not "kill"
- Disallowed if < 1 second

Note the corresponding dbus property is DefaultMemoryPressureDurationUSec
which is in microseconds. This is consistent with other time-based
dbus properties.

oomd: Refactor DefaultMemoryPressureDurationSec= to use conf parser

Parsing DefaultMemoryPressureDurationSec= is currently split between
conf parser, main() and manager_start() methods. This commit centralizes
parsing and bounds checking logic within a single custom conf parser
function.

Merge pull request #34797 from yuwata/test-mount

TEST-60: several cleanups and potential performance improvement

TEST-60-MOUNT-RATELIMIT: disable journal ratelimiting

Otherwise, journal check in testcase_mount_ratelimit() may fail and we
need to wait 2 minutes.

TEST-60-MOUNT-RATEMINIT: split into small test cases

Then, use run_testcases().

TEST-60-MOUNT-RATELIMIT: wait for mount unit being started or stopped

Merge pull request #34793 from yuwata/journalctl-copy-arguments

journalctl: copy arguments

Bump kernel recommended baseline to v5.4

NEWS: rearrange incompatible changes, separate from Future Removals

doc: fix typo

Follow-up for b3b7cf8b7c35df14c6eb4f79da1a241dc0aa8c7e.

machine: fix typo

Follow-up for ad0d4f9a4c340f3fd5f0fcf646f7c762722737cd.

pidref: fix typo

Follow-up for de34ec188c4d4f682a337445aa7753259cd7f821.

ukify: fix typo

Follow-up for 02eabaffe98c9a3b5dec1c4837968a4d3e2ff7db.

Merge pull request #34381 from DaanDeMeyer/extension-submounts

sysext: Deal with nested mounts properly

Fix maybe-uninitialized warnings with gcc 14.2

../src/resolve/resolved-bus.c: In function ‘call_link_method’:
../src/resolve/resolved-bus.c:1769:16: warning: ‘l’ may be used uninitialized [-Wmaybe-uninitialized]
 1769 |         return handler(message, l, error);
      |                ^~~~~~~~~~~~~~~~~~~~~~~~~~
../src/resolve/resolved-bus.c:1755:15: note: ‘l’ was declared here
 1755 |         Link *l;
      |               ^
../src/resolve/resolved-bus.c: In function ‘bus_method_get_link’:
../src/resolve/resolved-bus.c:1828:13: warning: ‘l’ may be used uninitialized [-Wmaybe-uninitialized]
 1828 |         p = link_bus_path(l);
      |             ^~~~~~~~~~~~~~~~
../src/resolve/resolved-bus.c:1816:15: note: ‘l’ was declared here
 1816 |         Link *l;
      |               ^

pid1: add env var to override default mount rate limit interval

Similar to 24a4542c. 24a4542c can only be set 1 in 1s at most,
sometimes we may need to set to something else(such as 1 in 2s).
So it's best to let the user decide.

This also allows users to solve #34690.

journalctl: do not directly use optarg, but copy optarg before use

Otherwise, if the process forks child processes, then the arguments
cannot be used from them.
To avoid potential issues like the one fixed by
6d3012bab4ce4c1ed260598d05b4e9f2ea471658.

Merge pull request #34791 from poettering/live-mount-tweak

tweaks to live mount property logging