tpm2-setup: fix typo

Follow-up for 8a6e77f1a8088bb6c7877e256bcc1f1e71552819.

tar-util: fix typo

Follow-up for 4ded7f7a434c59534f65a0f9d391c55961eb110d.

tree-wide: cleanup headers (#39559)

TEST-64-UDEV-STORAGE: generate debugging logs

Let's see if it provides something useful for debugging issue #39544.

sd-dns-resolver: move header to src/systemd

This also adds missing license header.

Follow-up for ee2108dcd5f62593a3081b57cc92b3535d8096fa.

libsystemd: drop unused header

Follow-up for 2dbf1c0f1556bcf8fbab2491ec0f23a85884c551.

tree-wide: add missing '#pragma once'

test: rework dmsetup test to wait for device to disappear

There might be a delay between an umount and a refcounted device
to disappear, so the test can be flaky:

[   36.107128] TEST-50-DISSECT.sh[1662]: ++ dmsetup ls
[   36.108314] TEST-50-DISSECT.sh[1663]: ++ grep loop
[   36.109283] TEST-50-DISSECT.sh[1664]: ++ grep -c verity
[   36.110284] TEST-50-DISSECT.sh[1360]: + test 1 -eq 1
[   36.111555] TEST-50-DISSECT.sh[1360]: + umount -R /tmp/TEST-50-IMAGES.hxm/mount
[   36.112237] TEST-50-DISSECT.sh[1668]: ++ dmsetup ls
[   36.113039] TEST-50-DISSECT.sh[1669]: ++ grep loop
[   36.113833] TEST-50-DISSECT.sh[1670]: ++ grep -c verity
[   36.114517] TEST-50-DISSECT.sh[1360]: + test 0 -eq 1
[   36.116734] TEST-50-DISSECT.sh[1000]: + echo 'Subtest /usr/lib/systemd/tests/testdata/units/TEST-50-DISSECT.dissect.sh failed'

https://github.com/systemd/systemd/actions/runs/19062162467/job/54444112653?pr=39540#logs

Switch to searching for the dm entry and check for it specifically,
and wait for it to disappear before checking that it is no longer
in the dm table.

Follow-up for 10fc43e504da5962fa5f04341ae8ba92a9981be9

core/service: reload fixlets (#39376)

Fixes https://github.com/systemd/systemd/issues/37515

core/exec-invoke: gracefully handle lack of privilege for initgroups() in user mode (#39039)

Fixes #39038

sysext: Check for /etc/initrd-release in given --root= tree (#39473)

sd-json: accept NULL path in sd_json_parse_file_at() too, port one manual fdopen() to it (#39538)

cgls: print error messages when --unit and --user-unit are used together

Mixing the `--unit` and `--user-unit` options will result in error messages.
During the parsing phase, only the `arg_show_unit` record of the last
occurrence of the option is used; all names are placed in the same `arg_names`,
thus mixing the two types of units in the query.

For example, `-u foo --user-unit bar` will also treat `foo` as a user unit and
query it in the user service.

systemctl: Fix shutdown time parsing across DST changes

When parsing an absolute time specification like `hh:mm` for the
`shutdown` command, the code interprets a time in the past as "tomorrow
at this time". It currently implements this by adding a fixed 24-hour
duration (`USEC_PER_DAY`) to the timestamp.

This assumption breaks across DST transitions, as the day might not be
24 hours long. This can cause the shutdown to be scheduled at the wrong
time (typically off by one hour in either direction).

Change the logic to perform calendar arithmetic instead of timestamp
arithmetic. If the calculated time is in the past, we increment
`tm.tm_mday` and call `mktime_or_timegm_usec()` a second time.

This delegates all date normalization logic to `mktime()`, which
correctly handles all edge cases, including DST transitions, month-end
rollovers, and leap years.

Fixes: https://github.com/systemd/systemd/issues/39232

nss-myhostname: use FAMILY_ADDRESS_SIZE instead of the integer 16 when copying ip addr

To avoid copying extra characters when using IPv4.

machined/import: allow running in per-user mode (#38728)

core: use proper service type of TEST-07-PID.user-namespace-path.sh

TEST-07-PID.user-namespace-path.sh is flaky as Type=simple is used
(implicitly), explicitly use Type=exec instead to ensure the namespaces
are created before starting another service reusing the same namespaces.

Fixes #39546.

test: stop piping post-test journalctl commands to /failed

We can't see what the actual issues are when tests fail at that point, eg:

https://github.com/systemd/systemd/actions/runs/19034752357/job/54356278052

update TODO

test: add test case

tar-util: squash high UIDs in user mode

tar-util: add support for acls

tar-util: add support for file flags

tar-util: properly deal with sparse files

The extractor already deals with sparse files properly (because
archive_read_data_into_fd() does).

Let's also make sure the archiver also does this, and attaches the
necessary sparse file metadata to each file.

tar-util: recognize hardlinks when generating tarballs

tar-util: include xattrs in generated tarballs

We can already unpack them, let's pack them up to.

acl-util: add new acl_set_perm() helper

sysext: Check for /etc/initrd-release in given --root= tree

Both sysext and confext used the host's /etc/initrd-release file even
when --root=/somewhere was specified. A workaround was the
SYSTEMD_IN_INITRD= env var but without knowing this it was quite
confusing. Aside from users validating their extensions, the primary
use case for this to matter is when the extensions are set up from the
initrd where the initrd-release file is present when running but we want
to prepare the extensions for the final system and thus should match
for the right scope.
Make systemd-sysext check for /etc/initrd-release inside the given
--root= tree. An alternative would be to always ignore the
initrd-release check when --root= is passed but this way it is more
consistent. The image policy logic for EFI-loader-passed extensions
won't take effect when --root= is used, though.

test: Add missing test cleanup for the last sysext test

The last sysext test leaked things into new tests added later,
uncovered by any new tests leftover check.
Remove the mutable folder state through a trap as done in other tests.

varlink-idl: add infra to test our enum parsers against varlink IDL enums

In many cases we want to expose enums for which we have the usual
xyz_to_string()/xyz_from_string() via Varlink as enums. Let's add some
infra to test the tables against each other, to automatically detect
when they deviate.

In order to implement this properly, let's export/introduce clean
json_underscorefy()/json_dashify(), for dealing with the fact that our
enums usually use dash separates ames, but Varlink doesn't allow that.

(This does not add the test cases for all enum types we expose right
now, but only adds the general infra).

TEST-80-NOTIFYACCESS: add test case for #37515

core/service: rework ExecReload= + Type=notify-reload interaction, add ExecReloadPost=

When Type=notify-reload got introduced, it wasn't intended to be
mutually exclusive with ExecReload=. However, currently ExecReload=
is immediately forked off after the service main process is signaled,
leaving states in between essentially undefined. Given so broken
it is I doubt any sane user is using this setup, hence I took a stab
to rework everything:

1.  Extensions are refreshed (unchanged)
2.  ExecReload= is forked off without signaling the process
3a. If RELOADING=1 is sent during the ExecReload= invocation,
    we'd refrain from signaling the process again, instead
    just transition to SERVICE_RELOAD_NOTIFY directly and
    wait for READY=1
3b. If not, signal the process after ExecReload= finishes
    (from now on the same as Type=notify-reload w/o ExecReload=)
4.  To accomodate the use case of performing post-reload tasks,
    ExecReloadPost= is introduced which executes after READY=1

The new model greatly simplifies things, as no control processes
will be around in SERVICE_RELOAD_SIGNAL and SERVICE_RELOAD_NOTIFY
states.

See also: https://github.com/systemd/systemd/issues/37515#issuecomment-2891229652

macro: add 21st case for IN_SET

man/org.freedesktop.systemd1: fix typo (ExecStop -> -Post)

core/service: fix missing error handling for refresh-extensions control process

core/service: reset all reload-related states once a cycle completes

Fixes #37515

core/service: consolidate where to initialize reload_result

core/service: forbid reverting STOPPING=1

We don't permit state transition from STOPPING back to RUNNING,
hence refrain from resetting notify_state too.

core/service: split out service_notify_message_process_state()

No functional change, preparation for later changes.

core/service: add missing serialization for notify_state

This really should be persisted across daemon-reload since
it might contain deferred state transitions.

core/service: remove effectively unused NOTIFY_UNKNOWN state

We usually use _INVALID enum value as placeholder.

While at it, reset notify_state in service_enter_dead() for consistency.

core/service: avoid duplicate unit_add_to_dbus_queue() call

If we're changing state anyways, service_set_state() -> unit_notify()
will take care of dbus signaling for us.

core/service: introduce SERVICE_STATE_WITH_WATCHDOG

core: drop redundant pidref_done() calls

{service,socket}_unwatch_control_pid() -> unit_unwatch_pidref_done()
is unconditionally called everywhere.

core/service: merge service_enter_reload_mounting() into _refresh_extensions()

core/service: restore spuriously changed comment

Not sure why dfdeb0b1cbb05a213f0965eedfe0e7ef06cd39d3
touched it at all.

core/service: do not set reload_begin_usec when refreshing confexts

reload_begin_usec is a barrier for determining whether RELOADING=1
came after the main process got signaled, unrelated to refreshing.

core/service: no need for STATUS_TEXT_MAX to reside in header

core/job: use UNIT_IS_* helpers

core/job: drop pure qualifier for static inline functions

The impl is directly visible to the compiler so it can apply
all sorts of optimizations wherever it sees fit. And with
the previous commit they are actually "const".

core/job: mark job_type_lookup_merge() and _is_redundant() as const

They don't take pointers, hence are eligible for stronger guarantees.

core: Add UserNamespacePath=

This allows a service to reuse the user namespace created for an
existing service, similarly to NetworkNamespacePath=. The configuration
is the initial user namespace (e.g. ID mapping) is preserved.

sysupdated: port to sd_json_parse_file_at()

sd-json: accept NULL path in sd_json_parse_file_at() too

fileio: mask off O_NOFOLLOW in xfopenat_regular() for fd_reopen()

in a similar fashion as xopenat_full()

mkosi: update fedora commit reference to 8e2833a5b64f7e2ce62ea0a2d0ec9e393e718dfa

* 8e2833a5b6 Automatically figure out the name of the top-level tar dir
* dffbf2beba Make sure fallback source is listed first
* 1d3b892105 Enable sysupdate and sysupdated

backlight: fix typo

bootctl: fix typo

kernel-install: move staging area to /var/tmp/

The generated files (UKIs...) can potentially be huge, hence create them
in /var/tmp/, rather than /tmp/.

Add support for nvindex-based additional PCRs for TPM2, aka "NvPCRs"  (#39463)

This is based on the code from #33276, but is cleaned up, and goes for a
modified approach:

the original PR allocated nvindexes fully dynamically, and that created
big headaches, because the assignments needed to be propagated into the
early boot process, and that meant stuffing them as sidecards to the
boot UKIs.

The TCG then offered us a fixed nvindex range assigned to us, and
happily said yes to that, but since then the discussion stalled, we
couldn't get any answer from TCG on this anymore.

This code uses the range that was hinted to us to use, but not
officially assigned to us by default, but makes it build time
configurable so that downstreams can change this.

(This does *not* make it runtime configurable, because that's really
hard, because of the early boot issue again).

This PR comes with a CI test and full docs. And I think this is really a
version should that be merged.

Fixes: https://github.com/systemd/systemd/issues/29877

doc: document NvPCRs briefly

ci: add some test for the new nvpcr infra

ci: never go to raw tpm device, always go via resource manager

analyze: add new verb for determining NvPCR values

cryptsetup: automatically measure used keyslot and mechanism (i.e. fido2, tpm2, pkcs11) to an NvPCR

Fixes: #29877

tpm2-setup: measure "anchor" extension early at boot into nvpcrs

tpm2-setup: split out SRK setup into a function of its own

pcrextend: automatically measure SMBIOS product ID at boot

Now that PCRs are not that expensive anymore, let's use them to measure
the SMBIOS product ID to one.

pcrextend: make use new nvindex-based PCRs

catalog: improve PCR extended catalog entry

tpm2-util: add infra for allocating nvindex-based PCRs (aka "NvPCRs")

We'd like to measure various additional things into PCRs, but all
available ones to the OS are already used for various purposes. Hence,
let's introduce a new concept of "NV Index based PCRs", i.e. let's use
TPM2 nv indexes of type TPM2_NT_EXTEND that mostly behave like real
PCRs, but which we can allocate relatively freely from the nv index
space. Let's call these "fake" PCRs "NvPCRs".

My original intention was to get a fixed NV index range assigned from
the TCG, either for Linux or for systemd as a project, but this stalled
with no further updates from the TCG for more than a year and a half
now. I was told an NV index range to use though, even if it never was
officially assigned, hence this PR uses this by default. But the range
is configurable at build time, on purpose, so that downstreams have some
flexibility to change this if they want. To abstract the actual nvindex
number away we introduce a naming concept, so that nvindexes are
referenced by name string rather than number.

NvPCRs are defined in little JSON snippets in /usr/lib/nvpcr/*.nvpcr,
that match up index number and name, as well as pick a hash algorithm.

There's one complication: these nvindex (like any nvindex) can be
deleted by anyone with access to the TPM, and then be recreated. This
could be used to reset the NvPCRs to zero during runtime, which defeats
the whole point of them. Our way out: we measure a secret as first thing
after creation into the NvPCRs. (Or actually, we measure a per-NvPCR
secret we derive from a system secret via an HMAC of the NvPCR name) and
the nvindex handle). This "anchoring" secret is stored in /run/ +
/var/lib/ + ESP/XBOOTLDR (the latter encrypted as credential, locked to
the TPM), to make it available at the whole runtime of the OS.

tpm2-util: move parse for tpm2 hash algorithms up

tpm2-util: make tpm2_undefine_policy_nv_index() generic

We can use this to remove any kind of nvindex, hence give it a generic
name.

Also instead of passing "NONE" as session if none is specified, pass
PASSWORD instead, so that the function actually becomes useful if no
session is specified (the only user so far, pcrlock always provides a
session, hence this is no change in behaviour).

tpm2-util: rename tpm2_extend_bytes()→tpm2_pcr_extend_bytes() and make it take struct iovec

We soon want to add the ability to extend into nvindexes in addition to
PCRs, hence rename the function to make clear it is about pcr extension.

While we are at it, switch things over to "struct iovec" as we generally
try to do it now in tpm2-util.[ch] these days.

pcrlock: make sure we can parse nv_index measurement records in TCG CEL

Make the systemd-pcrlock tool compatible with TCG CEL records that
encode measurements into nvindexes rather than PCRs.

This doesn't add code for actually predicting them, but just makes sure
we can parse them correctly and display them reasonably.

creds-util: initialize default PCR mask in encrypt_credential_and_warn()

If UINT32_MAX is passed in the PCR masks pick some reasonable defaults
in encrypt_credential_and_warn().

These defaults copy what "systemd-creds encrypt" uses. By adding these
defaults to the internal functions any user of them can take benefit of
them.

creds-util: add helper for querying system credential dirs

The dirs are constant string, but let's make them overridable via env
vars for debugging purposes.

creds-util: add automatic mode for tpm2 based creds

This reworkds TPM2 based creds a bit. Instead of mapping the key type
"tpm2" directly to a TPM2 key without PK, let's map it to an "automatic"
key type that either picks PK or doesn't, depending on what's available.
That should make things easier to grok for people, as the nitty gritty
details of PK or not PK are made autmatic. Moreover it gives us more
leverage to change the TPM2 enrollment types later (for example, we
definitely want to start pinning SRK, and hook up pcrlock too, for
creds, which we currently don't).

This hence adds a new _CRED_AUTO_TPM2
pseudo-type we automatically maps to CRED_AES256_GCM_BY_TPM2_HMAC_WITH_PK
or CRED_AES256_GCM_BY_TPM2_HMAC depending if PK as available. Similar,
_CRED_AUTO_HOST_AND_TPM2 is added, which does the same for the
host/nonhost cred type.

This does not introduce any new type on the wire, it just changes how we
select the right key type.

To make the code more readable this also adds some categorization macros
for the keys, instead of repeating the list of key types at multiple
places.

conf-files: optionally truncate suffix from discovered files

format-table: add field type that outputs hex values prefixed with 0x

fileio: add new flag READ_FULL_FILE_VERIFY_REGULAR() that checks if file we operate on is regular

fileio: make filename/path argument optional in xfopenat_full(), read_full_file_full()

Enhance docs for ukify and direct kernel boots (#39516)

man: say "systemd-boot" instead of "sd-boot" consistently

As requested in

https://github.com/systemd/systemd/pull/39516#pullrequestreview-3407564896.

man/ukify: mention all functionality in intro, add example of direct boot

Over the time, the functionality in ukify has grown. This should all be briefly
mentioned in the first section so the user does't have to read the whole page
to figure out what types of functionality are implemnted.

Also add an example of direct kernel boot. It's a nifty technology (and frankly
underutilized, considering how cool it is is).

man/sd-boot: add some meat to the direct kernel boot example

Unfortunately qemu still default to BIOS boot, so for the direct kernel
boot with an efi file to be of any use, the complex param used to switch
to UEFI mode needs to be provided.

Also add some links to qemu and OVMF.

rules.d/60-block.rules: fix typo

Several OpenSSL related cleanups (#39455)

repart: support "nodatacow" in btrfs subvolumes

In btrfs-progs 6.15 it is planned to add a new parameter in mkfs.btrfs
--inode-flags, that can set attributes for subvolumes, directories, and
files.

The current supported attributes are "nodatacow", to disable CoW, and
"nodatasum", to disable the checksum.

This commit extend the "Subvolunes=" option to understand the
"nodatacow" flag for subvolums only.

If RepartOffline is enabled it will build the image without loopback
devices, using the correct --inode-flags parameters.

If RepartOffline is disabled it will use loopback devices and set the
btrfs attributes accordingly.

Signed-off-by: Alberto Planas <aplanas@suse.com>

repart: fix typo

Follow-up for 15734190c7cbfe5aed90647179e7dbbca592c8c5.

resolvectl: fix typo

Follow-up for 7517e41a49d9fa7d79567ec293fe0a353bd1441b.

openssl-util: drop unnecessary functions when OpenSSL support is disabled

openssl-util: sort cleanup functions

repart: drop OpenSSL specific logics when OpenSSL support is disabled

repart: merge common conditions

No functional change, just refactoring.

repart: make sign_verity_roothash() take Context

No functional change, just refactoring.

repart: load x509 certificate and private key after Context is allocated

This splits out context_load_keys() from parse_argv().
No functional change, just refactoring.

bootctl: return earlier when secure boot auto-enrollment is requested but OpenSSL support is disabled

bootctl: move conditions into corresponding functions

openssl-util: drop unused fake type definitions when OpenSSL is disabled