Merge pull request #29529 from yuwata/core-namespace-check-priv

core/namespace: check if we have enough privilege

varlink: make sure 'incomplete' bool is nullable

This field is optional, it only makes sense for user records that
actually have a privileged part to set.

test: add a simple test for PrivateNetwork=

core/namespace: check if we have enough privilege to mount sysfs or procfs

If we do not have enough privilege to mount a new instance of sysfs or
procfs, units e.g. with PrivateNetwork=yes may fail.

Let's first try to mount sysfs or procfs anyway to check if we have enough
privilege.

Fixes #29526.

core/namespace: unify logic of mounting /proc and /sys

No functional change, just refactoring.

Merge pull request #29718 from yuwata/networkd-update-state-file-after-dhcp6-information-request

network: update state file when DHCPv6 reply for INFORMATION-REQUEST is received

core/cgroup: ignore NFT sets for other sources

Partially fixes: #29678

core: do not reset tty if there's no tty configured

Otherwise a lock is taken, which can be taken by multiple units at the
same time, depending on each other, causing a deadlock.

Fixes https://github.com/systemd/systemd/issues/29682

inotify-util: drop to use pointer outside of the buffer

Hopefully fixes many Coverity issues.

tree-wide: fix typo

test-network: suppress too much outputs of state file

Follow-up for 0f9efffaeb84964a3ab0f32271fba38f3bee2394.

network: update state file when DHCPv6 reply for INFORMATION-REQUEST is received

Otherwise, received information, e.g. DNS servers, may not be saved in
the state file, and will not be propagated to clients like resolved.

Fixes the first issue of #29678.

dissect: insert missing space

Merge pull request #29708 from DaanDeMeyer/bootctl-always

Always build bootctl

Merge pull request #29710 from mrc0mmand/test-pcrextend

test: TEST-70-TPM2 shenagians

random-seed: terminate the option array

So we don't crash on invalid options:

$ build/systemd-random-seed --foo
Segmentation fault (core dumped)

man/systemd.unit: add PropagatesStopTo= to reverse property table

test: slightly extend systemd-tpm2-setup's coverage

tpm2-setup: drop the COMMAND placeholder from the help

Since systemd-tpm2-setup doesn't expect any arguments.

tpm2-setup: terminate the option array

Otherwise bad things happen:

$ build/systemd-tpm2-setup --foo
Segmentation fault (core dumped)

test: add a couple more tests for systemd-pcrextend

test: make the TPM event log checking a bit more robust

Don't hardcode the event number, so the test works correctly even if
someone wrote to the event log before us. Also, explicitly pick the
sha256 bank when checking digests, as the indexing may vary depending on
current TPM's capabilities.

meson: Always build systemd-measure

Same idea as with bootctl, we might be doing image builds from a
system that doesn't boot with UEFI but we still might want to measure
stuff for the image we're building so let's not gate this behind
ENABLE_BOOTLOADER.

meson: Always build bootctl

bootctl is rather useful to have, even if on a system without UEFI,
as it has a number of verbs that are unrelated to UEFI (e.g kernel-identify),
and more importantly, it supports --root to operate on directory trees
(which could be intended to be deployed on UEFI) so let's make sure we
always build it.

nspawn: allow user-specified MAC address on container side

Introduce the environment variable SYSTEMD_NSPAWN_NETWORK_MAC to allow
user-specified MAC address on container side.

test: split TEST-70-TPM2 into subtests

Merge pull request #29704 from mrc0mmand/cocci

Another round of Coccinelle tweaks

Merge pull request #29695 from poettering/repart-reduce-global-vars

repart,cryptenroll: three smaller tweaks

cryptsetup: remove redundant check

The immediately preceeding check already covered that.

This removes and addition made back in aae6eb96117acd54ce5ac572aac6a11b34c4ad99.

cc @williamcroberts

Merge pull request #29698 from poettering/tpm2-no-best-pcr

tpm2: minor tweaks

udev: strdupa() → strdupa_safe()

network: use timestamp_is_set() in one more place

network: ENOTSUP → EOPNOTSUPP

core,journal: drop unnecessary !! casts

coccinelle: don't run iovec-make on iovec_done{,_erase}

As the result is a bit funky (but still valid), i.e.:

 static inline void iovec_done_erase(struct iovec *iovec) {
         assert(iovec);

-        iovec->iov_base = erase_and_free(iovec->iov_base);
-        iovec->iov_len = 0;
+        *iovec = IOVEC_MAKE(erase_and_free(iovec->iov_base), 0);
 }

Merge pull request #29553 from keszybz/analyze-cat-config-tldr

analyze/cat-config: add switch to print only "interesting" parts of conffiles

tpm2-util: add line breaks in compound struct init, like we usually do

Merge pull request #29687 from yuwata/network-state-file-sync

network: several fixlets for state file

cryptenroll: validate positional arguments before looking at detail parameters

Let's switch the order in which we process positional arguments and
analyze/tweak detail parameters. Let's look at the positional arguments
first (i.e. the "big picture") and then look at the switches (i.e.
"little details").

THis doesn't matter much, but makes for better error messages I think.
At least I was very confused that a completely borked cmdline I passed
to cryptenrolled complained about some detail and let the major fuckup
pass...

cryptenroll: add section headers to --help text

cryptenroll: add addition asserts

repart: reduce scope of two variables

This replicates what 475c473d328c12f5e9fd43cee959154a0d0c78a4 did for
cryptenroll for repart, which has very similar code for this.

tpm2-util: add line breaks in compound struct init, like we usually do

tpm2-util: dont't find best PCR bank if no PCRs are selected whatsoever

This will otherwise just yield weird log message, complaining that PCRs
were not initialized. But which PCRs if we have none selected?

execute: log about failures when opening a terminal to reset

mount-util: add one more const

update TODO

Merge pull request #29689 from mrc0mmand/test-shutdown

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

Merge pull request #29677 from keszybz/rewinddir-alternative-fix

Rewind dir fd before using it for cleanup

sleep-config: make hybrid sleep always use 'suspend' disk mode

If user requests hybrid sleep, we should always use 'suspend'
disk mode. If that's not supported, let's correctly report it
so they can choose plain hibernation instead. HybridSleepMode=
serves no purpose in this case and should be removed.

Addresses https://github.com/systemd/systemd/pull/29681#discussion_r1369812785

shared/pretty-print: skip redundant section headers with --tldr

If the same section appears consecutively in a given file, subsequent
occurenced are not printed.

[Slice]
Foo=bar
[Slice]   # this is not printed
Bar=bar

Requested in
https://github.com/systemd/systemd/pull/29553#pullrequestreview-1677310352.

binfmt: add --tldr

sysctl: add --tldr

sysusers: add --tldr

tmpfiles: add --tldr

This is like --cat-config, but omits the comments and empty lines.
The name is incoungrous with --cat-config, but I don't see a nice way to
call it that wouldn't be annoyingly long.

pager_open() is moved to cat_config() to remove some lines from run().

shared/pretty-print: add highlighting

test-network: wait for the state file being updated

Also, sync state files before read.

Addresses the first issue in #29678.

analyze/cat-config: add switch to print only "interesting" parts of config files

When looking at configuration, often a user wants to suppress the comments and
just look at the parts that actually configure something, roughly equivalent to
  systemd-analyze cat-config … | rg -v '^(#|;|$)
This switch implements this natively, skipping lines that start with a comment
character or only contain whitespace.

For formats that have section headers, section headers are skipped, if only
followed by stuff that would be skipped. (The last section header is printed
when we're about to print some actual output.)

Note that the caller doesn't know if the format has headers or not. We do format
type detection in pretty-print.c. So the caller only specifies tldr=true|false, and
conf_files_cat() figures out if the format has headers and whether those should
be handled specially.

The comments that show the file name are always printed, even if all of the file
is suppressed.

This is a partial answer to the discussions in
https://github.com/systemd/systemd/pull/28919,
https://github.com/systemd/systemd/pull/29248. If the default config is shown in
config files, the user can conveniently use '--tldr' to show the relevant parts.

shared/copy: rewind dir fd before using it for cleanup

This seems to be the only place where rm_rf_children() is called with a
possibly used fd, which is then passed through to rm_rf_children_impl().

This also fixes #29606.
(Tested on Fedora rawhide with kernel 6.5.6-300.fc39.x86_64.)

Merge pull request #29601 from yuwata/mmap-check-overflow

mmap: check offset and size more carefully

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

In several Ubuntu CI jobs I noticed timeouts in TEST-69, which are
apparently caused by a very stubborn bash/login process:

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal
[ 2011.698430] systemd[1]: shutdown.target: starting held back, waiting for: veritysetup.target
[ 2011.698473] systemd[1]: sysinit.target: stopping held back, waiting for: user@0.service
[ 2045.884982] systemd[1]: systemd-oomd.service: Got notification message from PID 54 (WATCHDOG=1)
[ 2071.576424] systemd[1]: Received SIGCHLD from PID 65 (bash).
[ 2071.576941] systemd[1]: Child 65 (bash) died (code=killed, status=1/HUP)
[ 2071.577026] systemd[1]: session-13.scope: Child 65 belongs to session-13.scope.
[ 2071.577100] systemd[1]: session-13.scope: cgroup is empty
[ 2071.577249] systemd[1]: session-13.scope: Deactivated successfully.

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal _PID=65
[ 3038.661488] login[65]: ROOT LOGIN  on '/dev/pts/0'

Since, in this case, we really care only about the actual shutdown,
let's shorten the service stop/abort timeouts to let systemd SIGKILL all
remaining processes in the 60s `expect` window.

test: introduce $TEST_SKIP_SHUTDOWN

To get rid of some boilerplate.

Merge pull request #29685 from poettering/cryptenroll-reduce-scope

cryptenroll: two minor simplifications

network: also synchronously update manager state file

network: make link_save() static

network: do not try to save link state file twice on boot

On enumeration, (that is, before manager_start() is called), enumerated
links may already have the dirty flag. In that case, saving the state
file in manager_start() should clear the flag.

Merge pull request #29681 from YHNdnzj/sleep-round-three

sleep-config: cleanup round three

Merge pull request #29679 from keszybz/drop-iovec-null

Drop IOVEC_NULL

basic/iovec-util: use FOREACH_ARRAY in one more place

basic/iovec-util: drop TAKE_IOVEC

As suggested in
https://github.com/systemd/systemd/pull/29679#discussion_r1368678932.

cryptenroll: merge two if checks with same condition

This removes a duplicate condition check by adding a common surrounding
if block.

This also change a confusing if check: "(X && Y) && Z" to simply "X && Y && Z"

cryptenroll: reduce scope of two global variables

No change in behaviour

systemctl: fallback if logind doesn't support new flag

Follow-up for 665a3d6d15c09428

Merge pull request #29633 from yuwata/dhcp-ipv6-only-mode-follow-ups

dhcp: several follow-ups for IPv6 only mode

sleep-config: check sleep mode only when hibernation

With the previous change, this should only be used when
doing hibernation.

sleep-config: remove HibernateState= & HybridSleepState=, restrict
SuspendState= not to include "disk"

I don't know why these existed in the first place, but as I
justified in the comments, it's simply not sensible to allow
HibernateState= or HybridSleepState= to take values other than
'disk'. So let's just remove those options. Also, SuspendState=
should not contain 'disk'.

hibernate-util: add missing assertion

hibernate-resume: add missing static for arg_info

timedatectl: add missing commands to the help output

Follow up to 159a855b34c35484c28cf4b0178f93bc16447fac

basic/iovec-util: drop IOVEC_NULL

The macro isn't very useful, we can just use the direct setting to increase
readability.

basic/iovec-util: always call the iovec "iovec"

We were using "i", "iov", and "iovec" in variuos places. Let's be
consistent.

Revert "rm-rf: Make sure we rewinddir() before readdir()"

This reverts commit 6bbb893b90e2dcb05fb310ba4608f9c9dc587845.

Let's try a different approach where we make sure that all callers only pass in
a fd that is "clean", i.e. at offset 0. The majority of callers of this function
(both direct and indirect) pass a freshly-opened fd, so the rewind call is not
needed.

Merge pull request #29674 from poettering/unexport-marshal-blob

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

glyph-util: add 'full block' glyph

pcrextend: split out word to measure code into shared helper file

Let's split out the logic that actually generates the word to measure to
PCRs into a new helper file pcrextend-util.[ch].

This we can later reuse to calculate PCR measurement predictions ahead
of time.

efi-api: export UUID converter calls

(while exporting, do some minor simplifications)

tpm2-util: make tpm2_read_public() static, as we use it only internally in tpm2-util.c

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

These are not used outside of tpm2-util.[ch], and the way they merge
public/private key pair into one blob is kinda specific to our
implementation, hence better should be hidden away, and not used for new
code anyway.

creds-utils: fix read_full_file_full call in read_credential_with_decryption

data was passed as a null pointer when an address was expected.
As a result, the assert was always tripped.

docs: correct parenthesis placement in 'man/tmpfiles.d.xml'

Correct the parenthesis placement in 'man/tmpfiles.d.xml' to prevent the
following formatting:

> lock ( shared or exclusive) is

tpm2-util: rename tpm2_calculate_name() → tpm2_calculate_pubkey_name()

We'll soon have a function for determining the name of an NV index,
hence let's rename the existing function for the same of a public key to
make clear it's about public keys only.

Merge pull request #29382 from YHNdnzj/sleep-round-two

shared/sleep-config,hibernate-util: cleanup round two

units: modprobe@.service: don't unescape instance name

modprobe treats "-" and "_" interchangeably, thereby avoiding frequent
errors because some module names contain dashes and others underscores.

Because modprobe@.service unescapes the instance name, an attempt to
start "modprobe@dm-crypt.service" will run "modprobe -abq dm/crypt",
which is doomed to fail. "modprobe@dm_crypt.service" will work as
expected. Thus unescaping the instance name has surprising side effects.
Use "%i" instead.

test: install af_packet kernel module on openSUSE

Currently needed by test-dhcp-server unit test, af_packet is not built-in on
openSUSE distributions.

Merge pull request #29652 from yuwata/dhcp-cleanup-headers

dhcp: cleanup headers

Merge pull request #29650 from YHNdnzj/more-followup

Some more follow-ups for recent PRs

shared/mount-util: log correct errno

Follow-up for 5f48198af82e5a6f40adf887291fdd47bcecf64c

man,docs: suffix directories with /

core/execute: use FOREACH_ARRAY and free_many more

network,dhcp: restart client with 'networkctl renew' when delayed by IPv6 only mode

This is convenient when the server supports IPv6 only mode.
Otherwise, we cannot request a new address during the client is waiting an
IPv6 connectivity. Note, the minimal timespan is 5min, and a server may
send a quite large value.