dissect-image: drop unnecessary duplication of partition device node

dissect-image: reuse LoopDevice.node in dissect_image()

Currently, dissect_image() is only called through dissect_loop_device(),
and the LoopDevice object has device name. Hence, it is not necessary to
get device name in dissect_image().

dissect-image: drop currently unused arguments

dissect-image: drop currently unused code

Currently, dissect_image() is called only through dissect_loop_device(),
and image_path is always specified. Let's drop it.

dissect-image: use loop backing file or device node as name of the image

Note, currently, for each call of dissect_loop_device_and_warn(), the
specified name is equivalent to the path passed to loop_device_make_by_path().
Hence, this should not change the current behavios.

gpt-auto: use LoopDevice object to manage whole block disk

dissect-image: use backing_file stored in LoopDevice object to generate image name

Follow-up for e374439f4b8def786031ddbbd7dfdae3a335d4d2 (#24322).

This also simplify the logic of generating image name from image path.

loop-util: save backing file of loopback block device

It will be used in later commits.

loop-util: move device_has_block_children() to blockdev-util.c

As the function is not only for loopback block device.

No actual code changes, just refactoring.

blockdev-util: check if provided sd_device is for a whole block device

And split out partition_generator_new(), to make it usable in other
functions.

blockdev-util: make block_device_remove_all_partitions() take sd_device object

Then, it is not necessary to recreate sd_device object when we already
have.

loop-util: store sd_device object for the loop device

It will be used in later commits.

Merge pull request #24520 from yuwata/udevadm-wait-listen-kernel-uevents

udevadm-wait: also listen kernel uevents

test: kill plymouthd after initrd transition if it's still running

Until now using the INTERACTIVE_DEBUG=yes stuff together with sanitizers
was almost impossible, since the console kept eating up our inputs or
not responding at all. After a painful day of debugging I noticed that
if we use a shell script in the initrd -> root transition, we might end up
with a plymouthd still running, which kept screwing with the tty.

E.g. with initrd -> wrapper -> systemd transition, where the `wrapper`
is a simple script:

```
exec -- /usr/lib/systemd/systemd "$@"
```

we'd end up with a stray plymouthd process after the bootup:

```
 1     0     440       2  20   0      0     0 worker I    ?          0:00 [kworker/5:2-ata_sff]
 1     0     453       2  20   0      0     0 worker I    ?          0:00 [kworker/9:2-rcu_gp]
 5     0     456       1  20   0   7252  1960 do_epo S    ?          0:00 @usr/sbin/plymouthd --mode=boot --pid-file=/run/plymouth/pid --attach-to-session
```

After killing it, the tty works finally as expected.

udevadm-wait: shorten code a bit

udevadm-wait: wait for two periodic timer triggered before exit

udevadm-wait: also listen kernel uevent stream if --initialized=no

Suggested at https://github.com/systemd/systemd/pull/24471#discussion_r959703103.

hwdb: Add accel orientation quirk for the Aya Neo Air

Use original filename for extension name check

The loading of an extension image from a symlink "NAME.raw" to
"NAME-VERSION.raw" failed because the release file name check worked
with the backing file of the loop device which already resolves the
symlink and thus the found name "NAME-VERSION" mismatched "NAME".
Pass the original filename and use it instead of the backing file
when available. This fixes the loading of "NAME.raw" extensions which
are a symlink to "NAME-VERSION.raw" as, e.g., may be the case when
systemd-sysupdate manages multiple versions.

Fixes https://github.com/systemd/systemd/issues/24293

Merge pull request #24467 from qdeslandes/nspawn_rootidmap

nspawn: add rootidmap as --bind option

Merge pull request #24568 from poettering/atou16-atou-rework

parse-util: simplify safe_atou8() + safe_atou16()

udev/rules,hwdb: filter out mostly meaningless default strings

The filter is generated based on the following results:
---
git clone git@github.com:linuxhw/DMI.git
cd DMI
git grep -h -A2 '^System Information$' | grep 'Manufacturer' | sort | uniq -c | sort -nr | less
git grep -h -A2 '^System Information$' | grep 'Product Name' | sort | uniq -c | sort -nr | less
---

Closes #24446.

Merge pull request #24566 from mrc0mmand/TEST-75-fix

test: mark knot.conf tmpfiles config as optional

Merge pull request #24567 from poettering/homed-wait-timeout

homed: don't wait for workers without time limit

nspawn: add support for rootidmap bind option

rootidmap bind option will map the root user from the container to the
owner of the mounted directory on the filesystem. This will ensure files
and directories created by the root user in the container will be owned
by the directory owner on the filesystem. All other user will remain
unmapped.

parse-util: make safe_atou8() just a wrapper around safe_atou8_full()

As in the previous commit: it's just a wrapper around the same
strtoul(), hence let's just share some more code.

parse-util: make safe_atou16_full() just a wrapper around safe_atou_full()

Both are fancy wrappers around strtoul() anyway, not more, hence let's
just make them a wrapper around each other, too, to simplify things a
lot.

test: zone-set requires TTL for the first record in the rrset

I'm not sure why this worked previously.

test: mark knot.conf tmpfiles config as optional

Since it got removed in the recent knot release.

See: https://github.com/CZ-NIC/knot/commit/a6971a4025133a77b29f6d2b381b40dc0499730c

Merge pull request #24404 from thatguystone/socket-jobs

job: Don't discard propagated restart jobs when unit is activating

nspawn: rename RemountIdmapFlags enum to RemountIdmapping

This enum should be used to define various idmapping modes for bind
mounts which might be incompatible. Changing its name and the values
name to reflect that.

repart: Add support for setting a partition's UUID to zero

This is useful when we need to fill in the UUID later, such as when
using verity partitions.

units: prolong the stop timeout for homed

Let's give IO/resizing/… more time then usual.

Fixes: #22901

homed: don't wait indefinitely for workers on exit

Let's put some time-limit on it.

Fixes: #22901

Merge pull request #24561 from yuwata/loop-util-follow-ups

loop-util: several follow ups for recent changes

loop-util: lock_fd must be closed before calling LOOP_CLR_FD

Follow-up for 7f52206a2bc128f9ae8306db43aa6e2f7d916f82.

C.f. 87862cc2b4abb9564f7e0365ac515dc9020a54e4.

loop-util: drop unnecessary initializations

loop-util: use loop_device_open_full() when whole block device is passed to loop_device_make()

This also fixes a leak of lock_fd, which introduced by
7f52206a2bc128f9ae8306db43aa6e2f7d916f82, when fd is for a block device,
and size or offset is non-zero.

Fixes another issue in #24147.

loop-util: introduce loop_device_open_full()

loop-util: fix LoopDevice.devno assigned by loop_device_open()

loop-util: also set LoopDevice.diskseq when created with loop_device_open()

mount-util: fix error code

If multiple service is starting simultaneously with a shared image,
then one of the service may fail to create a mount node:

systemd[695]: Bind-mounting /usr/lib/os-release on /run/systemd/unit-root/run/host/os-release (MS_BIND|MS_REC "")...
systemd[696]: Bind-mounting /usr/lib/os-release on /run/systemd/unit-root/run/host/os-release (MS_BIND|MS_REC "")...
systemd[695]: Failed to mount /usr/lib/os-release (type n/a) on /run/systemd/unit-root/run/host/os-release (MS_BIND|MS_REC ""): No such file or directory
systemd[696]: Failed to mount /usr/lib/os-release (type n/a) on /run/systemd/unit-root/run/host/os-release (MS_BIND|MS_REC ""): No such file or directory
systemd[695]: Bind-mounting /usr/lib/os-release on /run/systemd/unit-root/run/host/os-release (MS_BIND|MS_REC "")...
systemd[696]: Failed to create destination mount point node '/run/systemd/unit-root/run/host/os-release': Operation not permitted
systemd[695]: Successfully mounted /usr/lib/os-release to /run/systemd/unit-root/run/host/os-release

The function apply_one_mount() in src/core/namespace.c gracefully
handles -EEXIST from make_mount_point_inode_from_path(), but it erroneously
returned -EPERM previously. This fixes the issue.

Fixes one of the issues in #24147, especially reported at
https://github.com/systemd/systemd/issues/24147#issuecomment-1236194671.

man: fix static bridge example

A NetDev is needed to create the bridge in order to match the example's description "This creates a bridge..."

test: actually set SYSTEMD_DISSECT_VERITY_TIMEOUT_SEC=30

Without the section header the assignments were effectively ignored.

Follow-up to 9fff8e1fdd222f8f05b9ecf170814a9059acfc78.

Merge pull request #24550 from yuwata/bootspec

bootspec: do not build too many json object at once

test: check returned values are always initialized on success

bootspec: shorten code a bit

fuzz: add a test case for fuzz-bootspec

This adds a testcase for the issue oss-fuzz#50949
(https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=50949).

bootspec: do not build two many json object at once

This is a workaround for an issue in the memory sanitizer.
If a function is called with too many arguments, then the sanitizer
triggers the following false-positive warning:

==349==WARNING: MemorySanitizer: use-of-uninitialized-value
    #0 0x7f8b247134a7 in json_buildv /work/build/../../src/systemd/src/shared/json.c:3213:17
    #1 0x7f8b24714231 in json_build /work/build/../../src/systemd/src/shared/json.c:4117:13
    #2 0x7f8b24487fa5 in show_boot_entries /work/build/../../src/systemd/src/shared/bootspec.c:1424:29
    #3 0x4a6a1b in LLVMFuzzerTestOneInput /work/build/../../src/systemd/src/fuzz/fuzz-bootspec.c:119:16
    #4 0x4c6693 in fuzzer::Fuzzer::ExecuteCallback(unsigned char const*, unsigned long) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:611:15
    #5 0x4c5e7a in fuzzer::Fuzzer::RunOne(unsigned char const*, unsigned long, bool, fuzzer::InputInfo*, bool, bool*) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:514:3
    #6 0x4c7ce4 in fuzzer::Fuzzer::ReadAndExecuteSeedCorpora(std::__Fuzzer::vector<fuzzer::SizedFile, std::__Fuzzer::allocator<fuzzer::SizedFile> >&) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:826:7
    #7 0x4c7f19 in fuzzer::Fuzzer::Loop(std::__Fuzzer::vector<fuzzer::SizedFile, std::__Fuzzer::allocator<fuzzer::SizedFile> >&) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:857:3
    #8 0x4b757f in fuzzer::FuzzerDriver(int*, char***, int (*)(unsigned char const*, unsigned long)) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerDriver.cpp:912:6
    #9 0x4e0bd2 in main /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerMain.cpp:20:10
    #10 0x7f8b23ead082 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x24082) (BuildId: 1878e6b475720c7c51969e69ab2d276fae6d1dee)
    #11 0x41f69d in _start (build-out/fuzz-bootspec+0x41f69d)

Follow-up for #24541.
Fixes #24551.

json: introduce json_append()

loop-util: fix memleak when fd is for a block device with non-zero offset or size

tmpfile-util: truncate original filename if the result filename is too long

This also verify that the extra string does not contain '/'.

test: extend ConditionFirmware tests

Merge pull request #24538 from mrc0mmand/TEST-13-tweaks

test: forward nspawn logs to journal

Merge pull request #24546 from mrc0mmand/test-exec-deserialization-tweaks

A couple of tweaks for test-exec-deserialization

test: suppress not-found errors for `selinuxenabled`

if the binary is not available.

test: forward nspawn logs to journal

Dumping everything to console slows the test quite considerably on
slower machines, so let's forward nspawn logs to the journal to still
have them available in case something goes south.

This should, hopefully, help with TEST-13 timeouts in Ubuntu CI and
maybe with CPU soft lockups in CentOS CI.

Merge pull request #24541 from poettering/bootspec-tweaks

bootspec: slightly stricter validation + process tries-left/tries-done counters in filenames

mkosi: update to latest commit

Required to fix Debian testing/unstable builds, as resolved is
now in its own package

test: make pylint happy

log: don't attempt to duplicate closed fd

if the console fd is not open we shouldn#t try to move it out of the 0…2
range.

Fixes: #24535
Alternative-for: #24537

test: check for the output file in a loop

This should make the test faster on fast machines and more reliable on
slower/under-load machines, where the 4 sec sleep wasn't sometimes enough.

Spotted on C8S machines under load:

```
test_added_after (__main__.ExecutionResumeTest) ... FAIL
test_added_before (__main__.ExecutionResumeTest) ... ok
test_interleaved (__main__.ExecutionResumeTest) ... ok
test_issue_6533 (__main__.ExecutionResumeTest) ... ok
test_no_change (__main__.ExecutionResumeTest) ... ok
test_removal (__main__.ExecutionResumeTest) ... ok
test_swapped (__main__.ExecutionResumeTest) ... ok

======================================================================
FAIL: test_added_after (__main__.ExecutionResumeTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./test/test-exec-deserialization.py", line 101, in check_output
    with open(self.output_file, 'r') as log:
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/tmpjnec1dj4'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "./test/test-exec-deserialization.py", line 150, in test_added_after
    self.check_output(expected_output)
  File "./test/test-exec-deserialization.py", line 104, in check_output
    self.fail()
AssertionError: None

----------------------------------------------------------------------
Ran 7 tests in 44.270s
```

Merge pull request #24536 from yuwata/dissect-take-loop-device

dissect-image: introduce dissect_loop_device() which takes LoopDevice object

udevadm-wait: move comments and condition outside of setup_periodic_timer()

dissect-image: introduce dissect_loop_device() which takes LoopDevice object

find-esp: call the right function

We want the parent dir here, let's fix that.

update TODO

bootspec: clarify we knowingly ignore all errors but ENOMEM

bootspec: properly parse tries done/tries left from bootspec file names

This has been a long-time omission in the userspace parser of bootspec
files. Correct that.

Fixes: #16457

loop-util: always set LoopDevice.node

loop-util: rename loopdev -> node

Preparation for the next commit. No functional change.

core/swap: use devname_from_stat_rdev()

sd-device: introduce devname_from_stat_rdev()

sd-device: rename devpath_from_devnum() -> devname_from_devnum()

In sd-device, `devpath` is a kind of syspath without '/sys' prefix, e.g.
/devices/pci0000:00/0000:00:1c.4/0000:3c:00.0/nvme/nvme0/nvme0n1,
and `devname` is a path to the device node, e.g. /dev/nvme0n1.

Let's use the consistent name for the helper function.

bootspec: rename "id" function parameters to "fname"

It's really the file name, so name it like that. Just some renaming.

(This is preparation for later work, to extract tries-done/tries-left
info from filenames)

bootspec: complain about loader.conf lines without parameter

bootspec: port type1 parser to log_syntax()

bootspec: let's actually use the result of strstrip() for further parsing

Also, given we are looking for whitespace as separators, just pass NULL
as separators, extract_first_word() defaults to whitespace after all.

bootspec: simplify paths + insist they are normalized

Inspired by #23913, let's complain if people use paths with ".."
in Type #1 bootspec entries.

Let's prefix all paths with "/" if it is missing.

Let's simplify all paths.

let's refuse paths/warn with "..".

Fixes: #23913

Merge pull request #24491 from poettering/compare-order

condition: unify operator parsing handling

sysusers: make sp_lstchg shadow field reproducible

If the environment variable SOURCE_DATE_EPOCH is set, use its value
instead of the current time.

Merge pull request #24530 from poettering/loop-with-more-lock

a variety of loopback block device fixes

mention ConditionKernelVersion= compat break in NEWS

condition: change operator logic to use $= instead of =$ for glob comparisons

So this is a bit of a bikeshedding thing. But I think we should do this
nonetheless, before this is released.

Playing around with the glob matches I realized that "=$" is really hard
to grep for, since in shell code it's an often seen construct. Also,
when reading code I often found myself thinking first that the "$"
belongs to the rvalue instead of the operator, in a variable expansion
scheme.

If we move the $ character to the left hand, I think we are on the safer
side, since usually lvalues are much more restricted in character sets
than rvalues (at least most programming languages do enforce limits on
the character set for identifiers).

It makes it much easier to grep for the new operator, and easier to read
too. Example:

before:
    ConditionOSRelease=ID=$fedora-*
after:
    ConditionOSRelease=ID$=fedora-*

condition: change ConditionKernelVersion= so that =/!= mean literal string comparison, and ==/<> version comparison

The only reason to do this is to ensure uniformity with the other
options, that work like this, i.e. ConditionOSRelease= or
ConditionSecurity=.

This is a compatibility break, but a minor one, given that string
comparison and version comparison is mostly the same for equality and
inequality.

condition: allow literal string compares in SMBIOS condition

This ensures that "=" and "!=" are now interpreted as literal string
compares, and "==" and "<>" are for version compares.

This is not a compat break, since the SMBIOS stuff has not been included
in any release yet.

Main reason to do this, is to be systematic with the other conditions
that check for text stuff.

condition: allow fnmatch() matches in ConditionKernelVersion=

This is mostly to make things systematic, and brings no new
functionality, as not specifying any operator is identical to prefixing
with =$ anyway.

compare: add macro for operator charset

compare: propagate errors of fnmatch() as errors

compare: support textual operators, and port analyze over to it

compare: add two new operators "==" and "<>"

These two operators always indicate ordering comparisons, as opposed to
"=" and "!=" which depending on context mean literal string compares.

This is useful for ConditionOSRelease= for example, as this means
there's now always a way to do version compares.

compare: rework table in parse_compare_operator() to be array of structs

Let's change the lookup table to contain pairs of operator/strings,
instead of being indexed by operator.

The table isn't dense anymore, and this allows us to add alias strings
sooner or later.

condition: allow fnmatch compares for ConditionOSRelease=

We support this for smbios matches, hence do so for /etc/os-release
matches too.

compare: add flag for parse_compare_operator() to do equality/inequality comparison via simple string compares

This allows us to switch condition_test_osrelease() to use generic
version_or_fnmatch_compare() for executing the comparison.

compare: add a proper flags field for parse_compare_operator()

compare: drop use of FNM_EXTMATCH for now

None of our other fnmatch() calls make use of this, and the concept was
new to me at least. Given that this is only used for the recently added
SMBIOS field matches (and is not included in any release) let's disable
"extended" matches for now. We can certainly revisit this, and enable it
later if there is real demand, but if we do, we should probably add that
all over the place, not just for smbios matches.

comapre: add generic implementation for comapring with verscmp+fnmatch

compare: move test_order() → compare-operator.[ch]

condition: split out order operator enum

Let's move the operator enum into its own .c/.h file, so that we can
reuse it elsewhere, in particular systemd-analyze's compare-versions
logic.

Let's rename the concept CompareOperator, since it is nowadays
genericlaly about both order *and* fnmatch comparisons, hence just
naming it "order" is misleading.

loop-util: make clearer how LoopDevice objects that do not encapsulate an actual loopback device are set up