os-util: introduce several _at() variants of os-release parsers

os-util: make $SYSTEMD_OS_RELEASE prefixed with the root directory

To make it consistent with other env vars, e.g. $SYSTEMD_ESP_PATH or
$SYSTEMD_XBOOTLDR_PATH.

This is useful when the root is specified by a file descriptor, instead
of a path.

os-util: merge parse_{extension,os}_release()

os-util: invert order of arguments in extension release parser

For consistency with other functions.
Unfortunately, va_start() requires that the previous argument is a
pointer, hence the order of the arguments in the internal function
cannot be changed.

os-util: shorten temporal variable names

No functional change, just refactoring.

os-util: log one more error cause

os-util: do not use 'r' for storing loop status

The variable 'r' is usually used for storing return value of functional
call. Let's introduce another boolean to store the current loop status.

No functional change, just refactoring.

os-util: return earlier when unsupported image class is specified

os-util: return earlier when extension release file is found

No functional change, just refactoring.

os-util: split-out open_os_release() from open_extension_release()

The logics of opening os-release and extension-release are completely
different.
No functional change, just refactoring.

os-util: fix fd leak on failure

os-util: make open_extension_release() return O_PATH fd

os-util: drop fopen_extension_release()

compress: replace compress_blob() with compress_blob_explicit()

And make compress_xyz() return 0 on success, as we know which compression
algorithm is used when calling compress_blob().

Follow-up for 2360352ef02548723ac0c8eaf5ff6905eb9eeca5.

Merge pull request #27206 from yuwata/udev-rename

udev: rename arguments and options, update comments

chase: drop redundant call of delete_trailing_chars()

In that branch, 'root' is a non-root and absolute path.
Hence, delete_trailing_chars() does not make the path empty.
And, if the path contains redundant slashes at the end, that will be
dropped by path_simplify().

Merge pull request #27207 from masatake/busctl--help-msg

busctl: add --xml-interface to the help message

Merge pull request #27201 from yuwata/o-path-support

Support O_PATH more

tree-wide: A few more uses of "unmet" for conditions

This is a followup to
413e8650b71d4404a7453403797f93d73d88c466
> tree-wide: Use "unmet" for condition checks, not "failed"

Since I noticed when running `systemctl status` on a recent
systemd still seeing
`Condition: start condition failed`

To recap the original rationale here for "unmet" is that it's
normal for some units to be conditional, so the term "failure"
here is too strong.

Merge pull request #27199 from yuwata/find-esp

path-util: introduce path_prefix_root_cwd(), and use it in find_esp() and friends

Merge pull request #27202 from yuwata/os-release-tiny-cleanups

os-util: tiny cleanups

env-file: introduce parse_env_file_fdv()

shell-completion: add --xml-interface option of busctl to the rules

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

busctl: add --xml-interface to the help message

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

find-esp: use path_prefix_root_cwd()

Unlikely, but even if find_esp() or friends called with unnormalized or
relative 'root', let's make the result path normalized and absolute.

Note, before 63105f33edad423691e2d53bf7071f99c83799ba, these functions
returned an absolute and normalized path. But the commit made the result
path simply concatenated with root.

Follow-up for 63105f33edad423691e2d53bf7071f99c83799ba.

path-util: introduce path_prefix_root_cwd()

test: update description

udev/scsi_id: rename positional arguments

device-nodes: rename argument

os-util: drop redundant declaration of load_os_release_pairs()

os-util: use _IMAGE_CLASS_INVALID

When extension is not specified, image class is not necessary to be
specified. Let's use _IMAGE_CLASS_INVALID as an indicator that no
extension is specified.

os-util: move declaration of string table lookup for image class

portable: always reopen fd of release file

To make it support the case that the fd is O_PATH.

copy: make copy_bytes() support O_PATH fds

Merge pull request #27182 from mrc0mmand/test-tweaks

test: a couple of stability tweaks

Merge pull request #27184 from yuwata/xfopenat-full

fileio: introduce xfopenat_full()

ci: add permissions to make a release

follow-up to https://github.com/systemd/systemd/pull/27071
in order to create Github Releases, the job needs permissions to write
contents

also:
- pinned the `softprops/action-gh-release` action to a specific commit
- made it only active on the `systemd` organization repos (so not on
  forks)

Merge pull request #27193 from yuwata/analyze-blame

analyze: make 'blame' work even the default target not reached

Merge pull request #27194 from yuwata/chase-cleanups

chase: several cleanups

fd-util: slightly optimize dir_fd_is_root()

When STATX_MNT_ID is not supported, we need to manually obtain mount id.
Let's compare inodes earlier.

chase: use dir_fd_is_root() to check if fd points to the root directory

As commented in dir_fd_is_root(), comparing inode is not enough to
determine if we are at the root directory.

chase: use stat_inode_same() at one more place

test: add tests about iterator position for path_find_{first,last}_component()

When path_find_first_component() returns the last component, the iterator
must be an empty string. The fact is heavily used in chaseat(). Let's
explicitly test it.

path-util: make iterator for path_find_last_component() always finish with the beginning of the buffer

chase: extend comment about CHASE_PARENT

chase: drop one redundant call of fstat()

Now, 'st' is always synced with 'fd'. Hence, we can use
stat_verify_directory().

chase: make struct stat always sync with the opened fd

Previously, struct stat may not be correctly synced with the currently
opened fd, e.g. when a path contains symlink which points to an absolute
path.

This also rename variables for struct stat, to make them consistent with
the corresponding fd.

chase: drop unnecessary conditions for buffer

test: add another regression test

For #27187, which should be also caused by #26956.

test: systemd-analyze blame should succeed now

analyze: make blame command work even the default target not reached

kernel-image: make inspect_kernel() optionally take directory fd

fileio: introduce read_one_line_file_at()

fileio: introduce xfopenat_full()

This unifies call of various xfopenat() variants.
No functional change, just refactoring.

fileio: use take_fdopen() and friends

Merge pull request #27160 from yuwata/conf_files_list_at

conf-files: introduce _at() variants of conf file enumerator

Merge pull request #27174 from YHNdnzj/edit-util-fixlets

edit-util: several improvements

test: check if we skip the full setup on daemon-reexec (again)

My original assumption in 61961e693d was wrong, since we do reset
/dev/console during reexec (see make_console_stdio()), so the test was
quite racy. Let's replace it with something, hopefully, more reliable.

Follow-up to 61961e693d.

test: add tests for conf_files_list_at() and friends

conf-files: introduce _at() variants of conf_files_list() or friends

conf-files: split out logic of copy and sort filenames from hashmap

No functional change, preparation for the next commit.

conf-files: use path_compare_filename()

path-util: introduce path_compare_filename()

conf-files: drop redundant call of chase()

Previously, chase() was called twice in files_add() and path_strv_resolve_uniq().

test: handle one more error gracefully

Fixes #27175.

localed: fix invalid free after shifting pointers using strstrip

After manually editing /etc/locale.gen, calling localectl set-locale
sometimes fails. When it fails, the systemd journal shows:
systemd-localed: free() / invalid pointer.

It turned out that it only fails if some of the uncommented lines in
/etc/locale.gen have leading spaces, as in:

  * C.UTF-8       <= OK
  * en_US.UTF-8   <= OK
  *  fr_FR.UTF-8  <= NOK

After parsing a line from /etc/locale.gen, we use strstrip() to obtain
the "trimmed" line (without leading or trailing spaces).

However, we store the result of strstrip() in the original pointer
containing the untrimmed line. This pointer is later passed to free
(this is done automatically using _cleanup_free_).

This is a problem because if any leading space is present, the pointer
will essentially be shifted from its original value. This will result in
an invalid free upon cleanup.

The same issue is present in the locale_gen_locale_supported function.

Fixed by storing the result of strstrip() in a different pointer.

test: bump the timeout for non-qemu runs to 90s

When Ubuntu CI is oversaturated, 60s doesn't seem to be enough.

test: enable the systemd-resolved unit in TEST-75

Without enabling itx, there's no symlink to the org.freedesktop.resolve1
dbus service, so there exists a tiny window in which the sequence of
`systemctl start` and `systemctl service-log-level` commands might fail:

[ 1127.615151] H systemd[1]: Started Network Name Resolution.
[ 1127.617768] H testsuite-75.sh[34]: + systemctl service-log-level systemd-resolved.service debug
[ 1127.621251] H dbus-daemon[54]: [system] Activating via systemd: service name='org.freedesktop.resolve1' unit='dbus-org.freedesktop.resolve1.service' requested by ':1.24' (uid=0 pid=119 comm="systemctl service-log-level systemd-resolved>
[ 1127.621336] H systemd[1]: dbus-org.freedesktop.resolve1.service: Failed to load configuration: No such file or directory
[ 1127.621364] H systemd[1]: dbus-org.freedesktop.resolve1.service: Trying to enqueue job dbus-org.freedesktop.resolve1.service/start/replace
[ 1127.621395] H systemd[1]: D-Bus activation failed for dbus-org.freedesktop.resolve1.service: Unit dbus-org.freedesktop.resolve1.service not found.
[ 1127.621965] H dbus-daemon[54]: [system] Activation via systemd failed for unit 'dbus-org.freedesktop.resolve1.service': Unit dbus-org.freedesktop.resolve1.service not found.
[ 1127.622046] H systemd[1]: systemd-resolved.service: D-Bus name org.freedesktop.resolve1 now owned by :1.25
[ 1127.622130] H systemctl[119]: Failed to set log level of org.freedesktop.resolve1 to debug: Unit dbus-org.freedesktop.resolve1.service not found.

Spotted in a couple of recent Ubuntu CI runs.

man/systemd-mount: Clearify documentation about --bind-device

The documentation suggests that the mount point (i.e. the directory
where the device is mounted) is removed when the device vanishes.
However only stopping of the automount unit is implemented.

So adapt the documentation to reality.

mkosi: Update to latest

This contains the recently merged fixes to config parsing ordering
and overrides.

hwdb: Add support for "Passion Model P612F"

Add hwdb sensor entry for device Passion with accelerometer "MXC6655".

Merge pull request #26887 from yuwata/proc-cmdline-filter-arguments

proc-cmdline: filter PID1 arguments on container

Merge pull request #27161 from pothos/sysext-refresh

systemd-sysext/confext.service: Refresh on start/reload

bootctl: Gracefully handle missing bootloader directory

When --graceful is specified, let's gracefully deal with a missing
bootloader directory.

bootctl: show report state and type in json output

edit-util: improve log messages

edit-util: introduce overwrite_with_origin switch

Before this commit, if `original_path` is given,
it will always be used to overwrite `path`.
After this commit, it's controlled by the newly-added
switch `overwrite_with_origin`.

edit-util: make original_path and comment_paths work together

edit-util: add DROPIN_MARKER_{START,END}

resolve: change DNS_PACKET_UNICAST_SIZE_LARGE_MAX to 1232 (#27171)

The old common default was 4096, until 2020 on which all DNS servers (verified
on BIND9, NSD, Unbound, dnsmasq) switched to 1232 as an agreed max size [1].

[1] https://www.dnsflagday.net/2020/#message-size-considerations

Merge pull request #27126 from yuwata/journal-compress

sd-journal: allow to specify compression algorithm through env

man: netdev: Clarify wireguard IPv6 endpoint format

mkosi: Update to latest

This also migrates the configuration to the new format that was
just merged in mkosi. Specifically, we make use of the new [Match]
sections to only include specific config snippets per distro.

Merge pull request #27158 from mrc0mmand/more-tests

test: introduce TEST-81-GENERATORS

test: check if we skip the full setup on daemon-reexec

A simple test case for issue #27106.

Resolves: #27139

test: add test case that journal file is created with the requested compression algorithm

systemd-sysext/confext.service: Refresh on start/reload

When adding a sysext image to the system and manuall merging it, a
later "systemctl (re)start systemd-sysext" won't work because "merge"
refuses to work when something is merged already. Another problem with
"merge" at start plus "unmerge" at stop is that a service restart can't
make use of the new MOVE_MOUNT_BENEATH in the future even which would
only be available in "refresh". It also prepares us for setting up the
merged overlay for the sysroot from the initrd already, which also
would lead to the mentioned start problem of the service (One
optimization could be to skip the loading but only if we are sure that
all images were loaded and weren't modified since - this assumption is
hard because early services could want to inject a sysext, too).

Use "refresh" on service start to fix the problem that the service
can't start as soon as a manual merge was done. Also add a reload
action that allows to issue "systemctl reload systemd-sysext" and it
will make use of MOVE_MOUNT_BENEATH once we implement this in
systemd-sysext refresh (and it's available from the kernel).

man/systemd-dissect.xml: Remove old sysext path, add confext path

The /usr/lib/extensions/ location for systemd-sysext images is not
supported anymore. In https://github.com/systemd/systemd/pull/26013
systemd-confext images got introduced and we can list its path under
/usr instead.

test: introduce TEST-81-GENERATORS

Add some explicit tests for various generators we ship, e.g.:
    - systemd-debug-generator
    - systemd-environment-d-generator
    - systemd-fstab-generator

Merge pull request #26013 from goenkam/maanya/syscfg-feature

confext: extension of sysext

test: add a couple of tests for systemd-modules-load

fstab-generator: don't propagate ignored errno

With certain fstabs we may propagate ENXIO from the $SYSTEMD_SYSFS_CHECK
check all the way up, making fstab-generator exit with a non-zero EC and
without any helpful message, which is really confusing.

repart: Add more logging

confext: shell completion for systemd-confext

confext: documentation and man page updates for confext

test-os-util: add tests for sysext and confext release files

confext: add tests for systemd-confext

confext: add the systemd-confext.service file

confext: add multi call functionality to sysext

The confext concept is an extension of the existing sysext concept and
allows to extend the host's filesystem or a unit's filesystem with signed
images that add new files to the /etc/ directory using OverlayFS.

extension-release: establish compatibility between host file and extension-release file

The release file that accompanies the confext images needs to be
host compatible to be able to be merged into the host /etc/ directory.
This commit checks for version compatibility between the image file and
the host file.