portable: always reopen fd of release file

To make it support the case that the fd is O_PATH.

copy: make copy_bytes() support O_PATH fds

Merge pull request #27182 from mrc0mmand/test-tweaks

test: a couple of stability tweaks

Merge pull request #27184 from yuwata/xfopenat-full

fileio: introduce xfopenat_full()

ci: add permissions to make a release

follow-up to https://github.com/systemd/systemd/pull/27071
in order to create Github Releases, the job needs permissions to write
contents

also:
- pinned the `softprops/action-gh-release` action to a specific commit
- made it only active on the `systemd` organization repos (so not on
  forks)

Merge pull request #27193 from yuwata/analyze-blame

analyze: make 'blame' work even the default target not reached

Merge pull request #27194 from yuwata/chase-cleanups

chase: several cleanups

fd-util: slightly optimize dir_fd_is_root()

When STATX_MNT_ID is not supported, we need to manually obtain mount id.
Let's compare inodes earlier.

chase: use dir_fd_is_root() to check if fd points to the root directory

As commented in dir_fd_is_root(), comparing inode is not enough to
determine if we are at the root directory.

chase: use stat_inode_same() at one more place

test: add tests about iterator position for path_find_{first,last}_component()

When path_find_first_component() returns the last component, the iterator
must be an empty string. The fact is heavily used in chaseat(). Let's
explicitly test it.

path-util: make iterator for path_find_last_component() always finish with the beginning of the buffer

chase: extend comment about CHASE_PARENT

chase: drop one redundant call of fstat()

Now, 'st' is always synced with 'fd'. Hence, we can use
stat_verify_directory().

chase: make struct stat always sync with the opened fd

Previously, struct stat may not be correctly synced with the currently
opened fd, e.g. when a path contains symlink which points to an absolute
path.

This also rename variables for struct stat, to make them consistent with
the corresponding fd.

chase: drop unnecessary conditions for buffer

test: add another regression test

For #27187, which should be also caused by #26956.

test: systemd-analyze blame should succeed now

analyze: make blame command work even the default target not reached

kernel-image: make inspect_kernel() optionally take directory fd

fileio: introduce read_one_line_file_at()

fileio: introduce xfopenat_full()

This unifies call of various xfopenat() variants.
No functional change, just refactoring.

fileio: use take_fdopen() and friends

Merge pull request #27160 from yuwata/conf_files_list_at

conf-files: introduce _at() variants of conf file enumerator

Merge pull request #27174 from YHNdnzj/edit-util-fixlets

edit-util: several improvements

test: check if we skip the full setup on daemon-reexec (again)

My original assumption in 61961e693d was wrong, since we do reset
/dev/console during reexec (see make_console_stdio()), so the test was
quite racy. Let's replace it with something, hopefully, more reliable.

Follow-up to 61961e693d.

test: add tests for conf_files_list_at() and friends

conf-files: introduce _at() variants of conf_files_list() or friends

conf-files: split out logic of copy and sort filenames from hashmap

No functional change, preparation for the next commit.

conf-files: use path_compare_filename()

path-util: introduce path_compare_filename()

conf-files: drop redundant call of chase()

Previously, chase() was called twice in files_add() and path_strv_resolve_uniq().

test: handle one more error gracefully

Fixes #27175.

localed: fix invalid free after shifting pointers using strstrip

After manually editing /etc/locale.gen, calling localectl set-locale
sometimes fails. When it fails, the systemd journal shows:
systemd-localed: free() / invalid pointer.

It turned out that it only fails if some of the uncommented lines in
/etc/locale.gen have leading spaces, as in:

  * C.UTF-8       <= OK
  * en_US.UTF-8   <= OK
  *  fr_FR.UTF-8  <= NOK

After parsing a line from /etc/locale.gen, we use strstrip() to obtain
the "trimmed" line (without leading or trailing spaces).

However, we store the result of strstrip() in the original pointer
containing the untrimmed line. This pointer is later passed to free
(this is done automatically using _cleanup_free_).

This is a problem because if any leading space is present, the pointer
will essentially be shifted from its original value. This will result in
an invalid free upon cleanup.

The same issue is present in the locale_gen_locale_supported function.

Fixed by storing the result of strstrip() in a different pointer.

test: bump the timeout for non-qemu runs to 90s

When Ubuntu CI is oversaturated, 60s doesn't seem to be enough.

test: enable the systemd-resolved unit in TEST-75

Without enabling itx, there's no symlink to the org.freedesktop.resolve1
dbus service, so there exists a tiny window in which the sequence of
`systemctl start` and `systemctl service-log-level` commands might fail:

[ 1127.615151] H systemd[1]: Started Network Name Resolution.
[ 1127.617768] H testsuite-75.sh[34]: + systemctl service-log-level systemd-resolved.service debug
[ 1127.621251] H dbus-daemon[54]: [system] Activating via systemd: service name='org.freedesktop.resolve1' unit='dbus-org.freedesktop.resolve1.service' requested by ':1.24' (uid=0 pid=119 comm="systemctl service-log-level systemd-resolved>
[ 1127.621336] H systemd[1]: dbus-org.freedesktop.resolve1.service: Failed to load configuration: No such file or directory
[ 1127.621364] H systemd[1]: dbus-org.freedesktop.resolve1.service: Trying to enqueue job dbus-org.freedesktop.resolve1.service/start/replace
[ 1127.621395] H systemd[1]: D-Bus activation failed for dbus-org.freedesktop.resolve1.service: Unit dbus-org.freedesktop.resolve1.service not found.
[ 1127.621965] H dbus-daemon[54]: [system] Activation via systemd failed for unit 'dbus-org.freedesktop.resolve1.service': Unit dbus-org.freedesktop.resolve1.service not found.
[ 1127.622046] H systemd[1]: systemd-resolved.service: D-Bus name org.freedesktop.resolve1 now owned by :1.25
[ 1127.622130] H systemctl[119]: Failed to set log level of org.freedesktop.resolve1 to debug: Unit dbus-org.freedesktop.resolve1.service not found.

Spotted in a couple of recent Ubuntu CI runs.

man/systemd-mount: Clearify documentation about --bind-device

The documentation suggests that the mount point (i.e. the directory
where the device is mounted) is removed when the device vanishes.
However only stopping of the automount unit is implemented.

So adapt the documentation to reality.

mkosi: Update to latest

This contains the recently merged fixes to config parsing ordering
and overrides.

hwdb: Add support for "Passion Model P612F"

Add hwdb sensor entry for device Passion with accelerometer "MXC6655".

Merge pull request #26887 from yuwata/proc-cmdline-filter-arguments

proc-cmdline: filter PID1 arguments on container

Merge pull request #27161 from pothos/sysext-refresh

systemd-sysext/confext.service: Refresh on start/reload

bootctl: Gracefully handle missing bootloader directory

When --graceful is specified, let's gracefully deal with a missing
bootloader directory.

bootctl: show report state and type in json output

edit-util: improve log messages

edit-util: introduce overwrite_with_origin switch

Before this commit, if `original_path` is given,
it will always be used to overwrite `path`.
After this commit, it's controlled by the newly-added
switch `overwrite_with_origin`.

edit-util: make original_path and comment_paths work together

edit-util: add DROPIN_MARKER_{START,END}

resolve: change DNS_PACKET_UNICAST_SIZE_LARGE_MAX to 1232 (#27171)

The old common default was 4096, until 2020 on which all DNS servers (verified
on BIND9, NSD, Unbound, dnsmasq) switched to 1232 as an agreed max size [1].

[1] https://www.dnsflagday.net/2020/#message-size-considerations

Merge pull request #27126 from yuwata/journal-compress

sd-journal: allow to specify compression algorithm through env

man: netdev: Clarify wireguard IPv6 endpoint format

mkosi: Update to latest

This also migrates the configuration to the new format that was
just merged in mkosi. Specifically, we make use of the new [Match]
sections to only include specific config snippets per distro.

Merge pull request #27158 from mrc0mmand/more-tests

test: introduce TEST-81-GENERATORS

test: check if we skip the full setup on daemon-reexec

A simple test case for issue #27106.

Resolves: #27139

test: add test case that journal file is created with the requested compression algorithm

systemd-sysext/confext.service: Refresh on start/reload

When adding a sysext image to the system and manuall merging it, a
later "systemctl (re)start systemd-sysext" won't work because "merge"
refuses to work when something is merged already. Another problem with
"merge" at start plus "unmerge" at stop is that a service restart can't
make use of the new MOVE_MOUNT_BENEATH in the future even which would
only be available in "refresh". It also prepares us for setting up the
merged overlay for the sysroot from the initrd already, which also
would lead to the mentioned start problem of the service (One
optimization could be to skip the loading but only if we are sure that
all images were loaded and weren't modified since - this assumption is
hard because early services could want to inject a sysext, too).

Use "refresh" on service start to fix the problem that the service
can't start as soon as a manual merge was done. Also add a reload
action that allows to issue "systemctl reload systemd-sysext" and it
will make use of MOVE_MOUNT_BENEATH once we implement this in
systemd-sysext refresh (and it's available from the kernel).

man/systemd-dissect.xml: Remove old sysext path, add confext path

The /usr/lib/extensions/ location for systemd-sysext images is not
supported anymore. In https://github.com/systemd/systemd/pull/26013
systemd-confext images got introduced and we can list its path under
/usr instead.

test: introduce TEST-81-GENERATORS

Add some explicit tests for various generators we ship, e.g.:
    - systemd-debug-generator
    - systemd-environment-d-generator
    - systemd-fstab-generator

Merge pull request #26013 from goenkam/maanya/syscfg-feature

confext: extension of sysext

test: add a couple of tests for systemd-modules-load

fstab-generator: don't propagate ignored errno

With certain fstabs we may propagate ENXIO from the $SYSTEMD_SYSFS_CHECK
check all the way up, making fstab-generator exit with a non-zero EC and
without any helpful message, which is really confusing.

repart: Add more logging

confext: shell completion for systemd-confext

confext: documentation and man page updates for confext

test-os-util: add tests for sysext and confext release files

confext: add tests for systemd-confext

confext: add the systemd-confext.service file

confext: add multi call functionality to sysext

The confext concept is an extension of the existing sysext concept and
allows to extend the host's filesystem or a unit's filesystem with signed
images that add new files to the /etc/ directory using OverlayFS.

extension-release: establish compatibility between host file and extension-release file

The release file that accompanies the confext images needs to be
host compatible to be able to be merged into the host /etc/ directory.
This commit checks for version compatibility between the image file and
the host file.

os-util: add a new confext image type and the ability to parse their release files

Adds a new image type called IMAGE_CONFEXT which is similar to IMAGE_SYSEXT but works
for the /etc/ directory instead of /usr/ and /opt/. This commit also adds the ability to
parse the release file that is present with the confext image in /etc/confext-release.d/
directory.

Merge pull request #27154 from DaanDeMeyer/kconfig

mkosi kernel build updates

test: use kbd-mode-map we ship in TEST-73-LOCALE

The rational is the same as the one described in commit
be0cc2ce6c947aafadb3f42dba405269f670b31c.

test: add tests for dir_fd_is_root_or_cwd()

Follow-up for e212f422796da9e626030289faf083407c8955df.

mkosi: Update bundled kconfig

- Remove useless serial console configs
- Add CONFIG_SERIAL_8250_PCI so that qemu's virtconsole works properly
- Add CONFIG_DMI and CONFIG_DMI_SYSFS so that SMBIOS credentials work
- Add CONFIG_IKCONFIG and CONFIG_IKCONFIG_PROC so we can read the
  current kernel config from /proc/config.gz
- Add CONFIG_IOSCHED_BFQ to get rid of a udev error on boot on Fedora
- Add CONFIG_HW_RANDOM_VIRTIO to get hw rng in qemu
- Add CONFIG_SECURITY_YAMA to get rid of warning from sysctl on boot
- Add CONFIG_VSOCKETS and CONFIG_VIRTIO_VSOCKETS to enable vsock support

mkosi: Make sure we always boot our built from source kernel

If we build a kernel from source, let's make sure it's always booted
by giving it a very high version number.

resolve: refuse mdns scope for ipv4 broadcast addresses

This query can never be answered, so let's no wait for it to timeout.

Merge pull request #27143 from bluca/no_tpm

cryptsetup: fix build without TPM2

Revert "mkosi: Drop python-docutils"

This reverts commit be266f49d6b7e3f021e2a07f937d39d1f14a283d.

Turns out we installed this because it's required by the bpf selftests
so let's keep it intact.

service: use newdup() where appropriate

Merge pull request #27137 from yuwata/id128-get-machine

sd-id128: introduce id128_get_machine() and _at()

various: simplify calls to parse_boolean_argument()

parse_boolean_argument() returns the same information via both the output
argument and normal return.

ci: do one build with no tpm/p11kit/fido2

We have some missing coverage in the CI, all builds enable these features,
but there are often changes and they cover a lot of code. Do one build
without them to ensure we don't break builds.

cryptsetup: fix build without TPM2

Follow-up for acbb504eaf1be51572b1c0d0d490ac478bc41c64

tpm2: fix nits from PR #26185

Fixes:
  - Comment style
  - Alignment style
  - cleanup macro usage
  - incorrect error message[1]

1. Thanks to tempusfugit991@gmail.com for pointing out the error
message mistake.

Signed-off-by: William Roberts <william.c.roberts@intel.com>

test/test-functions: fix typo in install_suse_systemd()

update TODO

As it turns out RuntimeDirectoryPreserve= already supports such a mode.

update TODO

execute: add one more assert()

Merge pull request #27128 from keszybz/sd-bus-docs-and-error-messages

Improvements to man pages for systemd.service, sd-bus, and better error messages

man: mention -o option for systemd-journal-remote

machine-id-setup: do not read host's machine ID when root directory is specified

If a root directory is specified, and e.g. /var under the root directory
is a symlink to the host's /var, then we wrongly read host's machine ID,
even if O_NOFOLLOW is set.

Let's chase the path with CHASE_NOFOLLOW to refuse such case.

Also, refuse null ID, otherwise we may setup machine ID with NULL.

machine-id-setup: use id128_get_machine() at one more place

discover-image: use id128_get_machine() at one more place

specifier: always convert missing machine-id file to EUNATCH

Then, use id128_get_machine().

nspawn: ignore NULL machine ID in the container

Previously, when the NULL (all zero) machine ID is configured in the
container, nspawn refused to execute.

Now id128_get_machine() is used, so NULL machine ID is refused with
-ENOMEDIUM, and fallback to specified UUID or randomly generated one.

repart: use id128_get_machine()

This also makes that the seed is actually randomized when the read
machine ID is NULL.

test: add tests for id128_get_machine() and _at()

sd-id128: introduce id128_get_machine() and id128_get_machine_at()

fd-util: introduce dir_fd_is_root_or_cwd()

test: add tests for ID128_REFUSE_NULL

sd-id128: introduce ID128_REFUSE_NULL flag