test: clean up the test script even further

Most notably:
  - use `systemd-id128 new` instead of `journalctl --new-id128`
  - move all temporary files to /tmp
  - wrap repetitive checks in a function

test: vacuum the journal after the "stress test"

To make the rest of the test significantly faster.

test: slightly extend checks on corrupted journals

test: further extend our collection of corrupted journals

And make adding them slightly easier.

Provides coverage for b5335da7a5.

Merge pull request #27504 from mrc0mmand/fuzz-manager-serialize

test: add a simple fuzzer for manager serialization

shared: reject empty attachment path

shared: ignore invalid valink socket fd when deserializing

core: fix NULL pointer dereference during deserialization

test: add a simple fuzzer for manager serialization

Merge pull request #27499 from yuwata/sd-journal-fix-loop

sd-journal: check .next_entry_array_offset earlier

Revert "sd-journal: introduce simple loop detection for entry array objects"

This reverts commit a8fbcc0e3c033a43e511550052cace6b0dcf3df7.

The commit is not necessary, as the invalid entry array object is
filtered earlier by the previous commit.

sd-journal: check .next_entry_array_offset earlier

Then, if it is invalid, refuse to use the entry array object.

Follow-up for a8fbcc0e3c033a43e511550052cace6b0dcf3df7.
Fixes #27489.

boot: Use correct memory type for allocations

We were using the wrong memory type when allocating pool memory. This
does not seem to cause a problem on x86, but the kernel will fail to
boot at least on ARM in QEMU.

This is caused by mixing different allocation types which ended up
breaking the kernel or EDK2 during boot services exit. Commit
2f3c3b0bee5534f2338439f04b0aa517479f8b76 appears to fix this boot
failure because it was replacing the gnu-efi xpool_print with xasprintf
thereby unifying the allocation type.
But this same issue can also happen without this fix somehow when the
random-seed logic is in use.

Fixes: #27371

core: check for SERVICE_RELOAD_NOTIFY in manager_dbus_is_running

This ensures that systemd won't erronously disconnect from the system
bus in case a bus recheck is triggered immediately after the bus service
emits `RELOADING=1`.

This fixes an issue where systemd-logind sometimes randomly stops
receiving `UnitRemoved` after a system update.

This also handles SERVICE_RELOAD_SIGNAL just in case somebody ever
creates a D-Bus broker implementation that uses `Type=notify-reload`.

journal: handle EADDRNOTAVAIL in two more cases gracefully

Follow-up for #27488.

Merge pull request #27493 from poettering/generate-sym-test-tweaks

fixes/additions for generate-sym-test

Merge pull request #27492 from poettering/base-filesystem-000

base-filesystem: create /proc, /sys, /dev mount points as 555

generators: skip private tmpfs if /tmp does not exist

When spawning generators within a sandbox we want a private /tmp, but it
might not exist, and on some systems we might be unable to create it
because users want a BTRFS subvolume instead.

Fixes https://github.com/systemd/systemd/issues/27436

tree-wide: Handle EADDRNOTAVAIL as journal corruption

Journal corruption is not only indicated by EBADMSG but also by
EADDRNOTAVAIL so treat that as corruption in a few more cases.

mount-setup: use size_t when iterating through array indexes

base-filesystem: create /proc, /sys, /dev mount points as 0555

These inodes are going to be overmounted anyway, hence let's create them
with access mode 555, so that they are as close to being immutable as
regular UNIX access modes allow them to be. In other words: this takes
the "w" mode away for root. This of course usually has little effect --
unless CAP_DAC_OVERRIDE is dropped. But at the very least it makes the
point clear that inodes should be considered immutable.

(I intended to make this 0000 originally, but that doesn't work, as many
tools – including our own – have fallback paths that when they see
ENOENT in /proc/ they can handle this gracefully. But changing the mode
to 000 would turn this to EACCES - something they usually have no
fallback path for)

generate-sym-test: only look in .c and .h files

Otherwise it might find backup files and such, which triggered all kinds
of false positives (at least on my devel machine).

generate-sym-test: search for missing symbols

This slightly extends the symbol file test and checks which symbols are
listed in one list but missing in the other. This is tremendously useful
to quickly determine which symbols wheren't exposed properly but should
have been.

(This is is implemented in pure C, no systemd helpers, to ensure we see
libsystemd.so API as any other tool would.)

docs: add correct `pacman` command (#27486)

The `pacman` command in order to install packages on Arch in the documentation is invalid.
This PR fixes the command.

test: replace sleep with timeout

If the test environment is too slow, then sleeping 2 seconds may not be
sufficient.

Merge pull request #27455 from yuwata/test-lib-sym

test: check all public functions are listed in .sym file

Merge pull request #27442 from DaanDeMeyer/presets

mkosi: Switch to use mkosi presets with prebuilt initrds

test-network: add workaround for bug in iproute2 v6.2.0

Closes #27473.

stub: Relocate kernels below 4G for EFI handover

Old kernels can fail to boot when they are located above the 4G
boundary even if they claim to support it.

Fixes: #27472

boot: Fix EFI_SIZE_TO_PAGES macro

mkosi: Switch to use mkosi presets with prebuilt initrds

Instead of building the initrds for the mkosi images with dracut,
let's switch to using mkosi presets to build the initrd with mkosi
as well.

This commit splits up our single image build into three separate
mkosi presets:

1. The "base" preset. This image contains systemd and all its runtime
dependencies. The sole purpose of this image is to serve as a base image
for the initrd and the final image. It's also responsible for building
systemd from source with the build script. The results are installed into
the base image. Note that we install the systemd and udev packages into this
image as well to prevent package managers from overriding the systemd we built
from source with the distro packaged systemd if it's pulled in as a dependency
by another package from the initrd or final profiles.
2. The "initrd" preset. This image provides the initrd. It's trivial and does
nothing more than packaging the base image up as a zstd compressed initramfs and
adds /init and /etc/initrd-release symlinks to the image.
3. The "final" preset. This image builds on top of the base image and adds
a kernel and extra packages that are useful for testing and debugging.

We also split out the optional kernel build into a separate set of config files
that are only included if a kernel to build is actually provided.

Note that this commit doesn't really change anything about how mkosi is used.
The commands remain the same, except that mkosi will now build all the presets
in order. "mkosi summary" will show the summary of all the presets. "mkosi qemu,
boot, shell" will always boot the final preset. With "-f", all presets will be
built and the final one is booted. "-i" makes a cache of each preset.

The only thing to keep in mind is that specifying config via the mkosi CLI will
apply to each of the presets. e.g. any extra packages added with "-p" will be
installed in both the initrd and the final image. To apply local configuration
to a single preset, create a file 00-local.conf in
mkosi.presets/<profile>/mkosi.conf.d and put all the preset specific configuration
in there.

meson: Search for find program

find is required by a few of the unit tests so let's make sure its
available when configuring the build.

meson: Search for diff program

diff is required by a few of the unit tests so let's make sure its
available when configuring the build.

Merge pull request #27458 from mrc0mmand/test-corrupted-journals

test: test journalctl with corrupted journals

test: test journalctl with corrupted journals

Last month I monkey-patched journald to produce a small (64K) but valid
journal and used that as an input to four AFL fuzzers. After a month it
generated quite a nice corpora (4738 test cases) and after filtering
and minimizing it I was left with 619 unique journals with various
levels of corruption that probe the journal code.

It seems to detect past issues like systemd#26567, etc.

test: clean up the test script a bit

sd-journal: introduce simple loop detection for entry array objects

If .next_entry_array_offset points to one of the previous entry or the
self entry, then the loop for entry array objects may run infinitely.
Let's assume that the offsets of each entry array object are in
increasing order, and check that in loop.

Fixes #27470.

test: also test all _public_ functions are listed in .sym files

Co-authored-by: Frantisek Sumsal <frantisek@sumsal.cz>

sd-journal: tighten variable scope

sd-journal: read entry array object again

Otherwise, the object may be invalidated by the previous call of
journal_file_move_to_object().

sd-journal: check validity of object type more strictly

Otherwise, the object with invalid type may pass check_object_header()
when the requested type is OBJECT_UNUSED.

sd-journal: add _OBJECT_TYPE_INVALID as usual

sd-journal: align table

sd-journal: check that the journal file is not stored in .newest_by_boot_id on free

sd-journal: unset prioq index on failure

Otherwise, potentially, the assertion in
journal_file_unlink_newest_by_bood_id() will be triggered.

sd-journal: fix use-after-free

As commented in the code, we need to replace the pointer to the key,
hence, hashmap_replace() must be used, instead of hashmap_update().

Fixes #27459.

tpm2: move openssl-required ifdef code out of policy-building function

hwdb: add hardware rfkill key for Dell Latitude E6* models (#27462)

Hello

This pull req is adapting pull req #5772 (which fixed issue #5047), for the very similar computer Dell Latitude E6420 which has the same problem with the hardware switch to toggle wifi (aka rfkill). The symptom is the following repeated msgs in dmesg

[  309.010284] atkbd serio0: Use 'setkeycodes e008 <keycode>' to make it known.
[  309.016020] atkbd serio0: Unknown key pressed (translated set 2, code 0x88 on isa0060/serio0).

Adding this line to include E6 models causes these messages to stop showing in dmesg

Thank you

man: clarify RoutingPolicyRule.TypeOfService docs

Merge pull request #27461 from bluca/coredumpctl_completion

coredumpctl: fix bash completion

coredumpctl: add --file/--root/--image to bash completion

coredumpctl: fix bash completion matching

When multi-word matching string is quoted, __contains_word compares
it as a whole to the passed option, so it doesn't work.

test: make sure the test units have a `test-` prefix

So when collecting coverage the test-.service dropin works as
expected.

Follow-up to 969f5f3cea.

test: match all messages with the FILE field

As the systemd-pstore process is quite short lived, it might sometimes
lack the necessary metadata to make matching against a unit or a syslog
tag work. Since we already use a cursor file to make the matching window
small as possible, let's just drop the unit match completely and hope
for the best.

Resolves: #27453

libsystemd: add missing _public_ attributes

libsystemd: drop _public_ attribute for non-exported functions

Merge pull request #27451 from yuwata/core-path-trigger-notify

core/path: do not install new job in .trigger_notify()

missing_fs: also define struct file_clone_range

Follow-up for b640e274a7c363a2b6394c9dce5671d9404d2e2a.

Addresses https://github.com/systemd/systemd/commit/b640e274a7c363a2b6394c9dce5671d9404d2e2a#r110996661.

test: add tests for "systemctl stop" vs triggering by path unit

test: create temporary units under /run

core/path: do not enqueue new job in .trigger_notify callback

Otherwise,
1. X.path triggered X.service, and the service has waiting start job,
2. systemctl stop X.service
3. the waiting start job is cancelled to install new stop job,
4. path_trigger_notify() is called, and may reinstall new start job,
5. the stop job cannot be installed, and triggeres assertion.

So, instead, let's add a defer event source, then enqueue the new start
job after the stop (or any other type) job finished.

Fixes https://github.com/systemd/systemd/issues/24577#issuecomment-1522628906.

core/path: align table

pid1: unify implemenation of /run/ disk space safety check a bit

reload/reexec currently used a separate implementation of the /run/ disk
space check, different from the one used for switch-root, even though
the code is mostly the same. The one difference is that the former
checks are authoritative, the latter are just informational (that's
because refusing a reload/reexec is relatively benign, but refusing a
switch-root quite troublesome, since this code is entered when it's
already "too late" to turn turn back, i.e. when the preparatory
transaction to initiate the switch root are already fully executed.

Let's share some code, and unify codepaths.

(This is preparation for later addition of a "userspace reboot" concept)

No change in behaviour, just refactoring.

core/systemctl: when switching root default to /sysroot/

We hardcode the path the initrd uses to prepare the final mount point at
so many places, let's also imply it in "systemctl switch-root" if not
specified.

This adds the fallback both to systemctl and to PID 1 (this is because
both to — different – checks on the path).

libsystemd: Add missing memory pressure functions to public symbols

Merge pull request #27445 from poettering/reflink-fix

remove duplication reflink ioctl invocation

systemctl: rework 'if' to 'switch' statement

Merge pull request #27437 from mrc0mmand/pstore

test: add a couple of tests for systemd-pstore

copy: shortcut reflink_range() to reflink() in some cases

copy: don't call clone ioctls twice

The btrfs name and the generic name have the same values, hence there's
no point in bothering with the former.

test: add a couple of tests for systemd-pstore

Merge pull request #27440 from yuwata/reflink-follow-ups

copy: follow ups for reflink()

pstore: avoid opening the dmesg.txt file if not requested

Even with Storage=journal we would still attempt to open the final
dmesg.txt file which causes a lot of noise in the journal:

```
[    5.764111] H testsuite-82.sh[658]: + systemctl start systemd-pstore
[    5.806385] H systemd[1]: Starting modprobe@efi_pstore.service...
[    5.808656] H systemd[1]: modprobe@efi_pstore.service: Deactivated successfully.
[    5.808971] H systemd[1]: Finished modprobe@efi_pstore.service.
[    5.818845] H kernel: audit: type=1130 audit(1682630623.637:114): pid=1 uid=0 auid=4294967295 ses=4294967295 subj=kernel msg='unit=modprobe@efi_pstore comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? termin>
[    5.818865] H kernel: audit: type=1131 audit(1682630623.637:115): pid=1 uid=0 auid=4294967295 ses=4294967295 subj=kernel msg='unit=modprobe@efi_pstore comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? termin>
[    5.816052] H systemd[1]: Starting systemd-pstore.service...
[    5.840703] H systemd-pstore[806]: PStore dmesg-efi-168263062313014.
[    5.841239] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.841428] H systemd-pstore[806]: PStore dmesg-efi-168263062312014.
[    5.841575] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.841712] H systemd-pstore[806]: PStore dmesg-efi-168263062311014.
[    5.841839] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.841989] H systemd-pstore[806]: PStore dmesg-efi-168263062310014.
[    5.842141] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.842274] H systemd-pstore[806]: PStore dmesg-efi-168263062309014.
[    5.842423] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.842589] H systemd-pstore[806]: PStore dmesg-efi-168263062308014.
[    5.842722] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.842865] H systemd-pstore[806]: PStore dmesg-efi-168263062307014.
[    5.843003] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.843153] H systemd-pstore[806]: PStore dmesg-efi-168263062306014.
[    5.843280] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.843434] H systemd-pstore[806]: PStore dmesg-efi-168263062305014.
[    5.843570] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.843702] H systemd-pstore[806]: PStore dmesg-efi-168263062304014.
[    5.843831] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.843958] H systemd-pstore[806]: PStore dmesg-efi-168263062303014.
[    5.844093] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.844250] H systemd-pstore[806]: PStore dmesg-efi-168263062302014.
[    5.844412] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.844619] H systemd-pstore[806]: PStore dmesg-efi-168263062301014.
[    5.844781] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.844956] H systemd-pstore[806]: PStore dmesg-efi-168263062300014.
[    5.845168] H systemd-pstore[806]: Failed to open file /var/lib/systemd/pstore/1682630623/014/dmesg.txt: Operation not permitted
[    5.851101] H systemd[1]: Finished systemd-pstore.service.
```

network-generator: shorten code a bit

Merge pull request #27424 from dtardon/auto-cleanup

More automatic cleanup

pstore: explicitly set the base when converting record ID

logind-session-dbus: use _cleanup_

logind-session-device: modernize session_device_free()

homed-manager-bus: use _cleanup_

transaction: make transaction_free() static

... as it's not needed outside transaction.c anymore.

manager: use _cleanup_ in manager_propagate_reload()

manager: use _cleanup_ in manager_add_job()

transaction: introduce transaction_abort_and_free()

Will be used in following commits.

missing_fs: mention commit hash and version of ioctl commands introduced

copy: rename reflink_full() -> reflink_range()

The commit b640e274a7c363a2b6394c9dce5671d9404d2e2a introduced reflink()
and reflink_full(). We usually name function xyz_full() for fully
parameterized version of xyz(), and xyz() is typically a inline alias of
xyz_full(). But in this case, reflink() and reflink_full() call
different ioctl().
Moreover, reflink_full() does partial reflink, while reflink() does full
file reflink. That's super confusing.
Let's rename reflink_full() to reflink_range(), the new name is
consistent with ioctl name, and should be fine.

xdg-autostart-service: handle gnome autostart phase better on other desktops

Autostart files which contain the line gnome-autostart-phase are currently
completely skipped by systemd. This is because these are handled internally by
gnome startup through other means.

The problem is a number of desktop files that need to run on KDE too have this
flag set. Ideally they should just create systemd user units, but we're not at
this point universally yet.

This patch changes the logic so if the flag is set, we set NotShowIn-gnome,
which in turn would just not load decided at runtime.

As an optimisation if we would get conflicting OnlyShowIn lines we still
skip the file completely.

Example:
  $ rg 'Exec|Autostart-Phase' /etc/xdg/autostart/gnome-keyring-pkcs11.desktop
  Exec=/usr/bin/gnome-keyring-daemon --start --components=pkcs11
  X-GNOME-Autostart-Phase=PreDisplayServer

  $ cat '/tmp/xxx/app-gnome\x2dkeyring\x2dpkcs11@autostart.service'
  # Automatically generated by systemd-xdg-autostart-generator
  [Unit]
  SourcePath=/etc/xdg/autostart/gnome-keyring-pkcs11.desktop
  ...
  [Service]
  ...
  ExecCondition=/usr/lib/systemd/systemd-xdg-autostart-condition "Unity:MATE" "GNOME"

Co-authored-by: Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl>

copy: Introduce reflink() and reflink_full()

The kernel has had filesystem independent reflink ioctls for a
while now, let's try to use them and fall back to the btrfs specific
ones if they're not supported.

transaction: modernize transaction_free()

initctl: use _cleanup_

initctl: add assert

specifier: use _cleanup_

path-util: use _cleanup_

logind: rename function to avoid confusion

logind-core: drop unneeded check for NULL

logind-core: modernize button_free()

env-util: use more _cleanup_ in replace_env_argv()

env-util: use _cleanup_ in replace_env_argv()

env-util: rename variable

env-util: use _cleanup_ in strv_env_delete()

Merge pull request #27346 from poettering/pam-fixes

pam-systemd: be more careful with sharing bus connections