test: use flock when calling mkfs.btrfs

As stated in https://github.com/systemd/systemd/issues/21819#issuecomment-1064377645
`mkfs.btrfs` doesn't hold the lock for the whole duration of
`mkfs.btrfs`, thus causing unexpected races & test fails. Let's
wrap the `mkfs.btrfs` calls in an flock wrapper to mitigate this.

Hopefully fixes: #21819

Revert "test: temporary workaround for #21819"

This reverts commit 95e35511bbdb7810c00c2e4a6cbda5b187192f74.

udev: assume block device is not locked when a new event is queued

Then, hopefully, previously requeued events are processed earlier.

udev: split worker_lock_block_device() into two

This also makes return value initialized when these function return 0 to
follow our coding style.

Just a preparation for later commits.

udev: requeue event when the corresponding block device is locked by another process

Previously, if a block device is locked by another process, then the
corresponding worker skip to process the corresponding event, and does
not broadcast the uevent to libudev listners. This causes several issues:

- During a period of a device being locked by a process, if a user trigger
  an event with `udevadm trigger --settle`, then it never returned.

- When there is a delay between close and unlock in a process, then the
  synthesized events triggered by inotify may not be processed. This can
  happens easily by wrapping mkfs with flock. This causes severe issues
  e.g. new devlinks are not created, or old devlinks are not removed.

This commit makes events are requeued with a tiny delay when the corresponding
block devices are locked by other processes. With this way, the triggered
uevent may be delayed but is always processed by udevd. Hence, the above
issues can be solved. Also, it is not necessary to watch a block device
unconditionally when it is already locked. Hence, the logic is dropped.

udev: store action in struct Event

udev: introduce device_broadcast() helper function

udev: drop unnecessary clone of received sd-device object

As the sd-device object received through sd-device-monitor is sealed,
so the corresponding udev database or uevent file will not be read.

inotify-util: declare iterator in FOREACH_INOTIFY_EVENT()

This also makes the macro check if the event is actually in the buffer,
and if it is not, then log about that and finish the loop.

update NEWS

Fix typo and list all user session settings that now are documented
to work

update NEWS

Merge pull request #22855 from keszybz/test-68-reload-reload

TEST-68: replace daemon-reload with separate handler units

Merge pull request #22840 from poettering/efivars-tweaks

util-lib: efi variable access refactorings

NEWS: various tweaks

udev: try to reload selinux label database less frequently

Previously, `event_run()` was called repeatedly in one `event_queue_start()`
invocation. Hence, the SELinux label database is reloaded many times needlessly.
Other settings, e.g. udev rules or hwdata, are tried to be reloaded in the
beginning of `event_queue_start()`. Let's also do so for the SELinux database.

udev: assume there is no blocker when failed to check event dependencies

Previously, if udevd failed to resolve event dependency, the event is
ignored and libudev listeners did not receive the event. This is
inconsistent with the case when a worker failed to process a event,
in that case, the original uevent sent by the kernel is broadcasted to
listeners.

udev: only ignore ENOENT or friends which suggest the block device is not exist

The ENOENT, ENXIO, and ENODEV error can happen easily when a block
device appears and soon removed. So, it is reasonable to ignore the
error. But other errors should not occur here, and hence let's handle
them as critical.

errno-util: add ERRNO_IS_DEVICE_ABSENT() macro

Inspired by: https://github.com/systemd/systemd/pull/22717#discussion_r834254495

udev: remove /run/udev/queue in on_post()

When the last queued event is processed, information about subsequent
events may be already queued in the netlink socket of sd-device-monitor.
In that case, previously we once removed /run/udev/queue and touch the
file soon later, and `udevadm settle` mistakenly considered all events
are processed.

To mitigate such situation, this makes /run/udev/queue removed in on_post().

udev: use sd_event_source_disable_unref()

This should not change any behavior, as the event sources are not
shared. Just for safety.

udev: update comment and log message

efi-loader: split efi-api.[ch] from efi-loader.[ch]

Some refactoring: split efi-loader.[ch] in two: isolate the calls that
implement out boot loader interface spec, and those which implement
access to upstream UEFI firmware features.

They are quite different in nature and behaviour, and even semantically
it makes to keep these two separate. At the very least because the
previous name "efi-loader.[ch]" suggests all was about loader-specific
APIs, but much of it is generic uefi stuff...

While we are at it, I renamed a bunch of return parameters to follow our
usual ret_xyz naming. But besides renaming no real code changes.

efivars: define efi variable flags less weirdly

The flags are actually 32bit values, but aligned with zeroes befitting a
64bit value. Let's fix that.

efivarfs: rename a couple of return params to ret_xyz/ret

efivars: downgrade log level in systemd_efi_options_efivarfs_if_newer()

The only caller logs anyway, let's avoid duplicate logging above
LOG_DEBUG.

efivars: no need to convert ENOENT → ENODATA twice

read_efi_options_variable() already does this, don#t do it again.

efivars: tweak debug log message in efi_get_secure_boot_mode()

mention what we'll do as effect of the error we are seeing and eat up.

efivars: cache ENOENT as no efi secure boot

On systems lacking EFI or the SecureBoot efi var the caching of this
info didn#t work, since we'd see ENOENT when reading the var, and cache
that, which we then use as reason to retry next time.

Let's fix that and convert ENOENT to "secure boot", because that's what
it really means. All other errors are left as is (and reason to retry).
But let's add some debug logging for that case.

TEST-68: instead of calling daemon-reload, just use different cleanup units

On a very slow machine, things are executed out-of-order, and something
pins the previously-exited unit. Instead of fighting with this with daemon-reload,
let's just use a different cleanup unit.

Hopefully fixes #22755.

bpf-firewall: invert test

Following our coding style of exiting early (instead of deep nesting),
let's invert the if check here.

Inspired by: https://github.com/systemd/systemd/pull/21602#pullrequestreview-919960060

logind-user: log about the right unit

journal-remote: refuse to specify --trust option when gnutls is disabled

and check_permission() should not be called in that case.

Replaces #22847.

TEST-68: get rid of unnecessary descriptions

The name of the unit already says all, no need to duplicate this.
And the comments can easily get out of date, as they did.

cryptsetup: fix typo

update TODO

Merge pull request #22800 from poettering/safe-ptr-sub1

Add helper macro PTR_SUB1() to deal with backwards iteration through arrays without UB

network: do not enable IPv4 ACD for IPv4 link-local address if ACD is disabled explicitly

The commit 1cf4ed142d6c1e2b9dc6a0bc74b6a83ae30b0f8e makes the IPv4 ACD
enabled unconditionally for IPv4 link-local addresses even if users
explicitly disable ACD.

This makes the IPv4 ACD is enabled by default, but honor user setting.

Fixes #22763.

lgtm: disable cpp/missing-return (again)

It looks like the fix for https://github.com/github/codeql/issues/8409
is not yet in production (and the respective query needs to be enabled
in both the main and the PR branch to get results for it, hence why it
passed in #22837).

meson: Detect python instead of hard-coding python3

It allows to specify the desired python executable (and version) via
meson's native file if there are multiple versions available.

Revert "lgtm: disable cpp/missing-return"

This reverts commit 6f4bffb586dfb0ce8db4e02ccb7f076a45bca419.

Should be, hopefully, fixed by https://github.com/github/codeql/issues/8409.

dns-domain: use PTR_SUB1() macro

test: add tests for device id

sd-device: use path_find_last_component() to set driver subsystem

path-util: use PTR_SUB1() macro in path_find_last_component()

core/namespace: inline one more iterator variable

tree-wide: use PTR_SUB1() at two places where appropriate

doc: two markdown markup fixes

macro: add macro that simplifies going backwards through an array via pointers

Inspired by #22797, let's avoid some UB when iterating through arrays.

various: inline some iterator variables

doc: add a bunch of missing <br>

Merge pull request #22835 from keszybz/foreach_string-inline-iterator

Inline the iterator declaration in FOREACH_STRING

Merge pull request #22836 from poettering/more-build-image-docs

docs: more tweaks for the image building docs

update TODO

docs: extend BUILDING_IMAGES with a section about IMAGE_ID=/IMAGE_VERSION=

Also, beef up links everywhere.

docs: link up new image building docs a bit

docs: make man page links in markdown Links section use teletype font, as we usually do

systemctl: use the right name in error message

strv: declare iterator of FOREACH_STRING() in the loop

Same idea as 03677889f0ef42cdc534bf3b31265a054b20a354.

No functional change intended. The type of the iterator is generally changed to
be 'const char*' instead of 'char*'. Despite the type commonly used, modifying
the string was not allowed.

I adjusted the naming of some short variables for clarity and reduced the scope
of some variable declarations in code that was being touched anyway.

Merge pull request #22791 from keszybz/bootctl-invert-order

Invert order of entries w/o sort-key in sd-boot menu

Merge pull request #22629 from nishalkulkarni/oomd_service_result

core/oomd: Use oom-kill ServiceResult for oomd

sysupdate: fix error handling

NEWS: fix typo

boot: fix typo

fs-util: make sure openat_report_new() initializes return param also on shortcut

Our coding style dictates that return parameters should be initialized
always on success, hence do so here also in the shortcut codepath.

Issue discovered by @fbuihuu:

https://github.com/systemd/systemd/pull/22808/files/ca8503f168d0632c606110da909aba3057777395#r831911069

fs-util: fix typos in comments

meson: replace sh+find with an internal glob in the python helper

As suggested in https://github.com/systemd/systemd/pull/22810#discussion_r831708052

This makes the whole thing simpler. A glob is passed to helper which then resolves
it on its own. This way it's trivial to call the helper with a different
set of files for testing.

Merge pull request #22825 from keszybz/assorted-cleanups

Assorted cleanups

NEWS: adjust MONITOR_ env vars paragraph

This actually never shipped in a release, so it's not a backward-incompatible
change. Move it down and reword it.

NEWS: initial writeup for v251

Merge pull request #22821 from poettering/udev-tweaklets

Udev tweaklets

docs: add some docs about building OS images

It's not trivial to know what to reset how. Let's document this a bit.

homework: s/EWOULDBLOCK/EAGAIN/

C.f. 012d7b4217420163db5752a63da6cab39d25edf3, ff55c3c7327e6ad8ab139aef52d498386d4f4a72,
ca2031fcc863fcdd4dd1594709918cb60cfd0e1b.

errno-to-awk: simplify expression

No functional change.

sd-bus: use _cleanup_ in one more place

tools/dbus_exporter: deblackify and shorten code a bit

When we do mkdir, we should just use 0o777 and let the umask take care of the
rest. Specifying an explicit mode is inappropriate. And when touching the code,
let's replace black madness with normal python style.

man: clarify that options set the message fields and are not derived from them

Merge pull request #22778 from poettering/kernel-install-layout-rework

kernel-install/bootctl: layout fixes

man: Mention systemd-oomd now follows OOMPolicy

test/oomd: Add test for new oomd_ooms xattr

Check if `user.oomd_ooms` xattr is being set as part of `oomd_cgroup_kill()`
this xattr tracks OOM kills that were initiated by systemd-oomd.

core/oomd: Use oom-kill ServiceResult for oomd

To notify user of kill events from systemd-oomd we now use
`SERVICE_FAILURE_OOM_KILL` as the failure result.

`unit_check_oomd_kill` now calls `notify_cgroup_oom` to
update the service result to `oom-kill`.

We add a new xattr `user.oomd_ooms` to keep track of the OOM kills
initiated by systemd-oomd, this helps us resolve a race between sending
SIGKILL to processes and checking for OOM kill status from the xattr.

Related to: #20649

sd-device: use path_compare() rather than strcmp() for sorting paths

When sorting paths it actually matters to use the right comparison
function. Example:

```
a/x
a-b/y
a_/z
```

I think people would probably expect this:

```
a/x
a-b/y
a_a/z
```

but if you use strcmp() instead of path_compare() you'd instead get:

```
a-b/y
a/x
a_a/z
```

That's because `/` is between `-` and `a` in the ascii table. I think
that's quite confusing, and we shouldn#t order that way hence.

As discussed: https://github.com/systemd/systemd/pull/22662#discussion_r831174776

sd-device: fix trivial typo

Merge pull request #22662 from yuwata/udev-trigger-priority

udevadm trigger: add --prioritized-subsystem option

random-util: use correct minimum pool size constant

The actual minimum size of the pool across supported kernel versions is
32 bytes. So adjust this minimum.

I've audited every single usage of random_pool_size(), and cannot see
anywhere that this would have any impact at all on anything. We could
actually just not change the constant and everything would be fine, or
we could change it here and that's fine too. From both a functionality
and crypto perspective, it doesn't really seem to make a substantive
difference any which way, so long as the value is ≥32. However, it's
better to be correct and have the function do what it says, so clamp it
to the right minimum.

Merge pull request #22813 from poettering/sd-boot-man-fixes

man: some sd-boot doc tweaks

udevadm: trigger: implement --initialized-match/nomatch arguments

systemd-udev-trigger.service by default triggeres all devices regardless
of whether they were already recognized by systemd-udevd.

There are machines (especially in embedded environments) where
systemd-udev-trigger.service is configured to run at a later stage of
the boot sequence, which can lead to quite a lot of devices being
triggered although they were already recognized by systemd-udevd.

Re-triggering a lot of devices is a relatively expensive operation and
therefore should be avoided if unnecessary.

Therefore this patch introduces --initialized-nomatch, which filters out
devices that are already present in the udev database. For consistance
reasons --initialized-match is implemented as well, which filters out devices
that are *not* already present in the udev database.

Replaces #19949.

sd-device-enumerator: support to list only initialized or uninitialized devices

unit: make systemd-udev-trigger.service use --prioritized-subsystem

Replaces #19637 and #22643.

udevadm trigger: introduce --type=all option

udevadm trigger: introduce --prioritized-subsystem option

sd-device-enumerator: introduce device_enumerator_scan_devices_and_subsystems()

sd-device-enumerator: drop /sys/subsystem support

This addresses the comment by Lennart
https://github.com/systemd/systemd/pull/22662#discussion_r829799863:
> /sys/subsystem is preparation for a future that never came.
> And given that the main proponent of this left Linux kernel
> development (Kay), I doubt this will ever come. So maybe we
> should start dropping references to /sys/subsystem/ given it's
> unlikely to materialize anytime soon.

sd-device-enumerator: introduce device_enumerator_add_prioritized_subsystem()

If a subsystem is specified, then matching devices and their parents are
listed at first.

sd-device-enumerator: introduce device_enumerator_sort_devices()

and devices are sorted when the iteration started.

Previously, devices added by udev_enumerate_add_syspath() ->
device_enumerator_add_device() are not sorted. This fixes the issue.

sd-device-enumerator: introduce device_enumerator_unref_devices() helper function

sd-device-enumerator: introduce sound_device_compare() and devpath_is_late_block() helper functions

kernel-install: check for /loader/entries.srel file as explicit marker for standards compliant /loader/entries directory

bootctl: automatically write out $BOOT/entries/standard.srel

bootctl: generalize open_tmpfile_linkable() use a bit

We want FILE* here, instead of a plain fd. Let's generalize this in
tmpfile-util.c, so we can reuse it later easily.

docs: add /loader/entries.srel to the boot loader spec

This new file is supposed to address conflicts with Fedora/Grub's
frankenbootloaderspec implementation, that squatted the /loader/entries/
dir, but place incompatible files in them (that do variable expansion?).

A simple text file /loader/entries.srel shall indicate which spec is
implemented. If it contains the string "type1\n" then the
/loader/entries/ directory implements our standard spec, otherwise
something else.