loop-util: work around cache invalidation bug in older kernels

Inspired by the discussions in #21003.

Inspired in particular by what Android apexd does:

https://android.googlesource.com/platform/system/apex/+/refs/heads/master/apexd/apexd_loop.cpp

loop-util: enable LO_FLAGS_DIRECT_IO by default on loopback devices

Fixes: #21003

Merge pull request #20905 from medhefgo/boot-cleanup

sd-boot: Code cleanups

Merge pull request #20988 from DaanDeMeyer/rotate-reason

journal: Improve rotation logging

Merge pull request #21037 from yuwata/network-dhcp6-pd-simplify-distribute

network: dhcp6-pd: simplify dhcp6_pd_prefix_distribute()

Merge pull request #21036 from yuwata/network-dhcp6-pd-manage-prefix-with-hashmap

network: dhcp6-pd: manage prefix with hashmap

utmp: remove /dev from line

utmp(5) says `ut_line` is the device name minus the leading "/dev/". Therefore,
remove it. Without that, when using UtmpMode=user, we get `/dev/tty` in the
output of `last`/`w`.

Merge pull request #21038 from yuwata/network-dhcp6-pd-fix-address-check

network: dhcp6-pd: fix address check

network: neighbor: fix log message

meson: use partial_dependency() to get include directory

Getting the variable directly from pkg-config (without
adding the sysroot prefix) is prone to host contamination
when building in sysroots as the compiler starts looking for the
headers on the host in addition to the sysroot.

Signed-off-by: Alexander Kanavin <alex@linutronix.de>

tree-wide: use AF_NETLINK instead of PF_NETLINK

Merge pull request #21034 from poettering/homed-password-cache-tweaks

homed: minor tweaks to the PasswordCache logic

Merge pull request #21028 from poettering/watchdog-fixlets

pid1: various small watchdog tweaks and fixes

homework: move allocation/destruction into outer/generic scope

Previously in most cases we'd allocate the HomeSetup context object
in generic code in homework.c. But for some cases we allocated them
instead inside the specific code in homework-{cifs,directory,luks}.c
Let's clean that up, and systematically allocate it in the outer
"entrypoint" calls in homework.c instead of the inner ones.

This doesn't change much in behaviour (i.e. it just means when something
fails we'll now clean it up one stack frame further up). But it will
allow is to more easily work with the context objects, since we'll have
them around in all stack frames.

homework: unify code that opens the backing image file in open_image_file()

Also, reuse an already opened image file if we have one.

network: dhcp6: use IPv6 specific functions

network: dhcp6: manage assigned downstream prefixes by using Hashmap

When a system has thousands of downstream interfaces, previously the
total cost of finding free subnet ID was O(n^2), where n is the number
of downstream interfaces.

This makes assigned prefixes are managed by Manager with Hashmap. So,
the cost becomes O(n log n).

network: dhcp6: shorten code a bit

network: dhcp6: always assign prefix through dhcp6_pd_assign_prefix()

For uplink interface, we request Assign= is enabled in the above.
So, we can always use dhcp6_pd_assign_prefix().

Just a minor simplification for later commits.

network: dhcp6pd: check if address is ready only when Assign=yes

network: add missing DHCPv6PD address check

journal: Expand rotate log messages in journald

Make sure we always log when we rotate journals and always do so at
least at INFO log level. Doing so we make sure there's always a clear
reason available explaining why we rotated a journal.

journal: Add two more log messages to journal_file_rotate_suggested()

This ensures every reason for rotation has an associated log message.

docs: Fix value for "processId" in HACKING doc

This needs to be pickRemoteProcess to make sure the UI shows
the PIDs of processes in the mkosi container instead of processes
on the host system.

homework: mae sure PasswordCache is really optional

It was supposed to be optional (i.e. there's a reason why we never
assert()ed on it), and in many codepaths it is, let's make sure it is
everywhere.

homework: make PasswordCache const wherever we can

journal: Add log level argument to journal_file_rotate_suggested()

When journald is rotating a file, we'd like to log the reason at
LOG_INFO or higher instead of LOG_DEBUG. For journalctl --header,
logging the reason at a level higher than LOG_DEBUG doesn't really
make sense. To accomodate both use cases, make the log level used
by journal_file_rotate_suggested() configurable.

Merge pull request #21026 from keszybz/licensing-info-for-generated-files

Licensing info for generated files

watchdog: fix fd validity check

watchdog: drop unnecessary variable

watchdog: always prefer /dev/watchdog0 over /dev/watchdog

watchdog: fix error code handling

docs: mark spdx headers with the default license to website files

Those were added in b41a3f66c97e3d861faed04b727daf929383b827 without
an explicit license, so they are under the default license. Some files
already got a header previously, so this only touches the remaining.

The same should be done for docs/_data/extra_pages.json, but it's json, and
json doesn't allow comments.

licensing: add a license file for the fonts we carry

fuzz-fido-id-desc: drop unused case file

It wasn't picked up automatically because it's not in
test/fuzz/fuzz-fido-id-desc/. But looking at the contents, it doesn't seem to
be in the expected input format either.

TEST-06-SELINUX: add the usual spdx license header to policy files

gitattributes: introduce and use "generated" attribute

I want to mark some files to be ignored for licensing purposes,
e.g. output from fuzzers and other samples. By using the gitattribute
machinery for this we don't need to design a custom protocol:

$ git check-attr generated test/test-sysusers/unhappy-*
test/test-sysusers/unhappy-1.expected-err: generated: set
test/test-sysusers/unhappy-1.input: generated: unspecified
test/test-sysusers/unhappy-2.expected-err: generated: set
test/test-sysusers/unhappy-2.input: generated: unspecified
test/test-sysusers/unhappy-3.expected-err: generated: set
test/test-sysusers/unhappy-3.input: generated: unspecified

gitattributes: mark more files as "binary"

This way we know that we shouldn't look for a spdx header in them.

tests: use !/usr/bin/env bash consistently

This adjustment was last done in f96bc66901ecbcf7ecb280d9442fd0cc92e67186,
but it seems some files were missed and some were added later.

tests: add spdx headers to scripts and Makefiles

tests: add spdx license header to test unit/link/network/conf files

Those are all consumed by our parser, so they all support comments.
I was considering whether they should have a license header at all,
but in the end I decided to add it because those files are often created
by copying parts of real unit files. And if the real ones have a license,
then those might as well. It's easier to add it than to make an exception.

bpf: fix SPDX short identifier for LGPL-2.1-or-later

licensing: add two missing spdx headers

Both files were developed in our tree, so they are under the default license.

gitattributes: mark fuzz inputs that are pure binary as such

We also have a bunch of files that have some bytes and a lot
of text, like the journal export format. For those, it is still quite
useful when the tools try to diff them, so let's not mark those.

homed: replace "already_activated" boolean parameter by a flags value

This is mostly preparation for further defined flags to be added in
later PRs/commits.

No change in behaviour just the flagsification.

macro: Move ALIGN_TO to macro-fundamental.h and introduce CONST_ALIGN_TO

sd-boot: Require gnu-efi 3.0.5

This version is from 2017 and should be stale enough to not cause
an outrage. All the relevant distros have it or a newer version.

We also already depend on some symbols defined in 3.0.5 anyway,
so let's take the opportunity to reduce our missing_efi.h
baggage.

sd-boot: Get rid of uefi_call_wrapper

The uefi_call_wrapper exists to convert to the right calling convention
and presumably predates compilers that can do so natively. The only
architecture where this is even needed is x86_64.
But because we are building with GNU_EFI_USE_MS_ABI defined, the
EFIAPI macro tells the compiler to use the right calling convention
for EFI functions. Our shim callback (which is called by EFI itself)
already relies on this.

This also adds a safety check to make se we are compiling with
GNU_EFI_USE_MS_ABI defined and also adds it to the compiler args
unconditionally. It is only used with x86_64 anyways, so it should
be fine to do so. EFI_FUNCTION_WRAPPER is unused in gnu-efi, so
it is dropped.

sd-boot: Convert VOID -> void

We are already using void in several places and having a screaming
typedef for void feels pointless. There are also CONST, IN, OUT
and OPTIONAL which we aren't using either.

This leaves missing_efi.h to keep it in line with how they are
defined in gnu-efi and/or the specs.

sd-boot: Rework print_status()

A little helper function and some unusual formatting makes this
whole thing a lot easier on the eyes. Also, right-aligning the
properties for better readability at runtime.

sd-boot: Rearm the watchdog in console_key_read

Let's not disable the watchdog at all and instead rearm it inside
of console_key_read(). This way, we are covered by the watchdog everywhere.

sd-boot: Check for OOM in some places

Merge pull request #21013 from mxre/feature/stub-dtb

[sd-stub] add support for embedding devicetree

Merge pull request #21023 from poettering/home-prepare-rename

homed: rename some functions

homed: rename home_setup_undo() → home_setup_done()

This function is a destructor, hence it should be named like one.

(We usually use xyz_free() for a destructor that frees the object passed
itself. xyz_unref() we typically use for destructors that are similar,
but ref counted. xyz_done() usually is used for destructors which free
the members of an object, but not the object itself – to allow stack
allocation of objects. We don't strictly follow this, but it's good to
stick to rules wherever we can.)

No actual code change, just renaming.

homed: rename home_prepare*() → home_setup*()

These set of functions are constructors for an object called HomeSetup,
which has a destructor home_setup_undo(), hence to be reasonably
symmetric, let's call it home_setup*() too, instead of using a new verb
"prepare" for its name.

No actual code changes, just some renaming.

po: add a false positive to POTFILES.skip

[st-stub] documenting the .dtb section

homework: reuse home_validate_update_luks() at one more place

We have the same code at two places, let's reuse it. Given the more
generic scope let's rename the function home_get_state() since it
retrieve the current setup state of the LUKS logic.

homework: remove duplicate error logging when doing ext4 resizes

homework: let's simply some code via erase_and_free()

homed,shutdown: call valgrind magic after LOOP_GET_STATUS64

valgrind doesn't understand LOOP_GET_STATUS64. We already work around
this in various placed, via VALGRIND_MAKE_MEM_DEFINE(), but we forgot
three places. Let's fix that.

userdb: fix type to pass to connect()

Fixes https://github.com/systemd/systemd/pull/20613#issuecomment-944621275.

[sd-stub] add support for embedding devicetree

Merge pull request #20902 from tasleson/integritysetup-generator

Add stand-alone dm integrity support

homework: only do image locks for regular image files

If an image file is actually a block device taking a lock on it doesn't
really make sense for us: it will interfere with udev's block device
probing logic, and it's not going to propagated across the network
anyway (which is what we are after here). Hence simply don't do it.

Follow-up for 2aaf565a2da8eb0ea9adf84028c9d0ab7a90e53e

homework: don't bother with BLKRRPART on images that aren't block devices

We currently call this ioctl even if we are backed by a regular file,
which is actually the common case. While this doesn't really hurt, it
does result in very confusing logs.

Add stand-alone dm-integrity support

This adds support for dm integrity targets and an associated
/etc/integritytab file which is required as the dm integrity device
super block doesn't include all of the required metadata to bring up
the device correctly.  See integritytab man page for details.

Merge pull request #20983 from mxre/feature/aarch64

[sd-stub] Add support for aarch64 booting via pe-entry point

Merge pull request #20980 from bluca/compat_readme

docs: add guidelines w.r.t. compatibility to docs/CONTRIBUTING.md

Merge pull request #20996 from yuwata/udevadm-trigger-debug

test: show debug and verbose message

unit: networkd does not require AF_ALG anymore

As khash is retired.

dm-verity: Remove usage of integrity

There is a difference between dm-verity and dm-integrity.  Remove
usage of integrity from verity documentation in man pages and
target files.

Merge pull request #21001 from poettering/alloca-safe

honour ALLOCA_MAX limit on all alloca() allocations, not just some

homework: fix incorrect error variable use

Merge pull request #21006 from DaanDeMeyer/mkosi-ordering

mkosi: Add number prefixes to per-distro files for easier overriding

doc: document that alloca_safe() and friends are the APIs to use

alloc-util: add strdupa_safe() + strndupa_safe() and use it everywhere

Let's define two helpers strdupa_safe() + strndupa_safe() which do the
same as their non-safe counterparts, except that they abort if called
with allocations larger than ALLOCA_MAX.

This should ensure that all our alloca() based allocations are subject
to this limit.

afaics glibc offers three alloca() based APIs: alloca() itself,
strndupa() + strdupa(). With this we have now replacements for all of
them, that take the limit into account.

journal: drop unnecessary +1 in newa() expression

newa() does this internally anyway, no need to do this explicitly.

tree-wide: port all calls to alloca() to alloca_safe()

alloca-util: drop two unnecessary casts

memset() already returns void*, no need to cast it to that.

alloc-util: introduce new helper alloca_safe()

This is like alloca(), but does two things:

1. Verifies the allocation is smaller than ALLOCA_MAX
2. Ensures we allocate at least one byte

This was previously done manually in all invocations. This adds a handy
helper that does that implicitly.

cgroup: when checking for legacy controllers, ignore any we don't care about

Ignore local files in subdirectories of mkosi.default.d/ as well

mkosi: Add number prefixes to per-distro files for easier overriding

This allows developers to add override files to override per-distro settings.

virt: Support detection for ARM64 Hyper-V guests

The detection of Microsoft Hyper-V VMs is done by cpuid currently,
however there is no cpuid on ARM64. And since ARM64 is now a supported
architecture for Microsoft Hyper-V guests[1], then use DMI tables to
detect a Hyper-V guest, which is more generic and works for ARM64.

[1]: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=7aff79e297ee1aa0126924921fd87a4ae59d2467

Merge pull request #21002 from poettering/watchdog-off

minor tweaks to watchdog configuration logic

[sd-stub] Add support for aarch64 booting via pe-entry point

man: document new systemd.watchdog_sec= kernel cmdline option

Follow-up for: b3aa73e4de614c06c4a27e5635967a0392654fbc

man: document new "off" setting for systemd-system.conf watchdog settings

core: allow "off" as special watchdog time to be specified

Right now we already understand "default" as special string for enabling
the watchdog but not reconfiguring its timeout (it is internally mapped
to USEC_MAX). To be systematic this adds "off" as special string for
disabling the watchdog logic (it is internally mapped to 0, which is how
this behaviour was previously requested).

Merge pull request #20787 from fbuihuu/watchdog-more-rework

Watchdog more rework

core/bpf-firewall: add missing oom check

Fixes CID#1464627.

watchdog: rename special string "infinity" taken by the watchdog timeout options to "default"

watchdog: handle timeout programming errors more safely

If an error happened while the timeout value was being programmed, the error
was ignored and the watchdog module used the new timeout value whereas the
watchdog device was left with the previous one.

Now in cases of error, the device is now disabled and closed if it wasn't
opened already otherwise the previous timeout value is kept so the device is
still pinged at correct intervals.

core: introduce systemd.watchdog_sec=<sec> option

watchdog: update the documentation

While at it, split the watchdog section into a few paragraphs to make it easier
to read as it becomes lengthy.

watchdog: passing 0 to watchdog_setup now closes the watchdog

Passing 0 meant "disable the watchdog although still kept it opened". However
this case didn't seem to be useful especially since PID1 closes the device if
it is passed the nul timeout.

Hence let's change the meaning of watchdog_setup(0) to match PID1's behavior
which allows to simplify the code a bit.

Hence this patch also drops enable_watchdog().

watchdog: pass USEC_INFINITY to watchdog_setup() to reuse the programmed timeout value

This patch changes the meaning of USEC_INFINITY value for the watchdog
module.

Previously passing this value was a NOP. It now has a special meaning: it
requests the watchdog module to read the programmed timeout value and reuse it
for pinging the device.

This is mostly useful when the watchdog is started by the firmware and there's
no way to reconfigure the timeout with a different value
afterwards. "RuntimeWatchdogSec=infinity" in system.conf can now be used rather
than putting an arbitrary value that PID1 will fail to set (even if it still
felt back to the programmed timeout).

Please note that "infinity" is not supposed to restore the default value of the
firmware. If the value is changed after booting then "infinity" would simply
reuse the current programmed value. IOW it's a NOP unless the watchdog was
previously closed and in that case it will be reopened and the last programmed
value reused.

watchdog: configuring a timeout value might not be supported by the HW

In that case we should hanlde this case more gracefully by reusing the
programmed value.

Fixes: #20683