test: Add cases for failures to import the hierarchy

sysext: Fail when trying to import mutable layer that's a symlink to hierarchy

test, sysext: Actually fail the whole operation if sd-merge worker failed

This also fixes a wrong merge failure check.

test: Add test cases for sysext ephemeral-import mode

man: Document sysext ephemeral-import mode

sysext: Implement ephemeral import mode

To enable it, use "ephemeral-import" either for mutable mode environment
variable or for value of "--mutable=" flag.

This is a combination of "ephemeral" and "import" modes. It results in a
mutable hierarchy that includes contents of the mutable extension data, but the
modifications are thrown away when the hierarchy is unmerged.

test: Extend sysext tests with cases using ephemeral mode

man: Document sysext ephemeral mode

sysext: Implement ephemeral mode

To enable it, use "ephemeral" either for mutable mode environment variable or
for value of "--mutable=" flag.

Instead of using mutable dir in /var/lib/extensions.mutable/<hierarchy>, we
create a directory for overlayfs upperdir and workdir in the same tmpfs mount
that sysext worker process creates in /run/systemd/sysext. As the path for the
workdir will be gone when the worker quits, there is no need to do any
additional cleanup. As such, there is also no need to store a path to workdir
in the metadata directory.

sysext: Add missing --mutable mode in help output

man: Install sysext man pages when ENABLE_SYSEXT is true

test: Extend sysext tests with cases using env var for mutable mode

test: Fail sysext test if reusing a root directory

docs: Document SYSTEMD_SYSEXT_MUTABLE_MODE env var

sysext: Add support for mutable mode environment variables

The environment variable names are SYSTEMD_SYSEXT_MUTABLE_MODE for
systemd-sysext and SYSTEMD_CONFEXT_MUTABLE_MODE for systemd-confext. These
override the default mutable mode setting, but can be still overridden by a
command-line flag.

sysext: Move parsing mutable mode to a separate function

basic/virt: Fix virtualbox detection on proprietary system via board_vendor

Identify an virtualbox instance even if product_name, sys_vendor and bios_vendor reflect the
information of the real hardware, by checking if board_vendor == "Oracle Corporation"

This fixes #13429 again
The previous fix was removed in #21127

po: Translated using Weblate (French)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Pierre GRASSER <pierre.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

test: explain how Ubuntu CI log URLs are created

Not trivially obvious, so add a couple of paragraph to explain it

shared: Fix TPM2 unsealing when PCR values change

Recreate the encryption session on each retry. It's invalidated along
with the policy session when freed, failing subsequent retries.

Unsealing HMAC key.
WARNING:esys:src/tss2-esys/api/Esys_Unseal.c:295:Esys_Unseal_Finish() Received TPM Error
ERROR:esys:src/tss2-esys/api/Esys_Unseal.c:98:Esys_Unseal() Esys Finish ErrorCode (0x00000128)
A PCR value changed during the TPM2 policy session, restarting HMAC key unsealing (30 tries left).
Missing encryption session
Failed to unseal secret using TPM2: Invalid argument

Fixes #31881

Merge pull request #31919 from YHNdnzj/analyze-verify

Some fixes/improvements for analyze

Merge pull request #31916 from YHNdnzj/socket-load-service

core/socket: validate service unit load state before continuing

Merge pull request #31886 from DaanDeMeyer/logind

logind: Add fallback for when the PIDFDs= property is not available

Merge pull request #31917 from keszybz/path-equal-ptr-drop

Drop unnecessary path_equal_ptr() wrapper

Merge pull request #31913 from YHNdnzj/dynamic-user-unref

core/dynamic-user: trivial modernization

bpf-socket-bind: fix unexpected behavior with either 0 allow or deny rules

This patch fixes an issue where, when not specifiying either at least one
`SocketBindAllow` or `SocketBindDeny` rule, behavior for the bind syscall
filtering would be unexpected.

For example, when trying to bind to a port with only "SocketBindDeny=any"
given, the syscall would succeed:

> systemd-run -t -p "SocketBindDeny=any" nc -l 8080

Expected with this set of rules (also in accordance with the documentation)
would be an Operation not permitted error.

This behavior occurs because a default initialized socket_bind_rule struct
matches what "any" represents. When creating the bpf list all elements get
default initialized, as such represeting "any". Seemingly it is necressarry
to set the size of the map to at least one, as such if no allow rule is
given default initialization and minimal map size cause one any allow rule
to be in the map, causing the behavior observed above.

This patch solves this by introducing a new "match nothing" magic stored in
the rule's address family and setting such a rule as the first one if no
rule is given, making sure that default initialized rule structs are never
used.

Resolves #30556

Added resolution for Huion Kamvas Pro 19

Merge pull request #31552 from AdrianVovk/homed-update-policy-v2-split

Homed update policy: offline updates & use keyring

analyze: refuse --global dot/verify

I don't quite understand the rationale of making these
verbs work with --global back in the day. But realistically
they interact with/spawn manager, while there's no
--global runtime scope manager. And to verify/inspect user
units it's sufficient to just use --user.

Fixes #31911

analyze-dot: also show BindsTo= in --require

analyze-dot: minor modernization

analyze-security: use FOREACH_ARRAY

core/socket: use FOREACH_ARRAY at one more place

core/socket: clean up socket peer handling a bit

Currently, SocketPeer object acquired through
socket_acquire_peer() are referenced twice
in socket_enter_running and service_set_socket_fd,
and the reference taken by former gets dropped
through _cleanup_. This is a bit confusing.
Let's just pass ownership instead.

core/socket: remove duplicate unit_add_two_dependencies

core/socket: validate service unit load state before continuing

Fixes #31915

core: introduce UNIT_IS_LOAD_ERROR helper

shared/install: use PATH_IN_SET()

Drop unnecessary path_equal_ptr() wrapper

path_equal already works with NULL pointers.

core/swap: another try on memory mgmt

Follow-up for ba31a5018f99864c22dd4e0f10712456c7abc934

Another stupid mistake... Shouldn't have
written anything when I was tired.

Fix bpf-framework build failure with gcc-bpf

The -mkernel option was dropped in
https://github.com/gcc-mirror/gcc/commit/da445a5858299ed2a72af1089c225a438ab93ce2

We also need to ensure that the include paths are properly set for the
linux kernel headers.

Fixes: #31869

Merge pull request #31907 from mrc0mmand/efi-shenanigans

efi: check if all sections of our EFI binaries are properly aligned

Merge pull request #31779 from keszybz/elf2efi-clang-18

Make elf2efi work with clang-18

TEST-46-HOMED: Disable auth rate-limiting

Rate limiting authentication attempts in the test can cause somewhat
sporadic test failures: adding a test case might suddenly cause future
test cases to fail because of too many authentication attempts too
quickly

We're not trying to test the rate-limiting, we're trying to test the
functionality of homed. So we effectively disable rate-limiting on all
the home areas we create

update TODO

homework: Implement offline updates

This makes it possible to update a home record (and blob directory) of a
home area that's either completely absent (i.e. on a USB stick that's
unplugged) or just inaccessible due to lack of authentication

homework: Accept volume key from keyring

This bypasses authentication (i.e. user_record_authenticate) if the
volume key was loaded from the keyring and no secret section is
provided.

This also changes Update() and Resize() to always try and load the
volume key from the keyring. This makes the secret section optional for
these methods while still letting them function (as long as the home
area is active)

homework: Always upload volume key to keyring

This commit makes homework always upload the LUKS volume key into the
kernel keyring. This is different from previous behavior in three
notable ways:

- Previously, we'd only upload if auto-resize was on. In preparation for
upcoming changes, now we always upload

- Previously, we'd upload the user's actual password (or a password
obtained from a FIDO key or similar). Now, we upload the LUKS volume key
itself, to remove a layer of unnecessary indirection.

- Previously, Lock() wouldn't remove the key from the kernel keyring.
This, of course, defeats the purpose of Lock(), so now it removes the
key

This commit also allows the LUKS volume to be unlocked using the volume
key we obtained from the keyring.

homed: Ensure closed FD is handled before bus req

Before this fix, the following sequence of events was possible:
1. A client holding a Ref() FD closes their FD
2. kernel sends notification that all clients closed their FDs
3. Another client obtains its own Ref() FD from homed
4. homed handles the notification that all clients have closed their
   Ref() FDs. Thus it loses track of the fact that the session is
   actually still being held open by the client from step 3

This change makes sure that homed won't respond to bus messages (and
thus won't open more Ref() FDs) until it has handled all notifications
about the existing FDs being closed.

logind has had a very similar fix applied to it in
e11544a8305ab9dea097c74bb16e296150c9cc10

Fixes https://github.com/systemd/systemd/issues/31518

core/dynamic-user: trivial modernization

core/execute: use STR_IN_SET where appropriate

Merge pull request #31670 from CodethinkLabs/vmspawn/generate_ssh_keys

vmspawn: generate ssh keys

Merge pull request #31908 from DaanDeMeyer/mkosi

Various mkosi fixes

tree-wide: Add allow_pidfd argument to bus_append_scope_pidref()

mkosi: Switch to Arch Linux packaging sources main branch

https://gitlab.archlinux.org/archlinux/packaging/packages/systemd/-/merge_requests/8
was merged so let's switch branches to the main branch.

mkosi: Disable debug package generation on Arch Linux

This is extremely slow since the latest pacman release, and since
we don't strip binaries, not really needed either.

tools/elf2efi: elif→if to make pylint happy

tools/elf2efi: skip empty .got section and its .relro_padding

Resolves https://github.com/systemd/systemd/issues/31637.

lld-18 does the section setup differently than older versions. There is a bunch
of ordering chagnes, but it also inserts the following:

Sections:
Idx Name          Size      VMA               LMA               File off  Algn
...
  9 .got          00000000  00000000000283c0  00000000000283c0  000283c0  2**3
                  CONTENTS, ALLOC, LOAD, DATA
 10 .relro_padding 00000c40  00000000000283c0  00000000000283c0  000283c0  2**0
                  ALLOC
 11 .data         00000024  00000000000293c0  00000000000293c0  000283c0  2**4
                  CONTENTS, ALLOC, LOAD, DATA
...

This causes a problem for us, because we try to map the .got to .rodata,
and the subsequent .data to .data, and round down the VMA to the nearest
page, which causes the PE sections to overlap.

https://github.com/llvm/llvm-project/pull/66042 adds .relro_padding to make
sure that the RELRO segment is properly write protected and allocated. For our
binaries, the .got section is empty, so we can skip it safely, and the
.relro_padding section is not useful once .got has been dropped.

We don't expect .got sections, but they are apparently inserted on i386 and
aarch64 builds. Emit a warning until we figure out why they are there.

mkosi: Enable log context

mkosi: Make sure man and man-db are installed everywhere

test: Install test journals

Let's package these just like we package other test data.

Merge pull request #31839 from DaanDeMeyer/log

log: Add per target log levels

efi: check if all sections of our EFI binaries are properly aligned

Added more ASSERT macro and also make some test file to use them

Merge pull request #31902 from YHNdnzj/swap-followup

core: some follow-ups

log: Add per target log levels

For CI in mkosi, I want to configure systemd to log at debug level
to the journal, but not to the console. While we already have max
level settings for journald's forwarding settings, not every log line
goes to the journal, specifically during early boot and when units
are connected directly to the console (think systemd-firstboot), so
let's extend the log level options we already have to allow specifying
a comma separated list of values and lets allow prefixing values with
the log target they apply to to make this possible.

efi: fix mixed indent

Merge pull request #31900 from DaanDeMeyer/dissect

nspawn logging fix

core/mount: use ASSERT_PTR in mount_setup_new_unit

core/swap: fix memory management in swap_setup_unit

Follow-up for e9fa1bf704ad2f0a7e257e29889315118b0df459

nspawn: Use dissect_image_mount_and_warn()

dissect-image: Improve error messages

Merge pull request #31868 from bluca/test_cleanup

test: delete private images on clean-again

Merge pull request #31892 from YHNdnzj/machinectl-minor-cleanup

machinectl: minor modernization, use FOREACH_ARRAY

sd-boot: add support for support enrolling dbx

usage:
  (1) get latest revocation list for your architecture
      from https://uefi.org/revocationlistfile
  (2) copy the file to $ESP/loader/keys/$name/dbx.auth

docs: Add one more git submodule setting to configure

cgroup-util: use path_find_first_component where appropriate

Prompted by 8922a728f732a716ecd17dd67cd39bc1a0fc4aa5

Merge pull request #31890 from YHNdnzj/ASSERT_PTR

core: use ASSERT_PTR and RET_GATHER more

dbus-exporter: Set explicit mode on output directory

Otherwise the created directory might have the sticky bit or the setgid
bit set as these are inherited from the parent directory.

machinectl: minor modernization, use FOREACH_ARRAY

Prompted by 237bbec1173b41c0e0f2eaf9c30e19ab82073b8d

nulstr-util: minor cleanup

core: use RET_GATHER more

core: use ASSERT_PTR(CAST(u)) everywhere

logind: Add fallback for when the PIDFDs= property is not available

logind is not zero-downtime restartable yet, specifically it's not yet
restarted in the Fedora spec, so we can end up in situations where we're
running newer logind with older pid1 which doesn't know about the PIDFDs=
property, so let's make sure we have a fallback in place for when that
happens.

Merge pull request #31880 from yuwata/network-varlink-trivial-cleanups

network: trivial varlink cleanups

build(deps): bump pkg/fedora from `2822a03` to `2e32a33`

Bumps pkg/fedora from `2822a03` to `2e32a33`.

---
updated-dependencies:
- dependency-name: pkg/fedora
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump pkg/debian from `86cd356` to `3b47281`

Bumps pkg/debian from `86cd356` to `3b47281`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

test: run clean-again between tests, not at the end

So that we free up space for the next run, as we are seeing disk space
issues on Ubuntu CI due to the many images built and left around

test: delete private images on clean-again

Private images are not reused, they are unique to tests, so delete them
as they take a lot of disk space, and we are starting to run in /var/tmp
space issues on the Ubuntu CI

varlink: use varlink_server_description()

network: set varlink description

networkctl: use varlink_flush_close_unrefp()

Merge pull request #31861 from yuwata/journalctl-fix-until

journalctl: make --until work again with --after-cursor and --lines

CI: revert the mmap_rnd_bits kludge

This reverts commit 2e0c2fb8fb15faeedf213930a4c2a3a6d584101f and commit
b7c7498de814b1e9825b43c28e307a7f0af8ffd2 now that
https://github.com/actions/runner-images/issues/9491 is closed.

Update USB ids of hwdb

Merge pull request #31862 from keszybz/add-strdup_to-helper

Add strdup_to() helper

Merge pull request #31875 from ml-/docs-fix-socket-section

docs: fix keys in wrong section and minor issues in man pages

man: fix minor issues

docs: fix keys in wrong section

test: add test case for issue #31776