repart: Ignore copy failures for unsupported file types

e.g. vfat doesn't support symlinks, sockets, fifos, etc so let's ignore
any copy failures related to unsupported file types when populating
filesystems.

copy: Add COPY_GRACEFUL_WARN

When copying between filesystems, sometimes the target filesystem
might not support symlinks/fifos/sockets/... and we want to log and
ignore  any failures to copy such files when copying. Let's introduce
a new flag to enable this behavior.

Merge pull request #25574 from bluca/gh_wf

actions: restrict development_freeze to main repo and disable codeql on security repo

GA: do not run codeql on systemd-security

Scanning is not available on private repositories

GA: run development_freeze only on main repository

No point in running this checker on other forks

sd-netlink: fix assertion triggered by message_get_serial()

This fixes an issue introduced by 7b34bae3b1a8726e241a56600a6edf9b3733a4f4.

Fixes https://github.com/systemd/systemd/pull/25565#issuecomment-1331353945.

mkfs-util: fix memleak

Fixes an issure introduced by c75cf0164cbd69104f13cbe7be42ab639953bd7d.

Fixes CID#1501073.

cgtop: Update code comments

Merge pull request #25561 from poettering/btrfs-quota-opath-fix

tmpfiles: fix btrfs quota logic

Merge pull request #25565 from poettering/dissect-optimizations

two dissect-image.c optimizations/tweaks

dissect-image: merge handlers for 4 different partition designators into one

These four branches execute the exact same code these days, hence merge
them into one.

dissect-image: don't probe swap partitions needlessly

We already know it's swap, we can assume it's also fstype swap, and
don#t need to probe things later again.

hwdb: add Clevo touchpad toggle key quirks

update TODO

units: change Requires=systemd-networkd.service → BindsTo= one more time

Follow-up for da15f8406e9aeb7908e1d92c02d2ff5147c7788a which did the
change for systemd-networkd-wait-online.service, let's also do this for
systemd-networkd-wait-online@.service

Merge pull request #25558 from poettering/fdisk-id128

add generic uuid/id128 helpers for libfdisk too

blkid: add helpers that get gpt partition uuid as sd_id128_t

just some refactoring to make things simpler.

btrfs-util: convert O_PATH if necessary, in btrfs quota call

Fixes: #25468

blockdev-util: move O_PATH fd conversion into btrfs_get_block_device_fd() to shorten things

And let's use a simple call to the new fd_reopen_condition() helper
there.

btrfs-util: convert to fd_reopen_condition()

fd-util: add new helper fd_reopen_conditional()

This is a wrapper around fd_reopen() that will reopen an fd if the
F_GETFL flags indicate this is necessary, and otherwise not.

This is useful for various utility calls that shall be able to operate
on O_PATH and without it, and might need to convert between the two
depending on what's passed in.

Merge pull request #25385 from drvink/main

systemd: Support OOMPolicy in scope units

fdisk-util: add fdisk_partition_get_type_as_id128() helper

Let's also add an easy accessor for the other per-partition UUID.

fdisk-util: add fdisk_partition_get_uuid_as_id128() helper

Inspired by: #25534

kernel-install: Add uki layout

Currently the kernel-install man page only documents the bls layout for use
with the boot loader spec type #1. 90-loaderentry.install uses this layout to
generate loader entries and copy the kernel image and initrd to $BOOT.

This commit documents a second layout "uki" and adds 90-uki-copy.install,
which copies a UKI "uki.efi" from the staging area or any file with the .efi
extension given on the command line to
$BOOT/EFI/Linux/$ENTRY_TOKEN-$KERNEl_VERSION(+$TRIES).efi

This allows for both locally generated and distro-provided UKIs to be handled
by kernel-install.

update TODO

Merge pull request #25132 from yuwata/core-device-inactivate-removed-device-on-switching-root

core/device: inactivate removed device on switching root

Merge pull request #25508 from enr0n/test-various-fixes

Fix test failures found in Ubuntu autopkgtest

Merge pull request #25536 from yuwata/sd-netlink-several-fixes

sd-netlink: several fixes

Merge pull request #25552 from yuwata/network-ndisc-trivial-fixes

network: NDisc: trivial fixes

Merge pull request #25532 from Werkov/fix-cgtop-args

cgtop: Do not rewrite -P or -k options

hwdb: Add support for Elgato Stream Pedal (#25550)

This adds the [Elgato Stream Pedal](https://www.elgato.com/en/stream-deck-pedal)
as part of the supported family

network: drop invalid and unused flag

Route.flags can only take RTNH_F_ONLINK, and other flags are silently
dropped.

network: fix indentation

test: handle Debian's /etc/default/locale in testsuite-74.firstboot.sh

This handles a Debian-specific quirk where /etc/default/locale is used
instead of /etc/locale.conf. There is currently special handling for
this in testsuite-73.sh, so the quirk should be handled here too for
consistency.

test: make sure mount point exists in testsuite-64.sh

Merge pull request #25496 from DaanDeMeyer/repart-optimize

repart: Prefer using loop devices to populate filesystems when available

Merge pull request #25222 from medhefgo/stub-cmdline

stub: Fix cmdline handling

test: Add tests for systemd-cgtop args parsing

cgtop: Do not rewrite -P or -k options

--recursive=no will overwrite possible -P or -k option hence making the
recursive disabling impossible.

Check what counting types the system supports (encoded in the ordering
of our enum) of and pick whatever user requests but is also supported.

Fixes: #25248

repart: Prefer using loop devices to populate filesystems when available

Let's make sure we use loop devices if we have access to them and
only fall back to regular files if we can't use loop devices. We
prefer loop devices because when using mkfs --root options, we have
to populate a temporary staging tree which means we're copying every
file twice instead of once when using loop devices.

repart: Make sure all files in the image are owned by root

repart: Move comment

stub: Detect empty LoadOptions when run from EFI shell

The EFI shell will pass the entire command line to the application it
starts, which includes the file path of the stub binary. This prevents
us from using the built-in cmdline if the command line is otherwise
empty.

Fortunately, the EFI shell registers a protocol on any images it starts
this way. The protocol even lets us access the args individually, making
it easy to strip the stub path off.

Fixes: #25201

systemctl: deprecate passing positional argument to reboot completely
(follow-up of #15958)

In #15958 we deprecated passing positional argument to reboot by
generate a warning. It's been two years now and I believe it can
be dropped completely, as per requested in #15773.

sd-netlink: append instead of prepend multipart message

Previously, e.g., networkd enumerated network interfaces with ifindex
in a decreasing order, as sd-netlink inverses the order of the received
multipart messages.
Let's keep the order of the multipart messages. Hopefully this changes
no behavior, as our code do not depend on the order of the received
multipart messages.

Before:
===
Nov 26 09:35:10 systemd[1]: Starting Network Configuration...
Nov 26 09:35:11 systemd-networkd[36185]: wlp59s0: Saved new link: ifindex=3, iftype=ETHER(1), kind=n/a
Nov 26 09:35:12 systemd-networkd[36185]: enp0s31f6: Saved new link: ifindex=2, iftype=ETHER(1), kind=n/a
Nov 26 09:35:12 systemd-networkd[36185]: lo: Saved new link: ifindex=1, iftype=LOOPBACK(772), kind=n/a

After:
===
Nov 26 09:45:18 systemd[1]: Starting Network Configuration...
Nov 26 09:45:19 systemd-networkd[38372]: lo: Saved new link: ifindex=1, iftype=LOOPBACK(772), kind=n/a
Nov 26 09:45:19 systemd-networkd[38372]: enp0s31f6: Saved new link: ifindex=2, iftype=ETHER(1), kind=n/a
Nov 26 09:45:19 systemd-networkd[38372]: wlp59s0: Saved new link: ifindex=3, iftype=ETHER(1), kind=n/a

sd-netlink: do not link non-multipart messages

Previously, if a single packet contains multiple non-multipart messages,
then the messages were linked and saved as a single entry, especially
even if the messages has different serial numbers. Though, not sure if
the kernel sends such packet. But at least for safety, let's link only
multipart messages.

sd-netlink: split out parse_message_one() from socket_read_message()

No functional change, just refactoring and preparation for later
commits.

sd-netlink: do not use serials currently queued

sd-netlink: also manage received messages by serial

Then, we can easily find the received message matching with requested
serial.

sd-netlink: reimplement received message queue

By using OrderedSet and Hashmap, we can drop all memmove() calls.
No functional changes, just refactoring.

sd-netlink: introduce netlink_queue_received_message() and friend

No functional change, just refactoring.

sd-netlink: fix segfault

sd-netlink: fix possible use-after-free

When we receive a multi-part message and fail to parse it, then
the prviously received message is freed with the _cleanup_ attribute,
but still referenced by sd_netlink.rqueue_partial. That causes
use-after-free when we receive another multi-part message.

sd-netlink: return earlier when received invalid message

sd-netlink: allocate read buffer when necessary

sd-netlink: check received size in socket_recv_message()

No functional change, just refactoring and slightly shorten
socket_read_message().

sd-netlink: drop redundant 'else'

sd-netlink: always initialize return variable on success

fdisk: introduce common fdisk_new_context_fd() helper

We do the same thing over and over again and it's a bit ugly, hence
let's unify the code for it at one common place.

Merge pull request #25533 from keszybz/meson-fixups

Meson fixups

dissect: don't pre-open swap devices, we are not going to use them

repart: Remove bogus check

The --empty option applies to the partition table of the block
device, not the number of definition files we've read. Also, even
if we don't find any definition files, let's not shortcut execution
so we can run repart on a device/loopback file to get information
on the partition table.

logind: Properly unescape names of lingering users

Filenames to store user linger requests are created with C-escaping.
When we enumerate the files to acquire ligering users, we use the
filenames verbatim. In the case C-escaping is not an identity map (such
as "DOMAIN\User"), we won't be able to start user instances of
such mangled users.

Unescape filenames when we treat them as usernames again.

Fixes: #25448

Merge pull request #25530 from poettering/resolved-stub-name

resolved: make _localdnsstub and _localdnsproxy resolve to 127.0.0.{53,54}

Fix typo

units: Use BindsTo=systemd-networkd in systemd-networkd-wait-online.service

We don't want systemd-networkd-wait-online to start if systemd-networkd
is skipped due to condition failures. This is only guaranteed by BindsTo=
and not Requires=, so let's use BindsTo=

Merge pull request #25498 from medhefgo/stub-splash

stub: Fix splash alpha blending

po: Translated using Weblate (Indonesian)

Currently translated at 100.0% (193 of 193 strings)

Co-authored-by: Andika Triwidada <andika@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/id/
Translation: systemd/main

meson: regenerate meson rules

Forgotten in 85bc6b05491fb4c9f40f8a0e8615ac5321efbea0.

meson: resort imports

resolved: introduce common macro for 127.0.0.2 IP address

resolved: introduce the _localdnsstub and _localdnsproxy special hostnames for 127.0.0.54 + 127.0.0.53

Let's give these special IP addresses names. After all name resolution
is our job here.

Fixes: #23623

resolved: don't filter _gateway/_outbound twice

We already denied being responsible for these names further up, no need
to test for them again.

resolved: in dns stub always report "lo" as interface for "localhost"

Previously, we'd return the ifindex the user asked on, and if none was
specified "lo". Let's always return "lo".

This should be a better choice usually, since localhost addresses are
typically not reachable over arbitrary interfaces once SO_BINDTODEVICE
or so is used. Hence, let's report the interface that is always right
for these addresses.

update TODO

mkfs-util: Drop batch (b) and n flags from mcopy

The batch flag is bugged on older versions of mcopy causing failures
such as:

```
Internal error, size too big
Streamcache allocation problem:: 5
```

It's also a little unclear what the batch flag actually does, so since
everything still works without it, it doesn't hurt to remove it.

The n flag only applies when copying from fat to unix which we don't do
so it doesn't make sense in this scenario.

Merge pull request #25482 from DaanDeMeyer/repart-skip-partitions

repart: Add --skip-partitions=

repart: Add --skip-partitions=

--include-partitions and --exclude-partitions now fully exclude
partitions from repart. Whenever a partition type is excluded, we
don't take any partitions of that type into account at all when
running systemd-repart.

--skip-partitions= is introduced to do what --exclude-partitions did
previously. Any skipped partitions are taken into acount when doing
size calculations, but are not yet populated.

Why do we need both concepts? Exclusion is needed so that we can
use shared repart definitions to generate bootable and non-bootable
images. When generating a non-bootable image, we use --exclude-partitions
to exclude the ESP partition. Skipping is needed so that we can
populate the root partition while skipping the ESP partition, get
the roothash of the root partition, use that to generate a UKI, and
finally populate the ESP partition with the UKI included.

resolved: remove inappropriate assert()

A NULL Bitmap object is by all our code considered identical to an empty
bitmap. Hence let's remove the entirely unnecessary assert().

The assert() can be triggered if debug monitoring is used an an empty
NSEC or NSEC3 RR is included in an answer resolved returns.

it's not really a security issue since enabling debug monitoring is a
manual step requiring root privileges, that is off by default. Moreover,
it's a "clean" assert(), i.e. the worst that happens is tha a coredump
is generated and resolved restarted.

Fixes: #25449

Merge pull request #25473 from yuwata/mount-tool-cleanups

mount-tool: several cleanups

units: fix typo in Condition in systemd-boot-system-token

/lib/systemd/system/systemd-boot-system-token.service:20: Unknown key name 'ConditionPathExists|' in section 'Unit', ignoring

Follow-up for 0a1d8ac77a21ae0741bdf4af08f3a71354805ff1

Merge pull request #25500 from DaanDeMeyer/mcopy-skip-symlinks

mkfs-util: Skip symlinks when calling mcopy

stub: Small code style changes

No actual changes in behavior.

mkfs-util: Skip non files/directories when calling mcopy

Only files and directories are supported by vfat. When we pass a
symlink to mcopy, it will try to dereference them and copy what the
symlink points at into the vfat partition instead. Let's avoid this
by skipping all unsupported file types when establishing the list of
top level targets that mcopy should copy.

We also use RECURSE_DIR_SORT everywhere when iterating directories
to make things more reproducible.

recurse-dir: Handle RECURSE_DIR_ENSURE_TYPE in readdir_all()

stub: Fix splash alpha blending

How to interpret the pixel format depends on the masks in the DIB header
(if present). Also, 16bpp (unlike 24bpp) can carry an alpha channel.
This was previously not accounted for.

dirent-util: Expose dirent_ensure_type()

mkfs-util: Check if mcopy is installed

systemd: Default to OOMPolicy=continue for login session scopes

If the kernel OOM kills a process under a login session scope, we don't want to
kill the user's other processes for no good reason.

systemd: Support OOMPolicy in scope units

Closes #25376.

Merge pull request #25509 from enr0n/oomd-unpriv-container-fix

Fix `oomd_fetch_cgroup_oom_preference()` for unprivileged LXD containers

shared: use move_pivot_root() for services

Currently, services use mount_move_root() in order to setup the root
directory of services using a mount namespace. This relies on MS_MOVE
and chroot(). However, this has serious drawbacks even for relatively
simple mount propagation scenarios.

What systemd currently does is roughly equivalent to the following shell
code:

  unshare --mount --propagation=shared
  cd /
  mount --make-rslave /
  mkdir /new-root
  mount --rbind / /new-root
  cd /new-root
  mount --move /new-root /
  chroot .

This looks simple enough but has the consequence that two separate mount
trees exist for the lifetime of the service. The first one was created
when the mount namespace was created, and the second one when a new
mount for the rootfs was created. The first mount tree sticks around as
a shadow mount tree. Both mount trees are dependent mounts with the host
rootfs as their dominating mount.

Now, when mount propagation is triggered by the host by e.g.,

   mount --bind /opt /mnt

it means that two propagation events are generated. I'm skipping over
the exact kernel details as they aren't that important. The gist is that
for every propagation event that is generated a second one is generated
for the shadow mount tree. In other words, the kernel creates two copies
for each mount that is propagated instead of one.

This isn't necessary. We can simply change the sequence above to:

  unshare --mount --propagation=shared
  cd /
  mount --make-rslave /
  mkdir /new-root
  # stash fd to old rootfs
  # stash fd to new rootfs
  mount --rbind / /new-root
  mkdir /new-root
  cd /new-root
  pivot_root . .
  # new root is tucked under old root
  # chdir into old rootfs via stashed fd
  umount -l /old-root

The pivot_root allows us to get rid of the old mount tree that was
created when the mount namespace was created. So after this sequence
only one mount tree is alive. Plus, it's safer and nicer. Moving mounts
isn't pleasnt.

This patch doesn't convert nspawn yet as the requirements are more
tricky given that it wants to preserve the rootfs as a shared mount
which goes against pivot_root() requirements.

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

mount: use device enumerator to find matching loopback block device

No functional change, just refactoring.

mount: split umount_by_device() into two

No functional change, just refactoring and preparation for later
commits.

mount: make acquire_mount_where_for_loop_dev() take sd-device object

No functional change, just refactoring.

Merge pull request #25483 from poettering/ppoll-usec-eintr

ppoll() + EINTR fixes

core: add possibility to not track certain unit types

portable: add a few more useful debug log messages

When attaching and /etc/systemd/system.attached can't be created or used
(eg: dead symlink) the logs are pretty much useless as even at debug
level there's no indication of what is going wrong.
Add some debug logs, and return a more specific error string over D-Bus.

oomd: fix unreachable test case in test-oomd-util

This conditional with !empty_or_root(ctx->path) always returns false
because the most recent oomd_cgroup_context_acquire() call was with the
root cgroup. Make sure this test case can be reached by checking cgroup
instead of ctx->path.

While here, use an unused uid (61183) instead of the nobody uid so the
test case does not fail in unprivileged LXD containers.