test: add test cases for --volatile= with -U

For issue #34254.

nspawn: only remount /usr/ with idmap when --volatile=yes

The root directory is already mounted with a picked UID shift, hence
it is not necessary to remount with idmap. However, /usr/ is a bind-mount,
hence it must be remounted with idmap.

With this change, now '-U --volatile=yes' works fine.

Fixes #34254.

nspawn: mount /var/ after remount_idmap() when --volatile=state

Previously, remount_idmap() failed as /var/ was already mounted, thus
remounting (strictly speaking, unmounting old root directory) failed
with -EBUSY.

As tmpfs /var/ is mounted with picked UID shift, it should not be
remounted with idmap, but needs to be mounted after the root directory
being remounted.

This makes '-U --volatile=state' work as expected.

nspawn: use strv_extend() and friends to build directories passed to remount_idmap()

No functional change, just refactoring and preparation for later change.

Merge pull request #34203 from yuwata/network-conf-parser

network: several cleanups for conf parser

Merge pull request #34267 from DaanDeMeyer/script

mkosi: Install util-linux-script on Rawhide

network/address: use log_section_warning()

network/address: use generic section parser more

This also
- rename variable n -> address,
- use log_syntax_parse_error() where applicable,
- add one more assertion for lvalue in config_parse_address().

network/address: introduce generic config parser for [Address] section

Then, use generic conf parsers defined in conf-parser.[ch].

firewall-util: several cleanups for config_parse_nft_set()

- use log_syntax_parse_error(),
- return 1 on success,
- drop unnecessary or redundant assertions,
- add missing log_oom().

conf-parser: introduce config_parse_uint32_invert_flag()

It is similar to config_parse_uint32_flag(), but drops the specified flag
when true.

network: align table in network-gperf

network/address-label: use log_section_warning_errno()

network/address-label: introduce generic conf parser for [IPv6AddressLabel] section

This also
- renames n -> label,
- use log_syntax_parse_error().

No functional change, just refactoring.

conf-parser: introduce config section parser wrapper

It will be used later.

hwdb: Mark Apple Wireless keyboards as not having NumLock LED

Mark those Apple Wireless keyboards as not having a NumLock key:
https://en.wikipedia.org/wiki/Apple_Wireless_Keyboard

You can see that they don't have a NumLock LED because they didn't even
have a NumLock in the first place:
https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=0fea6fe7d5ef1b5fa5f78048d4729f85181c04ca

Merge pull request #34155 from poettering/gmtime-safe

handle gmtime_r() errors more robustly

basic: Include <sys/file.h> for LOCK_* constants

This is needed to ensure LOCK_{EX,SH} are defined in certain
environments, including uclibc-ng and musl libc.

Merge pull request #34261 from yuwata/repart-seed-random

repart: initialize seed earlier

edit-util: EditFileContext: avoid reserved 'stdin'

The identifier 'stdin' is reserved in C.  It can be #defined to any
statement that evaluates to a FILE*.  We do not want that for our field,
so change to a more descriptive name.

udev: allow persistent storage rules for rbd devices

The RADOS Block Device (rbd) can be used as any other block device with
further layers on top of it, hence allow the common persistent storage
rules to apply, including watching for changes.

mkosi: Remove rpm workaround

rpm 4.19.93 (4.20 rc) is in rawhide so let's drop the workaround.

mkosi: Install util-linux-script on Rawhide

It's now subpackaged so we can build images without pulling in
libutempter but we use script in the testsuite so let's install the
subpackage.

Merge pull request #34266 from DaanDeMeyer/fix

mkfs-util: Make sure we pass non option arguments last

time-util: rework localtime_or_gmtime() into localtime_or_gmtime_usec()

We typically want to deal in usec_t, hence let's change the prototype
accordingly, and do proper range checks. Also, make sure are not
confused by negative times.

Do something similar for mktime_or_timegm().

This is a more comprehensive alternative to #34065

Replaces: #34065

hwclock-util: the struct tm parameter is not a pure return parameter, it's also an input parameter

Merge pull request #34256 from YHNdnzj/pid1-followup

core: follow-ups for recent PRs

mkfs-util: Make sure we pass non option arguments last

POSIX specifies that getopt() stops parsing options when it encounters
a non-option argument, so let's make sure we pass non-option arguments
last.

mkfs-util: Fix error handling

update TODO

test: fix indentation

test: add test case for systemd-repart --seed=random

For issue #34257.

Merge pull request #34235 from yuwata/firstboot-systemctl-trivial-cleanups

firstboot,systemctl: trivial cleanups

repart: initialize seed earlier

As the seed is used by context_load_partition_table() -> derive_uuid().

Fixes #34257.

man: ARP=no also disables IPv6 Neighbor Discovery Protocol

Addresses https://github.com/systemd/systemd/issues/18063#issuecomment-2323410288.

Merge pull request #34090 from DaanDeMeyer/cow-fix

Rework COW <=> NOCOW copying behavior

firstboot: reduce log level of timezone validation

An error message is already printed directly after, so the user already
knows that the validation failed. This also isn't done for the other
validation functions.

firstboot: reduce empty input log level

The user knows they pressed `Enter`, no need to inform them again about
that they skipped the prompt.

firstboot: add newline before key wait

When sd-firstboot is ran during first boot of a new system this missing
newline leads to a bootup message being appended on the same line as the
message instructing to press a key.

test: add test cases of "systemctl cat" for nonexistent units

systemctl: cat: do not exit(1) on missing units if `--force`

We are eating the error message if `--force` is set, so do not return
a non-zero exit code either.

Merge pull request #34212 from YHNdnzj/recvmsg-safe-trunc

tree-wide: handle MSG_TRUNC with recvmsg_safe()

core: rename BindJournalSockets= to BindLogSockets=

Addresses https://github.com/systemd/systemd/pull/32487#issuecomment-2328465309

core/namespace: add comment to explain the non-obvious assumption on /run/systemd/journal/

Follow-up for 119820f8abf587f96a11fb1f28ef854e84bc3122

Addresses https://github.com/systemd/systemd/pull/32487#discussion_r1743493196

core/namespace: make bind mounted journal sockets nosuid + noexec + nodev

Addresses https://github.com/systemd/systemd/pull/32487#discussion_r1743464797

core/exec-invoke: use bind_mount_add() where appropriate

core/namespace: use GREEDY_REALLOC at one more place

core/unit: introduce unit_set_debug_invocation()

Given that debug_invocation is a Unit thing, make
service_set_debug_invocation() generic. Plus, don't
say "Service failed", as it would be spurious when
Restart=always.

core: add missing serialization for Unit.debug_invocation

Follow-up for 7d8bbfbe0852ec89590d1dc5e28afc95d6d44fa1

core/service: modernize service_load_pid_file() a bit

core/service: minor coding style tweak

copy: Introduce COPY_NOCOW_AFTER and use it when copying images

When dealing with copying COW images, we have to make a tradeoff:

- Either we don't touch the NOCOW bit on the copied file COW and get
  an instant copy because we're able to reflink, but we might get
  reduced performance if the source file was COW as COW files and lots
  of random writes don't play well together.
- Or we force NOCOW for the copied file, which means we have to do a
  full copy as reflinking from COW files to NOCOW files or vice versa
  is not supported.

In exec-invoke.c, we've opted for the first option. In nspawn.c and
discover-image.c, we've opted for the second option.

In nspawn, this applies to the --ephemeral option to make ephemeral
copies. In discover-image.c, this applies to cloning images into
/var/lib/machines. Both these features might be used to run many
machines of the same original image. We really don't want to force
a full copy onto users in these scenarios when they're expecting
reflink behavior, leading to them running out of disk space. Instead,
degraded performance in their machines is a much less severe issue,
which they will discover on their own if it affects them, at which
point they can make their original image NOCOW at which point they'll
get both the reflinks and better performance.

Given the above reasoning, let's switch nspawn.c and discover-image.c
to use COPY_NOCOW_AFTER as well instead of enabling NOCOW upfront and
forcing a copy if the original source image is COW.

copy: Copy nocow flag by default

Unless otherwise requested, if we're going to copy a nocow file, make the
target file nocow as well.

Aside from keeping the performance characteristics of the cow or nocow file
intact, reflinking also only works from cow to cow or nocow to nocow files.
Reflinking from cow to nocow or nocow to cow files does not work and can
easily lead to unexpected copies for users, so by keeping the nocow bit
intact across copies by default we also make sure reflinks always work.

chattr-util: Optimize read_attr_at()

Let's make sure we only reopen O_PATH file descriptors.

socket-util: make recvmsg_safe() handle MSG_TRUNC too

Also, unify MSG_TRUNC handling all across the codebase.

machine-dbus: use in_same_namespace() at one more place

udev-ctrl: drop unused next_datagram_size_fd() call

core/manager: close all cmsg fds where none is expected

udev-ctrl: add missing size check of received message

While at it, downgrade log level of ignored errors to LOG_WARNING.

audit-util: check correct errno

sd-varlink: check correct errno

'n' can also be assigned from recvmsg_safe(), which is our own
func returning negative errno.

fd-util: also close pidfd from SCM_PIDFD in cmsg_close_all()

Revert "copy: Copy file attributes as well"

This reverts commit 2356104efcc599439c887b087da83fbeca1fa9a6.

Revert "tree-wide: Don't explicity disable copy-on-write when copying images"

Let's still try to disable COW after copying. It won't do much, but
it doesn't hurt either.

See https://github.com/systemd/systemd/pull/33825/files#r1727288871.

This reverts commit 42e9288180ce37abd86c58774950636ebce35432.

Merge pull request #34251 from DaanDeMeyer/multiq

network: Add support for multiq qdisc

network: Add support for mq qdisc

network: Add support for multiq qdisc

Merge pull request #34205 from yuwata/pretty-print-buffering

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Merge pull request #34224 from yuwata/network-make-qdisc-reconfigurable

network: make qdisc reconfigurable

Merge pull request #32487 from YHNdnzj/bind-journal-sockets

core: introduce BindJournalSockets=

build(deps): bump softprops/action-gh-release from 2.0.5 to 2.0.8

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.0.5 to 2.0.8.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/69320dbe05506a9a39fc8ae11030b214ec2d1f87...c062e08bd532815e2082a85e87e3ef29c3e6d191)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump super-linter/super-linter from 6.6.0 to 7.1.0

Bumps [super-linter/super-linter](https://github.com/super-linter/super-linter) from 6.6.0 to 7.1.0.
- [Release notes](https://github.com/super-linter/super-linter/releases)
- [Changelog](https://github.com/super-linter/super-linter/blob/main/CHANGELOG.md)
- [Commits](https://github.com/super-linter/super-linter/compare/88ea3923a7e1f89dd485d079f6eb5f5e8f937589...b92721f792f381cedc002ecdbb9847a15ece5bb8)

---
updated-dependencies:
- dependency-name: super-linter/super-linter
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-50-DISSECT: add explicit coverage for BindJournalSockets=

test: drop unneeded journal socket bind mounts
(where BindJournalSockets=yes is implied)

portable/profile: use BindJournalSockets=

core/namespace: create /dev/log only if journal socket is present

core: introduce BindJournalSockets=

Closes #32478

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8 to 31b4e756c1484c302435653da5d3b9bdfae38518.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8...31b4e756c1484c302435653da5d3b9bdfae38518)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #34240 from DaanDeMeyer/mkosi

mkosi: Rework debian/ubuntu prepare script to install dependencies

mkosi: Use apt patterns to install dependencies on Debian/Ubuntu

Instead of parsing the human readable output of apt-cache, let's
use apt patterns to figure out the dependencies.

We also filter out virtual packages as apt will fail and say we need
to install an implementation of the virtual package even if a package
that provides the virtual package is already installed.

mkosi: Make systemd package filtering more robust

Let's not just filter everything with systemd in the name, but instead
use the same list of volatile packages that we install to do the
filtering.

Merge pull request #34236 from DaanDeMeyer/manager-split

json-util: Add more builders

json-util: Add JSON_BUILD_PAIR_UNSIGNED_NOT_EQUAL()

json-util: Add JSON_BUILD_TRISTATE() and friends

json-util: Add JSON_BUILD_PAIR_BASE64_NON_EMPTY() and friends

json-util: Add JSON_BUILD_PAIR_BYTE_ARRAY_NON_EMPTY()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_NEGATIVE()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_ZERO()

json-util: Add JSON_BUILD_PAIR_CALLBACK_NON_NULL()

Like JSON_BUILD_PAIR_CALLBACK(), but doesn't add anything to the variant
if the callback doesn't put anything in the return argument.

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP_NON_NULL()

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP()

json-util: Add JSON_BUILD_RATELIMIT()

json-util: Add JSON_BUILD_STRING_ORDERED_SET()

Merge pull request #34190 from DaanDeMeyer/repart-compress

repart: Add compression support

Merge pull request #34228 from poettering/uki-with-many-prep1

Two preparatory EFI library additions

repart: Add compression support

Now that mkfs.btrfs is adding support for compressing the generated
filesystem (https://github.com/kdave/btrfs-progs/pull/882), let's
add general support for specifying the compression algorithm and
compression level to use.

We opt to not parse the specified compression algorithm and instead
pass it on as is to the mkfs tool. This has a few benefits:

- We support every compression algorithm supported by every tool
  automatically.
- Users don't need to modify systemd-repart if a mkfs tool learns a
  new compression algorithm in the future
- We don't need to maintain a bunch of tables for filesystem to map
  from our generic compression algorithm enum to the filesystem specific
  names.

We don't add support for btrfs just yet until the corresponding PR
in btrfs-progs is merged.

TEST-58-REPART: Only skip part of testcase_minimize() that requires root

TEST-58-REPART: Always run TEST-58-REPART in virtual machine

Required for various tests in TEST-58-REPART.

mkosi: Don't create sanitizer wrappers for every mkfs binary

mksquashfs for some reason ends up in nss_systemd and mkfs.btrfs
links against libudev. The others don't need a sanitizer wrapper
script.

Merge pull request #34149 from DaanDeMeyer/btrfs

repart: Switch to new mkfs.btrfs subvolume API