timesync: make manager_is_connected() static

timesync: downgrade log level about network configuration change

These message may be unnecessarily shown multiple times when e.g.
networkd is restarted, system is wakeup from suspend, and so on.

Closes #34262.

Merge pull request #34155 from poettering/gmtime-safe

handle gmtime_r() errors more robustly

basic: Include <sys/file.h> for LOCK_* constants

This is needed to ensure LOCK_{EX,SH} are defined in certain
environments, including uclibc-ng and musl libc.

Merge pull request #34261 from yuwata/repart-seed-random

repart: initialize seed earlier

edit-util: EditFileContext: avoid reserved 'stdin'

The identifier 'stdin' is reserved in C.  It can be #defined to any
statement that evaluates to a FILE*.  We do not want that for our field,
so change to a more descriptive name.

udev: allow persistent storage rules for rbd devices

The RADOS Block Device (rbd) can be used as any other block device with
further layers on top of it, hence allow the common persistent storage
rules to apply, including watching for changes.

Merge pull request #34266 from DaanDeMeyer/fix

mkfs-util: Make sure we pass non option arguments last

time-util: rework localtime_or_gmtime() into localtime_or_gmtime_usec()

We typically want to deal in usec_t, hence let's change the prototype
accordingly, and do proper range checks. Also, make sure are not
confused by negative times.

Do something similar for mktime_or_timegm().

This is a more comprehensive alternative to #34065

Replaces: #34065

hwclock-util: the struct tm parameter is not a pure return parameter, it's also an input parameter

Merge pull request #34256 from YHNdnzj/pid1-followup

core: follow-ups for recent PRs

mkfs-util: Make sure we pass non option arguments last

POSIX specifies that getopt() stops parsing options when it encounters
a non-option argument, so let's make sure we pass non-option arguments
last.

mkfs-util: Fix error handling

update TODO

test: fix indentation

test: add test case for systemd-repart --seed=random

For issue #34257.

Merge pull request #34235 from yuwata/firstboot-systemctl-trivial-cleanups

firstboot,systemctl: trivial cleanups

repart: initialize seed earlier

As the seed is used by context_load_partition_table() -> derive_uuid().

Fixes #34257.

man: ARP=no also disables IPv6 Neighbor Discovery Protocol

Addresses https://github.com/systemd/systemd/issues/18063#issuecomment-2323410288.

Merge pull request #34090 from DaanDeMeyer/cow-fix

Rework COW <=> NOCOW copying behavior

firstboot: reduce log level of timezone validation

An error message is already printed directly after, so the user already
knows that the validation failed. This also isn't done for the other
validation functions.

firstboot: reduce empty input log level

The user knows they pressed `Enter`, no need to inform them again about
that they skipped the prompt.

firstboot: add newline before key wait

When sd-firstboot is ran during first boot of a new system this missing
newline leads to a bootup message being appended on the same line as the
message instructing to press a key.

test: add test cases of "systemctl cat" for nonexistent units

systemctl: cat: do not exit(1) on missing units if `--force`

We are eating the error message if `--force` is set, so do not return
a non-zero exit code either.

Merge pull request #34212 from YHNdnzj/recvmsg-safe-trunc

tree-wide: handle MSG_TRUNC with recvmsg_safe()

core: rename BindJournalSockets= to BindLogSockets=

Addresses https://github.com/systemd/systemd/pull/32487#issuecomment-2328465309

core/namespace: add comment to explain the non-obvious assumption on /run/systemd/journal/

Follow-up for 119820f8abf587f96a11fb1f28ef854e84bc3122

Addresses https://github.com/systemd/systemd/pull/32487#discussion_r1743493196

core/namespace: make bind mounted journal sockets nosuid + noexec + nodev

Addresses https://github.com/systemd/systemd/pull/32487#discussion_r1743464797

core/exec-invoke: use bind_mount_add() where appropriate

core/namespace: use GREEDY_REALLOC at one more place

core/unit: introduce unit_set_debug_invocation()

Given that debug_invocation is a Unit thing, make
service_set_debug_invocation() generic. Plus, don't
say "Service failed", as it would be spurious when
Restart=always.

core: add missing serialization for Unit.debug_invocation

Follow-up for 7d8bbfbe0852ec89590d1dc5e28afc95d6d44fa1

core/service: modernize service_load_pid_file() a bit

core/service: minor coding style tweak

copy: Introduce COPY_NOCOW_AFTER and use it when copying images

When dealing with copying COW images, we have to make a tradeoff:

- Either we don't touch the NOCOW bit on the copied file COW and get
  an instant copy because we're able to reflink, but we might get
  reduced performance if the source file was COW as COW files and lots
  of random writes don't play well together.
- Or we force NOCOW for the copied file, which means we have to do a
  full copy as reflinking from COW files to NOCOW files or vice versa
  is not supported.

In exec-invoke.c, we've opted for the first option. In nspawn.c and
discover-image.c, we've opted for the second option.

In nspawn, this applies to the --ephemeral option to make ephemeral
copies. In discover-image.c, this applies to cloning images into
/var/lib/machines. Both these features might be used to run many
machines of the same original image. We really don't want to force
a full copy onto users in these scenarios when they're expecting
reflink behavior, leading to them running out of disk space. Instead,
degraded performance in their machines is a much less severe issue,
which they will discover on their own if it affects them, at which
point they can make their original image NOCOW at which point they'll
get both the reflinks and better performance.

Given the above reasoning, let's switch nspawn.c and discover-image.c
to use COPY_NOCOW_AFTER as well instead of enabling NOCOW upfront and
forcing a copy if the original source image is COW.

copy: Copy nocow flag by default

Unless otherwise requested, if we're going to copy a nocow file, make the
target file nocow as well.

Aside from keeping the performance characteristics of the cow or nocow file
intact, reflinking also only works from cow to cow or nocow to nocow files.
Reflinking from cow to nocow or nocow to cow files does not work and can
easily lead to unexpected copies for users, so by keeping the nocow bit
intact across copies by default we also make sure reflinks always work.

chattr-util: Optimize read_attr_at()

Let's make sure we only reopen O_PATH file descriptors.

socket-util: make recvmsg_safe() handle MSG_TRUNC too

Also, unify MSG_TRUNC handling all across the codebase.

machine-dbus: use in_same_namespace() at one more place

udev-ctrl: drop unused next_datagram_size_fd() call

core/manager: close all cmsg fds where none is expected

udev-ctrl: add missing size check of received message

While at it, downgrade log level of ignored errors to LOG_WARNING.

audit-util: check correct errno

sd-varlink: check correct errno

'n' can also be assigned from recvmsg_safe(), which is our own
func returning negative errno.

fd-util: also close pidfd from SCM_PIDFD in cmsg_close_all()

Revert "copy: Copy file attributes as well"

This reverts commit 2356104efcc599439c887b087da83fbeca1fa9a6.

Revert "tree-wide: Don't explicity disable copy-on-write when copying images"

Let's still try to disable COW after copying. It won't do much, but
it doesn't hurt either.

See https://github.com/systemd/systemd/pull/33825/files#r1727288871.

This reverts commit 42e9288180ce37abd86c58774950636ebce35432.

Merge pull request #34251 from DaanDeMeyer/multiq

network: Add support for multiq qdisc

network: Add support for mq qdisc

network: Add support for multiq qdisc

Merge pull request #34205 from yuwata/pretty-print-buffering

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Merge pull request #34224 from yuwata/network-make-qdisc-reconfigurable

network: make qdisc reconfigurable

Merge pull request #32487 from YHNdnzj/bind-journal-sockets

core: introduce BindJournalSockets=

build(deps): bump softprops/action-gh-release from 2.0.5 to 2.0.8

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.0.5 to 2.0.8.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/69320dbe05506a9a39fc8ae11030b214ec2d1f87...c062e08bd532815e2082a85e87e3ef29c3e6d191)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump super-linter/super-linter from 6.6.0 to 7.1.0

Bumps [super-linter/super-linter](https://github.com/super-linter/super-linter) from 6.6.0 to 7.1.0.
- [Release notes](https://github.com/super-linter/super-linter/releases)
- [Changelog](https://github.com/super-linter/super-linter/blob/main/CHANGELOG.md)
- [Commits](https://github.com/super-linter/super-linter/compare/88ea3923a7e1f89dd485d079f6eb5f5e8f937589...b92721f792f381cedc002ecdbb9847a15ece5bb8)

---
updated-dependencies:
- dependency-name: super-linter/super-linter
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-50-DISSECT: add explicit coverage for BindJournalSockets=

test: drop unneeded journal socket bind mounts
(where BindJournalSockets=yes is implied)

portable/profile: use BindJournalSockets=

core/namespace: create /dev/log only if journal socket is present

core: introduce BindJournalSockets=

Closes #32478

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8 to 31b4e756c1484c302435653da5d3b9bdfae38518.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8...31b4e756c1484c302435653da5d3b9bdfae38518)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #34240 from DaanDeMeyer/mkosi

mkosi: Rework debian/ubuntu prepare script to install dependencies

mkosi: Use apt patterns to install dependencies on Debian/Ubuntu

Instead of parsing the human readable output of apt-cache, let's
use apt patterns to figure out the dependencies.

We also filter out virtual packages as apt will fail and say we need
to install an implementation of the virtual package even if a package
that provides the virtual package is already installed.

mkosi: Make systemd package filtering more robust

Let's not just filter everything with systemd in the name, but instead
use the same list of volatile packages that we install to do the
filtering.

Merge pull request #34236 from DaanDeMeyer/manager-split

json-util: Add more builders

json-util: Add JSON_BUILD_PAIR_UNSIGNED_NOT_EQUAL()

json-util: Add JSON_BUILD_TRISTATE() and friends

json-util: Add JSON_BUILD_PAIR_BASE64_NON_EMPTY() and friends

json-util: Add JSON_BUILD_PAIR_BYTE_ARRAY_NON_EMPTY()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_NEGATIVE()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_ZERO()

json-util: Add JSON_BUILD_PAIR_CALLBACK_NON_NULL()

Like JSON_BUILD_PAIR_CALLBACK(), but doesn't add anything to the variant
if the callback doesn't put anything in the return argument.

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP_NON_NULL()

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP()

json-util: Add JSON_BUILD_RATELIMIT()

json-util: Add JSON_BUILD_STRING_ORDERED_SET()

Merge pull request #34190 from DaanDeMeyer/repart-compress

repart: Add compression support

Merge pull request #34228 from poettering/uki-with-many-prep1

Two preparatory EFI library additions

repart: Add compression support

Now that mkfs.btrfs is adding support for compressing the generated
filesystem (https://github.com/kdave/btrfs-progs/pull/882), let's
add general support for specifying the compression algorithm and
compression level to use.

We opt to not parse the specified compression algorithm and instead
pass it on as is to the mkfs tool. This has a few benefits:

- We support every compression algorithm supported by every tool
  automatically.
- Users don't need to modify systemd-repart if a mkfs tool learns a
  new compression algorithm in the future
- We don't need to maintain a bunch of tables for filesystem to map
  from our generic compression algorithm enum to the filesystem specific
  names.

We don't add support for btrfs just yet until the corresponding PR
in btrfs-progs is merged.

TEST-58-REPART: Only skip part of testcase_minimize() that requires root

TEST-58-REPART: Always run TEST-58-REPART in virtual machine

Required for various tests in TEST-58-REPART.

mkosi: Don't create sanitizer wrappers for every mkfs binary

mksquashfs for some reason ends up in nss_systemd and mkfs.btrfs
links against libudev. The others don't need a sanitizer wrapper
script.

Merge pull request #34149 from DaanDeMeyer/btrfs

repart: Switch to new mkfs.btrfs subvolume API

resolve: fix typo

Follow-up for 67d0ce8843d612a2245d0966197d4f528b911b66.

resolved: include Varlink error on inconsistent DNS-SD services in introspection data

Let's also rename the error slightly, since what happens here is that a
a valid service RR name is CNAME'd onto an invalid one. That's an
inconsistency on the server side, which we really should report as such.

Follow-up for: b48ab08732a76b7337628e1e716f11c687000903

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Then, the buffer will be flushed and buffering will be disabled on
exiting from the scope.

pretty-print: rename {draw,clear}_progress_bar_unbuffered() -> {draw,clear}_progress_bar_impl()

Addresses https://github.com/systemd/systemd/pull/34205#discussion_r1739648525.
Follow-ups for 5f9dd9c64d20e7cdf8b509421e28cfebf31b7c32.

Merge pull request #34140 from yuwata/conf-parser-log-message

conf-parser: introduce log_syntax_parse_error() and use it

Merge pull request #34202 from AdrianVovk/sysupdated-fixups

sysupdated: Bugfixes & improvements

test: don't install Python scripts from systemd-test RPM

The original regex didn't cover the `run-unit-tests.py` script that
made the old framework pull in Python into the test image, which in turn
allowed the new TEST-69-SHUTDOWN Python script to get executed in the
old framework's image, causing unexpected fails with latest Python on
Rawhide.

sysupdated: Improve logging about jobs

If someone runs `updatectl update`, sysupdate will be running multiple
update jobs at the same time, which can make reasoning about the output
in the journal quite difficult. Especially if things go wrong: the error
messages didn't mention which job failed. Nor was there any link between
job ID and the PID of the worker process logging to the journal. This
is all fixed here!

sysupdated: Cleanup handling of notifications

Cuts out some `strdup`s, and also avoids a rather weird case of donating
memory to a function. Basically just duplicates the solution I just
implemented for sysupdate's callout handler.

sysupdate: Don't ignore callout binary failure

Previously, if the callout binary (i.e. sd-pull, sd-import) failed
gracefully, we'd return its exit status from the event loop and thus
from run_callout(). Of course, exit status is a positive number in the
event of failure. Which means that we completely ignore the callout
binary failing, and instead continue using whatever it managed to
download before failing.

This is bad for obvious reasons, not the least of which is installing
a half-downloaded OS. This also means that we would completely ignore
failed signature checks 😬️

portable: ensure PORTABLE_FORCE_ATTACH works even when there is a leftover unit

Force means force, we skip checks with PID1 for existing units, but
then bail out with EEXIST if the files are actually there. Overwrite
everything instead.

efi: add file_handle_read() helper that reads from a file handle

efi: return pointer to processed string in strtolower8()/strtolower16()

networkd: Replace existing objects instead of doing nothing if they exist

Currently, if for example a traffic control object already exist, networkd
will silently do nothing, even if the settings in the network file for the
traffic control object have changed. Let's instead replace the object if it
already exists so that new settings from the network file are applied as
expected.

Fixes #31226

network/tclass: do not save tclass to Link before it is configured

Otherwise, if the same kind of tclass is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
tclass and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for tclass.

network/qdisc: do not save qdisc to Link before it is configured

Otherwise, if the same kind of qdisc is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
qdisc and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for qdisc.

Preparation for fixing #31226.