journal-rate-limit: replace in-house management of JournalRateLimitGroup with OrderedHashmap

No functional change, just refactoring.

journal-rate-limit: split out journal_ratelimit_group_acquire()

No functional change, just refactoring.

journal-rate-limit: introduce cleanup function for JournalRateLimitGroup

This also makes journal_ratelimit_group_new() use structured initializer.

journal-rate-limit: rename variables

'r' is usually used for storing return value.

journal-rate-limit: use FOREACH_ELEMENT() and usec_add()

journal-rate-limit: make journal_ratelimit_group_free() return NULL

To make it follow our recent coding style.

journal-rate-limit: add trailing comma in table

test: introduce test cases for journal_ratelimit_test()

tree-wide: use LOG_PRI() and LOG_FAC()

debug-generator: Allow specifying name of unit-dropin credential

A fixed name is too rigid, let's give users the ability to define
custom drop-in names which at the same time also allows defining
multiple dropins per unit.

We use ~ as the separator because:
- ':' is not allowed in credential names
- '=' is used to separate credential from value in mkosi's --credential
  argument.
- '-' is commonly used in filenames
- '@' already has meaning as the unit template specifier which might be
  confusing when adding dropins for template units

Merge pull request #32755 from yuwata/test-network-cleanups

test-network: several cleanups

test-network: simplify and unify waiting loop

Also,
- drop unused fail_assert arguments,
- use wait_links() and check_networkd_log() in wait_activated().

test-network: make link_exists() take multiple arguments

This also improves performance of test_delete_links().

Fix Positivo N14EPE and N15EPE key toggle touchpad and search key

libcrypt-util: fix wrong errno value assignment

Follow-up for 9de324c3c919f20fd49e1d25579f5a66cac0eaa0.

Merge pull request #32747 from YHNdnzj/tmpfiles-ret-gather

tmpfiles: some cleanups/follow-up

Merge pull request #32748 from yuwata/test-network-improvements

test-network: several more improvements

test-network: check existence of kernel bug

This adds checks for the kernel bug caused by
https://github.com/torvalds/linux/commit/3ddc2231c8108302a8229d3c5849ee792a63230d,
it will be fixed by
https://patchwork.kernel.org/project/netdevbpf/patch/20240510072932.2678952-1-edumazet@google.com/

test-network: introduce --no-journal option

This should be useful when the test run as a service, e.g.
running on a mkosi image.

Merge pull request #32738 from yuwata/trivial-cleanups

Trivial follow-ups for recent changes

NEWS: update for latest changes

Merge pull request #32491 from yuwata/journalctl-fix-boot

journalctl: several fixes and cleanups for --boot= option handling

tmpfiles: use RET_GATHER more, add missing assertions

Note that item_do() now aborts on OOM, since it's
pretty pointless to iterate further if memory allocation
doesn't work.

tmpfiles: don't compare errno with negative value

Follow-up for 677430b3c7fcd1b352eb66f19b8746741459b91a

tmpfiles: clean up hardlinks_vulnerable a bit

dangerous_hardlinks() -> hardlinks_protected(),
and the meaning of the function is now in line
with fs.protected_hardlinks value.

Plus, We ship 50-default.conf where the sysctl
is enabled. Mention it in the comment.

Merge pull request #32741 from yuwata/network-dhcp4-route-to-dns

network/dhcp4: fix assignment of routes to DNS or NTP servers

Merge pull request #32739 from yuwata/vmspawn-journal-forward

vmspawn: fix journal forwarding

mkosi: Update centos submodule to latest

Merge pull request #32743 from yuwata/test-network-for-mkosi

test-network: several improvements for running with mkosi

core/unit: use FOREACH_ELEMENT() to add dependencies for journal namespace instances

Follow-up for 06c0f569e94cc7406886079d241f1c1f82711937.

test: wait for network interface reconfigured after updating config

Otherwise, at this stage, the interface may be in e.g. initialized or
pending state, and the drop-in file introduced by the previous command
may not be registered to the state file for the interface.

Fixes #32685.

test-network: do not fail when /etc/protocols does not exist

Also this makes several checks more strict.

test-network: do not fail test_macvlan() with old kernel or ip command

test-network: do not fail if macvlan module is not available

network/dhcp4: do not set gateway if DNS server or friends is in the acquired prefix

Previously, even if a DNS server is in the acquired prefix, the route to the
server might have gateway address.
This makes the prefix route, which is always configured, is also handled
as same as static routes, and do not use any gateway if the prefix route
is the most suitable route to access the destination.
The same change is also applied to route to NTP servers and semi-static
routes.

Fixes a regression introduced by 0ce86f5eeb0921b44a9782260a8c88aafb15ffde.

Fixes #32715.

test: add basic tests for in_addr_prefix_covers_full()

journalctl: make --list-boots support -n/--lines= option

Also mention that -r/--reverse is supported by the command.

journalctl: fail and show error message when no boot ID found

No boot ID in journal should be definitly spurious.
Let's warn about that and exit with failure.

logs-show: use GREEDY_REALLOC_APPEND()

logs-show: fix stored timestamp when advance_older is true

Currently, the parsed timestamp is only used when advance_older is
false. Hence, this does not change any behavior. But, let's fix it anyway.

journalctl: fix support of --boot=ID±offset format

Fixes a regression introduced by e44f06065bf20e8d0e4adacff61350ebd36f299e.

After the offending commit, if a boot ID suffixed with an offset is
specified to --boot=, the boot ID was ignored.
This fixes the issue.

To fix the issue, this merges journal_find_boot_by_id() and
journal_find_boot_by_offset().

logs-show: flush matches before and after finding boots

Otherwise, if several matches already set, then the first seek to head
or tail may move the cursor to an invalid place, hence they provide
wrong ID(s). Also, reading journal after calling these function may
provide unexpected data.

Currently, the caller does not install any matches before calling the
functions, and does not read any journal entry after journal_get_boots()
succeeds or journal_find_boot_by_offset() succeeds with 0. Hence, this
should not change any behavior. Just for safety.

journalctl: fix --boot=0 with --file=- (from stdin)

Follow-up for 592855c3189549fed93b1060b72299910c6ab1d0.

journalctl: split out journal_acquire_boot() from add_boot()

No functional change, just refactoring and prepration for later changes.

vmspawn: fix finding systemd-journal-remote binary

Follow-up for 258d26940fb6bfa1b5b8acf03cc4a37f2657e4ac.

Fixes https://github.com/systemd/systemd/pull/31218#discussion_r1596168449.

vmspawn: trivial cleanups for start_systemd_journal_remote()

- prefix argument for storing result with 'ret_',
- align arguments for strv_new().

core/service: shorten code a bit

Follow-up for 026335e9aab5ccf1fc9477215beadd0acef94073.

time-util: define TIMESPEC_OMIT

Follow-up for 34c3d574742e867ef97e79509e4051a82f1b7d9b.

journalctl: several cleanups for parse_boot_descriptor()

- rename to parse_id_descriptor(), to make it usable for other kind of
  ID later.
- add missing assertions,
- prefix arguments for storing results with 'ret_',
- drop unnecessary 'else'.

logs-show: add missing strempty()

Follow-up for 8e976dc9209853d5d4d2db3016289f2a5ab99fd9.

logs-show: drop uid argument from add_matches_for_user_units()

It is always equivalent to getuid(). Let's call getuid() in the
function instead.

basic/linux: Copy netfilter.h to the source tree

This fixes build with old toolchains prior to Linux < 4.2 which do not
have a definition for NFPROTO_NETDEV.

shell-completion: on zsh, systemd-cat is a precommand

_precommand lets zsh complete other commands and their arguments
e.g. it can complete grep with "systemd-cat gr" and complete grep options
with "systemd-cat grep -"

network: Add missing IPv6AcceptRA to list of config sections

Merge pull request #32689 from YHNdnzj/cred-missing

core/exec-credential: complain louder if inherited credential is missing

Merge pull request #32694 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

Merge pull request #32733 from YHNdnzj/core-some-cleanup

core: minor cleanups

po: Added translation using Weblate (Hindi)

Co-authored-by: Scrambled 777 <weblate.scrambled777@simplelogin.com>

po: Translated using Weblate (German)

Currently translated at 97.8% (228 of 233 strings)

Co-authored-by: Jarne Förster <fedora@mymailclient.de>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

mkosi: Drop usage of updates-testing for Fedora 40

The util-linux update we need has migrated to the stable repositories.

TEST-46-HOMED: Ignore "Disk Usage" field as well

This can change between the call to homectl inspect and userdbctl
user so let's ignore it along with the other disk fields.

Fixes #32727

core/namespace: take char* const* for strv, use FOREACH_ARRAY

path-util: take char* const* for strv where appropriate

core/unit: use FOREACH_ARRAY at one more place

core/unit: cast unused retval to void

core/dbus-unit: correct argument alignment for SD_BUS_METHOD_WITH_ARGS

Merge pull request #32729 from DaanDeMeyer/kernel-command-line

mkosi: Extend kernel command line

Merge pull request #32701 from bluca/vmspawn/machinectl-shell

vmspawn: implement machinectl shell for vm class machines and send termination signal via D-Bus-over-SSH

mkosi: Make sure the kernel fails loudly on oops/panic/softlockup

Helps with noticing kernel related failures.

mkosi: Add raid=noautodetect to kernel command line

Should speed up boot times a little.

vmspawn: forward signals to VM PID 1 via D-BUS when available

Allow to gracefully shutdown by initiating the operation from
the guest

vmspawn: register with io.systemd.Machine.Register

When available, use varlink to register the VM, so that we can talk
over SSH to the guest. Enables 'machinectl shell' for vmspawn guests.

vmspawn: add a dropin override to sshd-vsock@.service

systemctl-show: make show_memory_available cover memory_available itself

Follow-up for f380473edfa899706d630bb64750ab50c5c04961

This cleans up the code a bit. Also, before this commit,
if MemoryAvailable is set but show_memory_available
is false, and we have nothing else to output, empty
parenthesis is shown. This can be easily reproduced
on -.slice:

> systemctl status -- -.slice
> ...
> Memory: 1.8G ()
> ...

Merge pull request #32717 from keszybz/very-important-fixes

Whitespace adjustments and comments

docs,man: Avoid some ambiguous uses of "may not"

Like much English text, the systemd documentation uses "may not" in the
sense of both "will possibly not" and "is forbidden to".  In many cases
this is OK because the context makes it clear, but in others I felt it
was possible to read the "is forbidden to" sense by mistake: in
particular, I tripped over "the target file may not exist" in
systemd.unit(5) before realizing the correct interpretation.

Use "might not" or "may choose not to" in these cases to make it clear
which sense we mean.

pidfd: properly detect if libc offers pidfd syscalls and make use of them then

We never updated the meson checks when glibc finally learned about these
syscalls, address that.

nspawn: whitespace

repart,measure: reword help descriptions

This is a follow-up/extension for ec361ea9ce0344321a6877d4d69a85db0c5bca4a.

shared: fix comment

Follow-up for 90db1582a97d048769198ee1c0f367d003eeb130.

vmspawn: indentation

firewall-util-iptables: update ELF note to mention "iptables"

Follow-up for cd7c2077954d86d23eafdedf3e258b365622779d

Merge pull request #32709 from bluca/machined_ssh

machined: add GetMachineSSHInfo method and varlink interface to register machines

Merge pull request #32708 from DaanDeMeyer/fix-race

Fix race conditions in tests

hwdb: Add a Logitech MX Master 3S (connected via Bolt Receiver)

The mouse technically has settable DPI between 200 and 8000, with a step of
50, but 1000 DPI is the default setting.
And if someone customizes the mouse DPI setting they can make a custom hwdb
rule too.

Merge pull request #32705 from YHNdnzj/hibernate-error

hibernate-util: differentiate some errors from the generic ENOSPC; systemctl: adjust the fallback behavior for sleep operations

Merge pull request #32710 from YHNdnzj/debug-generator-cleanup

debug-generator: several cleanups

Merge pull request #32234 from poettering/dlopen-name-elf-note

Expose dlopen() dependencies in an ELF section, and add spec for it

Use the correct name of CEL

It's Canonical Event Format, not Common

machined: add varlink interface for registering machines

This commit adds the new varlink interface io.systemd.Machine at
/run/systemd/machine/io.systemd.Machine with a single method Register

It supports all combinations of RegisterMachine[WithSSH,WithNetwork] all
under the same method.

debug-generator: clean up logging and such for units passed from creds

debug-generator: don't eat up error if we can't write drop-in

While at it, prepend the drop-in text with
our usual "Automatically generated by ...".

debug-generator: drop unneeded empty_to_root

debug-generator: use RET_GATHER where appropriate

debug-generator: enclose function call in if statement when retval
is not used

TEST-04-JOURNAL: Sleep more in delegated cgroup filtering script

We already changed logs-filtering.service to sleep 2 seconds before
exiting to combat flakyness, let's do the same for the delegated
cgroup filtering payload.

Fixes #32696 (hopefully)

TEST-81-GENERATORS: Do a lazy unmounts

Otherwise we might fail if PID 1 is currently accessing these files.

Fixes #32692 (hopefully)

ssh-generator: fix pointer cast type

tree-wide: add dlopen ELF notes to all dlopen() deps of ours

Use 'recommended' priority for the default compression library, to
indicate that it should be prioritized over the other ones, as it
will be used to compress journals/core files.
Also use 'recommended' for kmod, as systems will likely fail to boot
if it's missing from the initrd.
Use 'suggested' for everything else.

There is one dlopen'ed TPM library that has the name generated
at runtime (depending on the driver), so that cannot be added, as it
needs to be known at build time.
Also when we support multiple ABI versions list them all, as for the
same reason we cannot know which one will be used at build time.

$ dlopen-notes.py build/libsystemd.so.0.39.0 build/src/shared/libsystemd-shared-256.so
libarchive.so.13 suggested
libbpf.so.0 suggested
libbpf.so.1 suggested
libcryptsetup.so.12 suggested
libdw.so.1 suggested
libelf.so.1 suggested
libfido2.so.1 suggested
libgcrypt.so.20 suggested
libidn2.so.0 suggested
libip4tc.so.2 suggested
libkmod.so.2 recommended
liblz4.so.1 suggested
liblzma.so.5 suggested
libp11-kit.so.0 suggested
libpcre2-8.so.0 suggested
libpwquality.so.1 suggested
libqrencode.so.3 suggested
libqrencode.so.4 suggested
libtss2-esys.so.0 suggested
libtss2-mu.so.0 suggested
libtss2-rc.so.0 suggested
libzstd.so.1 recommended

Co-authored-by: Luca Boccassi <bluca@debian.org>

dlfcn: add macro for exporting dlopen() module names in ELF sections

This allows code to declare "weak" dlopen() style deps via an ELF
section following the just added specification.

The idea is that any user of dlopen() will place ELF_NOTE_DLOPEN(…)
somewhere close which will synthesize the note.

Tools such as rpm/dpkg package builders as well as initrd generators
(such as dracut) can then automatically pick up these weak deps of
suggested dependencies for their purposes.

Co-authored-by: Luca Boccassi <bluca@debian.org>