resolved: drop timestamp parameter to dns_cache_put() we don't ever pass

resolved: avoid NOTIMP error when looking up not supported requests

Some folks argue that NOTIMP should only be returned if a specific QTYPE
is not supported. While I don#t think the RFCs are too clear about that,
let's use REFUSED instead, which appears to be a less controversial
choice of error code.

Prompted-by: #17218

resolved: add support for answering DNSSEC questions on the stub

This substantially beefs up the local DNS stub feature set in order to
allow local clients to do DNSSEC validation through the stub.

Previously we'd return NOTIMP if we'd get a DO or DO+CD lookup. With
this change we'll instead:

1. If we get DO+CD requests (i.e. DNSSEC with no local checking) we'll
   proxy DNS queries and response mostly unmodified to/from upstream DNS
   servers if possible (this is called "bypass" mode).  We will patch in
   new request IDs, (and patch them back out on reply), so that we can
   sanely keep track of things.  We'll also maintain a minimal local
   cache for such lookups, always keeping the whole DNS packets in it
   (if we reply from cache we'll patch the TTLs of all included RRs).

2. If we get DO requests without CD (i.e. DNSSEC with local checking)
   we'll resolve and validate locally. In this mode we will not proxy
   packets, but generate our own. We will however cache the combination
   of answer RRs (along with their packet section assignments) we got
   back in the cache, and use this information to generate reply packets
   from the DNS stub.

In both cases: if we determine a lookup is to be answered from LLMNR or
mDNS we'll always revert to non-DNSSEC, non-proxy operation as before.
Answers will lack the DO bit then, since the data cannot be validated
via DNSSEC by the clients.

To make this logic more debuggable, this also adds query flags for
turning off RR sources. i.e. cache/network/zone/trust anchor/local
synthesis may now be disabled individually for each lookup.

The cache is substantially updated to make all this work: in addition to
caching simple RRs for lookup RR keys, we'll now cache the whole packets
and the whole combination of RRs, so that we can answer DO and DO+CD
replies sensibly according to the rules described above. This sounds
wasteful, but given that the
DnsResourceRecord/DnsResourceKey/DnsAnswer/DnsPacket
objects are all ref-counted and we try to merge references the actual
additional memory used should be limited (but this might be something to
optimize further later on).

To implement classic RR key lookups and new-style packet proxy lookups
(i.e. the ones necessary for DO+CD packet proxying, as described above)
DnsTransaction and DnsQuery objects now always maintain either a
DnsResourceKey/DnsQuestion as lookup key or a DnsPacket for "bypass"
mode.

Fixes: #4621 #17218

resolved: DNS_CLASS_ANY lookups are OK too

resolved: if dns_packet_append_answer() fails count how many RRs were successfully added

This is useful later when handling the truncation case: if we can't add
all RRs we'd like to add we need to set the TC bit, but still report the
number of RRs we added (and not the number of RRs we would have liked to
add) to the packet.

resolved: add RRSIG field to DnsAnswerItem

resolved: add new DnsAnswerFlags indicating originating section when parsing

Let's beef up our parser a bit: let's store in the DnsAnswerFlags field
(that is stored as part of DnsAnswerItem) which DNS packet section (i.e.
answer, authoritative, additional) an RR originates from.

This is useful when propagating answers from an upstream DNS server
eventually, as we can place the data in the right sections downstream
too.

resolved: replace DNS_ANSWER_FOREACH_FULL() iterator macro with DNS_ANSWER_FOREACH_ITEM()

The more fields DnsAnswerItem gains the less sense it makes to pass
every field of it as separate parameter to an iterator macro. Let's
simplify things here, in preparation of adding more fields to the
structure later on: let's just return the structure itself in the loop,
rather than the individual fields.

resolved: slight modernizations of resolved-dns-answer.c functions

Let's follow our own coding style an initialized return values on all
cases of "success".

resolved: add dns_answer_contains() helper

resolved: add logic for patching TTLs of full packets

resolved: add logic for patching OPT max udp size of existing packet

resolved: introduce dns_transaction_key() helper for getting RR key for transaction

This is a simple search&replace excercise: instead of accessing the
"key" field of the transaction directly, let's use a small inline helper
that does this for us.

This appears pointless for now, but this will become useful later when
we introduce "bypass" transactions, that reuse the original client DNS
packet for queries instead of synthesizing a packet of our own. In that
case transactions either have regular "key" field initialized as before,
or the "bypass" packet field instead. The new dns_transaction_key()
helper allows us to hide the differences for most cases as we can later
teach it to access the "bypass" packet's question key transparently.

No change in behaviour.

resolved: add helper dns_packet_dup() for duplicating packets

Merge pull request #18518 from poettering/inhibit-limit-columns

put a width limit on the "systemd-inhibit --list" table

inhibit: cut off overly long "who" fields

systemd-inhibit when invoked with a command line will put the whole
command line in the "who" field of the inhibitor lock. This can get
extremely long for shell expressions, making the table "systemd-inhibit
--list" shows ridiculously weirdly formatted. Let's put a limit on the
column width: half of the screen, not more.

format-table: don't hit assert if column got less width than it asked for

If one field in a specific column has a maximum size limit, other fields
in the same column might affected by it and get less than they asked
for. Let's make sure we can handle this, and don't assert on this
because surprisingly we got less than what we asked for.

Merge pull request #18470 from mrc0mmand/ci-clang-12

ci: run build test with clang-12 as well

Merge pull request #18416 from yuwata/strverscmp

util: introduce strverscmp_improved()

fuzz-journal-remote: do not assert on resource conditions

We have a number of issues where oss-fuzz reports input-independent crashes of
fuzz-journal-remote. Instead of asserting that stuff that allocated fds and
memory never fails, let's instead just return an error.

https://oss-fuzz.com/testcase-detail/4791099424112640
https://oss-fuzz.com/testcase-detail/4531912477638656

I don't see any docs as to whether LLVMFuzzerTestOneInput() is allowed to
return non-zero. Propagating the error code is easiest, so let's just do that.
If it turns out that this causes oss-fuzz to still report a failure, we can
suppress that later.

log: do not use uninitialized value

Follow-up for 85cf96e3f567cd51f79d671bbf3559550fdd67b7.

ci: temporarily pin Arch repositories to glibc 2.32-5

glibc 2.33-3 shipped on 2021-02-06 breaks running Arch containers on
systems with older kernels (like Ubuntu Focal). Until the issue is
resolved, let's pin the Arch repositories to glibc 2.32-5 to mitigate
the annoying CI fails.

See: https://bugs.archlinux.org/task/69563

Merge pull request #18346 from yuwata/hostnamectl-try-to-set-transient-hostname

hostnamectl: try to set transient hostname even if setting static or pretty hostname failed

test-network: support protocol and linkdown flag for ff00::/8 route

Fixes #18507.

network: Delay addition of IPv6 Proxy NDP addresses

Setting of IPv6 Proxy NDP addresses must be done at the same
time as static addresses, static routes, and other link attributes
that must be configured when the link is up. Doing this ensures
that they are reconfigured on the link if the link goes down
and returns to service.

tree-wide: replace strverscmp() and str_verscmp() with strverscmp_improved()

string-util: introduce strverscmp_improved()

Unfortunately, strverscmp() from libc or str_verscmp() do not correctly
handle pre-release version, e.g. 247 vs 247~rc1.

This implement a new comparison function, which is based on the RPM's
rpmvercmp().

fundamental: move several macros and functions into src/fundamental/

sd-boot has a copy of a subset of codes from libbasic. This makes
sd-boot share the code with libbasic, and dedup the code.

Note, startswith_no_case() is dropped from sd-boot, as
- it is not used,
- the previous implementation is not correct,
- gnu-efi does not have StrniCmp() or so.

hostnamectl: use Table

hostnamectl: show hint when user try to set transient hostname but static hostname is already used

hostname: use free_and_strdup_and_warn()

hostname: re-read file later when failed to update file

Previously, even when writing e.g. /etc/hostname fails, the static
hostname in Context is not restored. So, the subsequent call of the same
method succeeds:
```
$ sudo chattr +i /etc/hostname
$ sudo hostnamectl --static set-hostname aaa
Could not set static hostname: Access denied
$ echo $?
1
$ sudo hostnamectl --static set-hostname aaa
$ echo $?
0
```

This makes when updating file is failed, the saved stat is cleared. So,
the static hostname or machine information in the context are always
consistent to the corresponding files.

hostnamectl: unset pretty hostname only when no target is specified

hostnamectl: try to set transient hostname even if updating static or pretty hostname failed

If no target (--pretty, --static, or --transient) is specified, then
let's try to set transient hostname even if setting static or pretty
hostname failed. This may be useful for read-only filesystem.

hostname: introduce two bus errors for updating file

bus-error: align error definitions

hostnamectl: improve log message on failure

hwdb: add axis overrides for the Dell Latitude E5510 TouchPad (#18493)

I added an entry for Dell Latitude E5510 TouchPad to set up the true size
of the TouchPad (the size is currently over-estimated)

Merge pull request #18478 from mrc0mmand/fix-TEST-06

TEST-06-SELINUX fixes

tree-wide: fix the string concatenation warning with clang-12

e.g.:
./src/shared/dissect-image.c:2218:39: error: suspicious concatenation of string literals in an array initialization; did you mean to separate the elements with a comma? [-Werror,-Wstring-concatenation]
                                      "/usr/lib/os-release\0",
                                      ^
../src/shared/dissect-image.c:2217:39: note: place parentheses around the string literal to silence warning
                [META_OS_RELEASE]   = "/etc/os-release\0"
                                      ^
1 error generated.

See: https://reviews.llvm.org/D85545

Merge pull request #18375 from yuwata/cli-tools-also-read-kernel-command-line

tree-wide: make CLI tools also read kernel command line when run as service

Merge pull request #18331 from yuwata/test-udev-event-spawn

udev: add tests for udev_event_spawn()

Use correct config parser for MountAPIVFS (#18501)

As far as I can see, at some point the parser function for MountAPIVFS
was changed from the generic bool parser to a custom implementation, to
allow the context to keep track of whether MountAPIVFS had been set
explicitly. If not, exec_context_get_effective_mount_apivfs would fall
back to a default value. However, the corresponding entry in the big
parser table wasn't updated, meaning that the old bool parser was still
used, meaning that context->mount_apivfs_set remained at its default
value of false, meaning that the default value was always used and the
config option was effectively ignored.

Fix for 5e98086d1629f5c5b73645ba2568de4b09b7d958.

hwdb: add Acecad Flair / Pentagram Quadpen (#18443)

Merge pull request #18490 from keszybz/prettify-update-dbus-docs

Prettify update-dbus-docs

update-dbus-docs: use color in summary

update-dbus-docs: say "MODIFIED" not "OUTDATED"

When executed in test mode, "OUTDATED" is appropriate. But when executed
to actually update the text, after the tool executes, those pages are the
opposite, not outdated.

copy: use stat_verify_directory() where appropriate

man: fix misspellings of "NameSeviceSwitch"

Fixup NameSeviceSwitch -> NameServiceSwitch spelling error in
documentation.

Found through inspection of documentation.

Translations update from Weblate (#18485)

* Translated using Weblate (Swedish)

Currently translated at 100.0% (189 of 189 strings)

Translation: systemd/main
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/sv/

Co-authored-by: Göran Uddeborg <goeran@uddeborg.se>

github: ask for systemd version in RFE form

It happens too often that what people ask for already is implemented.
Let's help cut the noise a bit, and make people check things first
hopefully, and at least make it either for us to detect such cases.

resolved: suppress ifindex info in varlink JSON responses if zero

If we don't have ifindex info, don't set the field for it.

We already do that for parsed IP address replies, let's do it for all
cases: it's a bit nicer to suppress the ifindex prop if it doesn't apply
than to pass it invalid.

This is the other side of #18482, i.e. fixes things so that the parser
doesn't get tripped up by this.

(This too makes a problem go away we should track down properly, i.e.
figure out how the ifindex got lost in
https://github.com/systemd/systemd/pull/17823#issuecomment-742439422 )

Merge pull request #18482 from poettering/resolved-nss-varlink-ifindex-fix

nss-resolve: handle zero ifindex reply from server

nss-resolve: shortcut fixing of ifindex if it's zero anyway

nss-resolve: accept zero ifindex when parsing resolved reply

Sometimes a reply isn't associated to any specific interface, it might
be a general truth (for example served from /etc/hosts or so). In this
case the server might pass ifindex == 0. Accept that.

https://github.com/systemd/systemd/pull/17823#issuecomment-742439422

Merge pull request #18318 from yuwata/network-route-table-name

network: RouteTable= improvements

PATCH] Always free deserialized_subscribed on reload

Otherwise, it will keep consuming memory on systemctl daemon-reload.

test: add a custom SELinux file context

Since the test suite overhaul, the test units are now under
/usr/lib/systemd/tests/testdata/tetsuite-06.units with
system_u:object_r:lib_t context. This causes an AVC denial, since the
systemd unit files are expected to have the
system_u:object_r:systemd_unit_file_t context. Let's fix this by using a
custom file context definition.

test: clean the module build dir before compiling it

otherwise the module won't compile & load after autorelabel reboot,
since the target is already built.

Revert "resolvectl: Add show-multicast verb to show discovered LLMNR/mDNS hosts"

Merge pull request #18472 from poettering/conservative-rename-fix

fix conservative_renameat()

man: fix typo

core: map io.bfq.weight to 1..1000

Aaargh. See the comment in the code.

Apparently the range is like that:
$ sudo bash -c 'echo "default 1001" >/sys/fs/cgroup/user.slice/io.bfq.weight'
bash: line 0: echo: write error: Numerical result out of range

$ uname -r
5.11.0-0.rc4.129.fc34.x86_64

test-fs-util: beef up test for conservative_renameat()

Instead of using a short fixed string, let's use a huge blob for
testing, with randomized size and contents, that definitely is above the
16K buffer size conservative_renameat() uses internally.

fs-util: make sure conservative_renameat() properly detects identity of longer files

The old code got confused with files with a size >16K. Let's fix that.

Noticed by @benjarobin

Replaces: #18442

xdg-autostart: Generate autostart services with templated name

The "XDG standardization for applications" specification states that
services should be in the form:

app[-<launcher>]-<ApplicationID>[@<RANDOM>].service or
app[-<launcher>]-<ApplicationID>-<RANDOM>.scope

In this case "autostart" takes the place of [RANDOM] to provide a unique
identifier if the same app is launched elsewhere. As it is a service
that means it should be set as a template not using a hyphen delimiter.

boot: Replace efivar_set() persistent argument with flags argument

To add secure-boot enrolling support, we need to be able to specify
the EFI_VARIABLE_APPEND_WRITE flag so let's make the efivar_set()
methods more generic so we can set that flag.

ci: run build test with clang-12 as well

Ubuntu repositories for clang 12 are finally up, so let's use it
in our CI.

man: reword the description of "main conf file"

While not really "wrong", the text we had could use a little editing.

Fixes #18458.

Merge pull request #18444 from anitazha/proprename

oom: parse properties with 1/10000 precision instead of 1/100

Merge pull request #18355 from DaanDeMeyer/resolved-discover

resolvectl: Add show-multicast verb to show discovered LLMNR/mDNS hosts

Merge pull request #18462 from poettering/copy-time

timestamp fixes in copy.c

import: use +i (immutable) chattr flag for marking OS images read-only

This is what nspawn and machine-image.[ch] actually look for, hence us
it here too.

import: fix etag detection support

Let's make sure we still look at the etags reported by http 304 (i.e.
the cache management code). Otherwise we won't properly realize we
already downloaded this before.

This fixes a bug introduced in 6792cbbcf84b730f465decbeaf247c6b1ccf1c18

Merge pull request #18459 from poettering/discover-image

shared: rename machine-image.[ch] → discover-image.[ch]

path-util: tighten path_is_valid() checks

This tightens the path_is_valid() checking: it now tests whether each
component in the path is bound by FILENAME_MAX in its size.

copy: simplify futimens() invocation

copy: also attempt to copy atime/mtime when copying symlinks, device nodes, fifos

discover-image: don't mix two types of stack allocation in one line

shared: rename machine-image.[ch] → discover-image.[ch]

The old name originates when this was used to discover "machine" images,
as managed by machined/machinectl. But nowadays this is also used by
portable services and system extensions, hence let's use a more generic
name for this API. Taking inspiration from "dissect-image.[ch]", let's call
this "discover-image.[ch]".

This is pure renaming, no other changes.

test-network: disable NDISC on veth-peer

This should speed the tests up.

Deprecate builds with split-usr, prepare for removal

There is no technical reason to support systems with split-usr, except for
backwards compatibility. Even though systemd itself makes an effort to support
this, many other tools aren't as careful. Despite those efforts, we
(collectively) get it wrong often, because doing it "wrong" on systems with
merged-usr has no consequences. Since almost all developers are on such
systems, any issues are only discovered late. Supporting this split-usr mode
makes both code and documentation more complicated. The split is purely
artificial and has no justification except to allow old installation to not
update. Mechanisms to update existing systems are available though: Fedora
did that in https://fedoraproject.org/wiki/Features/UsrMove, Debian has
the usrmerge package.

The next version of Debian will only support systems with split-usr=false,
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=978636#178:

  The Technical Committee resolves that Debian 'bookworm' should
  support only the merged-usr root filesystem layout, dropping support
  for the non-merged-usr layout.

Let's start warning if split-usr mode is used, in preparation to removing the
split in one of the future releases.

Translated using Weblate (Swedish) (#18457)

Currently translated at 94.1% (178 of 189 strings)

Co-authored-by: Göran Uddeborg <goeran@uddeborg.se>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/sv/
Translation: systemd/main

network: correct name of parameter in function prototype

The output parameter of `sd_rtnl_message_neigh_get_ifindex` is called `index`,
not `family`.

Merge pull request #18319 from yuwata/udev-move-tx-rx-queues

network,udev: move TransmitQueues=/ReceiveQueues= from .network to .link

logind: simplify flags handling a bit

Let's split out the two codepaths a bit, and emphasize which ones it the
new-style and which the old-style codepath, and let's clearly convert
the params of the old-stye into the new style for further processing, so
that the old style path is brief and isolated.

No change in behaviour.

Follow-up for: 8885fed4e3a52cf1bf105e42043203c485ed9d92

Merge pull request #18423 from DaanDeMeyer/sd-boot-no-include

More sd-boot cleanups

network,udev: move TransmitQueues=/ReceiveQueues= from .network to .link

As the settings are mostly hardware setup, and merely see from network
layer.

See also discussions in
https://github.com/systemd/systemd/pull/18170#issuecomment-758807497
https://github.com/orgs/systemd/teams/systemd/discussions/1

udev: rename TxQueueLength= -> TransmitQueueLength=

As we usually (unfortunately not always though) do not use abbreviations.

Tx may be standard abbreviation, but we already have e.g.
TransmitChecksumOffload=. So, let's use Transmit instead of Tx.

Follow-up for ef4a91a7e8d8337a9d65177b09eb7580b25b8f5d.

test: add tests for RouteTable= setting

network: use defined route table name in debug logs

And rename route_table_from_string_full() to
manager_get_route_table_from_string().

network: make RouteTable= setting can take multiple name:number pairs in a line

Follow-up for c038ce4606f93d9e58147f87703125270fb744e2.

oom: rework *MemoryPressureLimit= properties to have 1/10000 precision

Requested in
https://github.com/systemd/systemd/pull/15206#discussion_r505506657,
preserve the full granularity for memory pressure limits (permyriad)
instead of capping out at percent.

ci: build with -Werror on Fedora

Prompted by: https://github.com/systemd/systemd/pull/18400#issuecomment-771602705

path-util: tighten path_extract_filename()

Let's tighten the logic behind path_extract_filename() a bit: first of
all, refuse all cases of invalid paths with -EINVAL. More importantly
though return a recognizable error when a valid path is specified that
does not contain any filename. Specifically, "/" will now result in
-EADDRNOTAVAIL.

This changes API, but none of the existing callers care about the return
value, hence the change should be fine.

Merge pull request #18435 from keszybz/oomd-readiness-and-other-tweaks

Mark oomd as supported and other tweaks

boot: Add startswith() and endswith() functions with no_case variants

Adapted from string-util

boot: Drop unnecessary braces

boot: Fix void pointer arithmetic warning

boot: Replace raw efivar gets with typed variants