Merge pull request #17228 from bluca/bind_path_runtime

core: add systemctl and DBUS method to bind mount new paths without service restart

resolved: fix use-after-free with queries hitting the cache

When dns_transaction_complete() manages to resolve a query, it invalidates the
query candidate object. It shall not be accessed afterwards.

We have the following chain of calls:
dns_query_candidate_go → dns_transaction_go → dns_transaction_prepare → dns_cache_lookup (success: 1)
                                                                      → dns_transaction_complete
After returning back to dns_query_candidate_go(), we'd attempt to continue
iteration over the list of transactions attached to the query candidate,
accessing already freed (and overwritten) memory:

(gdb) bt
0  0x00007f637297cf47 in hashmap_iterate_entry (i=0x7ffe7e15cc90, h=0x706f746b73656465) at ../src/basic/hashmap.c:703
1  _hashmap_iterate (h=0x706f746b73656465, i=i@entry=0x7ffe7e15cc90, value=value@entry=0x7ffe7e15cc88,
    key=key@entry=0x0) at ../src/basic/hashmap.c:712
2  0x00007f637297d01b in set_iterate (s=<optimized out>, i=i@entry=0x7ffe7e15cc90, value=value@entry=0x7ffe7e15cc88)
    at ../src/basic/hashmap.c:733
hence we crash

3  0x0000557bc99eb80f in dns_query_candidate_go (c=c@entry=0x557bcaf86890) at ../src/resolve/resolved-dns-query.c:139
...but c is not valid here in the second iteration of the loop

4  0x0000557bc99eb720 in dns_query_candidate_notify (c=0x557bcaf86890) at ../src/resolve/resolved-dns-query.c:271
c was valid here at entry...

5  0x0000557bc99efe28 in dns_transaction_complete (t=0x557bcac072f0, state=<optimized out>)
    at ../src/resolve/resolved-dns-transaction.c:350
t is a valid transaction (11481 in the backtrace below)

6  0x0000557bc99f1efb in dns_transaction_process_reply (t=0x557bcac072f0, p=<optimized out>)
    at ../src/resolve/resolved-dns-transaction.c:1171
7  0x0000557bc99f2d41 in on_dns_packet (s=<optimized out>, fd=<optimized out>, revents=<optimized out>,
    userdata=0x557bcac072f0) at ../src/resolve/resolved-dns-transaction.c:1223
8  0x00007f6372a25217 in source_dispatch (s=s@entry=0x557bcb162c50) at ../src/libsystemd/sd-event/sd-event.c:3181
9  0x00007f6372a254fd in sd_event_dispatch (e=0x557bcb15b050) at ../src/libsystemd/sd-event/sd-event.c:3620
10 0x00007f6372a267c8 in sd_event_run (e=e@entry=0x557bcb15b050, timeout=timeout@entry=18446744073709551615)
    at ../src/libsystemd/sd-event/sd-event.c:3678
11 0x00007f6372a269ef in sd_event_loop (e=0x557bcb15b050) at ../src/libsystemd/sd-event/sd-event.c:3700
12 0x0000557bc99ddc14 in run (argc=<optimized out>, argv=<optimized out>) at ../src/resolve/resolved.c:92
13 0x0000557bc99d260a in main (argc=<optimized out>, argv=<optimized out>) at ../src/resolve/resolved.c:99

xxx.name.net systemd-resolved[31705]: Got message type=method_call sender=:1.3644 destination=org.freedesktop.resolve1 path=/org/freedesktop/resolve1 interface=org.freedesktop.resolve1.Manager member=ResolveHostname cookie=2 reply_cookie=0 signature=isit error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: idn2_lookup_u8: xxx → xxx
xxx.name.net systemd-resolved[31705]: Looking up RR for xxx IN A.
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=AddMatch cookie=1102 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=GetNameOwner cookie=1103 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Got message type=method_return sender=org.freedesktop.DBus destination=:1.3324 path=n/a interface=n/a member=n/a cookie=4294967295 reply_cookie=1103 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Cache miss for xxx.name.net IN A
xxx.name.net systemd-resolved[31705]: Transaction 11481 for <xxx.name.net IN A> scope dns on enp42s0/*.
xxx.name.net systemd-resolved[31705]: Using feature level UDP for transaction 11481.
xxx.name.net systemd-resolved[31705]: Using DNS server 192.168.1.1 for transaction 11481.
xxx.name.net systemd-resolved[31705]: Sending query packet with id 11481 of size 35.
xxx.name.net systemd-resolved[31705]: Got message type=method_return sender=org.freedesktop.DBus destination=:1.3324 path=n/a interface=n/a member=n/a cookie=4294967295 reply_cookie=1102 signature= error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Match type='signal',sender='org.freedesktop.DBus',path='/org/freedesktop/DBus',interface='org.freedesktop.DBus',member='NameOwnerChanged',arg0=':1.3644' successfully installed.
xxx.name.net systemd-resolved[31705]: Processing incoming packet on transaction 11481 (rcode=NXDOMAIN).
xxx.name.net systemd-resolved[31705]: Not caching negative entry without a SOA record: xxx.name.net IN A
xxx.name.net systemd-resolved[31705]: Transaction 11481 for <xxx.name.net IN A> on scope dns on enp42s0/* now complete with <rcode-failure> from network (unsigned).
xxx.name.net systemd-resolved[31705]: Positive cache hit for xxx.lan IN A
xxx.name.net systemd-resolved[31705]: Transaction 64364 for <xxx.lan IN A> on scope dns on enp42s0/* now complete with <success> from cache (unsigned).
xxx.name.net systemd-resolved[31705]: Sent message type=method_return sender=n/a destination=:1.3644 path=n/a interface=n/a member=n/a cookie=1104 reply_cookie=2 signature=a(iiay)st error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Sent message type=method_call sender=n/a destination=org.freedesktop.DBus path=/org/freedesktop/DBus interface=org.freedesktop.DBus member=RemoveMatch cookie=1105 reply_cookie=0 signature=s error-name=n/a error-message=n/a
xxx.name.net systemd-resolved[31705]: Freeing transaction 64364.
xxx.name.net systemd[1]: systemd-resolved.service: Main process exited, code=dumped, status=11/SEGV
xxx.name.net systemd[1]: systemd-resolved.service: Failed with result 'core-dump'.

Fixes #16168, https://bugzilla.redhat.com/show_bug.cgi?id=1895937.

update TODO

test: run strace with -f and copy log out

test: skip missing optional libraries in image install

Not all optional libraries might be available on developers machines,
so log and skip.
Also some pkg-config files are broken (eg: tss2 on Debian Stable) so
skip if the required variables are missing, and improve logs.

core: add DBUS method to bind mount new nodes without service restart

Allow to setup new bind mounts for a service at runtime (via either
DBUS or a new 'systemctl bind' verb) with a new helper that forks into
the unit's mount namespace.
Add a new integration test to cover this.

Useful for zero-downtime addition to services that are running inside
mount namespaces, especially when using RootImage/RootDirectory.

If a service runs with a read-only root, a tmpfs is added on /run
to ensure we can create the airlock directory for incoming mounts
under /run/host/incoming.

MountAPIVFS: always mount a tmpfs on /run

We need a writable /run for most operations, but in case a read-only
RootImage (or similar) is used, by default there's no additional
tmpfs mount on /run. Change this behaviour and document it.

machine: use file descriptor when chasing bind mount sources

Allows to always operate on pinned inodes, rather than paths, so that
races are less likely

machine: enter target PID namespace when adding a live mount

machinectl fails since 21935150a0c42b91a322105f6a9129116bfc8e2e as it's now
mounting onto a file descriptor in a target namespace, without joining the
target's PID namespace.
Note that it's not enough to setns CLONE_NEWPID, but a double-fork is required
as well, as implemented by namespace_fork().

Add a test case to TEST-13-NSPAWN to cover this use case.

shared/mount-util: use namespace_fork utils

machine: adjust error message to use 'normalized' instead of ../

machine/basic: factor out helper function to add airlocked mount to namespace

hwdb: Add Logitech MX 518 Legendary mouse

Add Logitech MX 518 Legendary model to hwdb.

Merge pull request #18289 from yuwata/core-load-fragment-cleanups

pid1: several cleanups for conf parsers

network: address-pool: also check conflicts with foreign addresses

Fixes CI issue found in
https://github.com/systemd/systemd-centos-ci/pull/334.

hwdb: Add NEWYES 10" LCD writing tablet (#18274)

core: add logs when credential value is duplicated

core: make config_parse_documentation() explicitly return 0 on success

core: add missing log_oom()

core: do not fail when an invalid cpu affinity is specified

Merge pull request #18286 from ssahani/net-1

tree-wide: more use of hashmap_ensure_put() and TAKE_PTR()

systemctl: use right type 'size_t' for counting memory

Follow-up for e363b0e4fc4f32225034a11dd53c0cc68747ba6e

(Mostly a theoretical fix. On 64bit systems unsigned is 32bit, and we
had more than 2^32 units thing would fall apart here.)

network: tc use TAKE_PTR

udevadm-monitor: use TAKE_PTR

udevadm-monitor: Use hashmap_ensure_put

udev-rules: Use hashmap_ensure_put

resolved-dnssd: Use TAKE_PTR

resolved-dnssd: Use hashmap_ensure_put

resolved-dns-packet: Use TAKE_PTR

resolved-dns-packet: Use hashmap_ensure_put

resolved-bus: Use hashmap_ensure_put

journal-remote: use hashmap_ensure_put

core: load fragment - use hashmap_ensure_put

core: job - use hashmap_ensure_put

basic: drop unused module

Follow-up for 35b42e560039fd87d4ae4d99cd54d1d4e89710b1.

Merge pull request #18284 from ssahani/net-7

Tree wide tighten variable scope used in loop

network: Use ordered_hashmap_ensure_put (#18233)

Merge pull request #18230 from ssahani/macvlan-bcqueuelen

 network: macvlan - add support to configure rx queue for broadcast / multicast

Merge pull request #17576 from gportay/veritysetup-add-support-for-dm-verity-flags

veritysetup: add support for veritytab

core: dbus - use hashmap_ensure_put

network: macvlan - add support to configure rx queue for broadcast/multicast

journal: journal-file - tighten variable scope used in loop

machine: machined-dbus - tighten variable scope used in loop

tree-wide: fix typo

Merge pull request #18243 from ssahani/ensure-put-use

tree-wide: introduce hashmap_ensure_put() and use it

Merge pull request #18261 from ssahani/net2

network: modernize routing policy rule and add 0 validation where needed

network: tighten variable scope used in loop (#18277)

man: clarify what network scopes are

network: nexthop - use hashmap_ensure_put

network: use hashmap_ensure_put

network: routing-policy-rule - TAKE_PTR

network: route - add a zero verification for tcp window

 network: tc - use TAKE_PTR (#18266)

* network: tc cake - use TAKE_PTR

* network: tc htb - use TAKE_PTR

* network: tc pie - use TAKE_PTR

* network: tc netem - use TAKE_PTR

* network: tc hhf - use TAKE_PTR

* network: tc gred - use TAKE_PTR

* network: tc fq codel - use TAKE_PTR

* network: tc fifo - use TAKE_PTR

* network: tc drr - use TAKE_PTR

* network: tc qdisc - use TAKE_PTR

Merge pull request #18263 from keszybz/syscalls-auto

Generate missing syscalls headers programatically

Merge pull request #18264 from ssahani/net3

network: Use TAKE_PTR

Merge pull request #18268 from ssahani/net5

network: tighten variable scope used in loop

network: manager tighten variable scope used in loop

network: route - use ordered_set_ensure_put

network: address label - use TAKE_PTR

network: mdb - use TAKE_PTR

networkctl: tighten variable scope used in loop

mkosi: Allow setting version-tag option via VERSION_TAG env variable

With https://github.com/systemd/mkosi/pull/630, we can set environment
variables for the build script in mkosi. Let's modify the build script
so we can set the version-tag option via an environment variable of the
same name. The default is the empty string which causes meson to fall
back to the default behavior (git version).

ci: bump the Semaphore CI badge to the v2 instance

rpm: expose $systemd_util_dir also as rpm macro

This variable (a.k.a. rootlibexecdir), was exposed through the .pc file, but
not as rpm macro.

The .pc file must be located in the package that provides libraries, which
pulls in a lot of dependencies. In Fedora, the macros are split out to a
separate package so that other packages which need to refer to some systemd
path but don't otherwise require it, can only pull in the (much smaller and
dependency-less) macros package. zram-generator uses the path to specify the
location of systemd-makefs, so by using the rpm macro we'll be able to use
a much smaller buildroot.

network: macsec - tighten variable scope used in loop

network: generator tighten variable scope used in loop

ci: migrate to Semaphore CI 2.0

fs-util: make laccess() macro follow our usual error propagation

Functions defined by us are supposed to return negative errno-style
errors on errors. laccess() is for access() what lstat() is for stat(),
but defined by us as a macro. This led to some confusion regarding error
handling.

Let's return a negative errno code just in case. This means callers can
it use either way: like access(), i.e. checking for a negative return
value + looking at errno, or like our own code, i.e. using the negative
errno code it returns.

meson: Use configure_file when version-tag is specified

vcs_tag() is slow. When the version-tag meson option is set,
we can use configure_file() directly to speed up incremental
builds.

Before (with version-tag set to v247):

```
‣ Running build script...
[1/418] Generating version.h with a custom command

real    0m0.521s
user    0m0.229s
sys     0m0.067s
```

After (with version-tag set to v247):

```
‣ Running build script...
ninja: no work to do.

real    0m0.094s
user    0m0.048s
sys     0m0.022s
```

network: nexthop - use TAKE_PTR

src/basic: generate missing syscall headers programatically

Getting the numbers right for all architectures has proven to be a
constant chore. Let's autogenerate the header from the tables that
were imported in one of the previous commits.

Fixes #18074. (Hopefully. I cannot verify this on all architectures.)

To update the lists, or to update the header after template changes:
ninja -C build update-syscall-tables update-syscall-header

Note: the generated file is saved in git. Initially I wanted to only
store the tables in git, and generate the header during each build.
Generation is quick enough, but the header is used in many many
places (wherever missing_syscall.h is included, directly or indirectly),
which means that we would need to declare the dependency in meson, so
the header would be generated early enough. This turned out to be very
noisy. Storing the generated header in version control avoids the hassle.

tree-wide: use curl --fail

curl will save the 404 response page (or another error) if the page
download fails, which we never want. Let it error out instead.

syscalls: update tables

$ ninja -C build update-syscall-tables

meson: download full syscall tables from hrw/syscalls-table

The target is renamed to 'update-syscall-tables'. (Other targets
with similar names will be added later.)

systemctl: avoid warning about signed-unsigned compare on 32 bits

../src/systemctl/systemctl-list-units.c: In function ‘output_units_list’:
../src/systemctl/systemctl-list-units.c:112:75: warning: comparison of integer expressions of different signedness: ‘int’ and ‘unsigned int’ [-Wsign-compare]
  112 |         for (const UnitInfo *u = unit_infos; unit_infos && u - unit_infos < c; u++) {
      |                                                                           ^

The pointer difference is signed. I don't know why gcc warns on 32bits, but
not otherwise.

gcc-10.2.1-9.fc33.x86_64, -m32

man/systemd-veritysetup-generator: fix trailing space

veritysetup: remove unused globals

This removes the three global variables arg_root_hash, arg_data_what and
arg_hash_what which were presents since the beginning but were never
being used.

veritysetup-generator: add support for veritytab

This adds the support for veritytab.

The veritytab file contains at most five fields, the first four are
mandatory, the last one is optional:
 - The first field contains the name of the resulting verity volume; its
   block device is set up /dev/mapper/</filename>.
 - The second field contains a path to the underlying block data device,
   or a specification of a block device via UUID= followed by the UUID.
 - The third field contains a path to the underlying block hash device,
   or a specification of a block device via UUID= followed by the UUID.
 - The fourth field is the roothash in hexadecimal.
 - The fifth field, if present, is a comma-delimited list of options.
   The following options are recognized only: ignore-corruption,
   restart-on-corruption, panic-on-corruption, ignore-zero-blocks,
   check-at-most-once and root-hash-signature. The others options will
   be implemented later.

Also, this adds support for the new kernel verity command line boolean
option "veritytab" which enables the read for veritytab, and the new
environment variable SYSTEMD_VERITYTAB which sets the path to the file
veritytab to read.

Merge pull request #18254 from keszybz/trivial-cleanups

Assorted small cleanups

udevd: Use hashmap_ensure_put

network: online - use hashmap_ensure_put

network: routing policy rule - Use hashmap_ensure_put

network: route - Use hashmap_ensure_put

network: radv - Use hashmap_ensure_put

network: neighbor - use hashmap_ensure_put

network: mdb - use hashmap_ensure_put

network: link - use hashmap_ensure_put

network: link - use hashmap_ensure_put

network: fdb - Use hashmap_ensure_put

network: dhcp6 - use hashmap_ensure_put

network: address label - use hashmap_ensure_put

network: wireguard - Use hashmap_ensure_put

network: netdev - Use hashmap_ensure_put

generator: Use hashmap_ensure_put

basic: introuce hashmap_ensure_put

homed: use ordered_set_ensure_put

Merge pull request #18214 from elmarco/vsock

udev: allow kvm group to access vhost net and vsock devices

Merge pull request #18197 from weblate/weblate-systemd-master

Translations update from Weblate

Merge pull request #18244 from anitazha/systemctledit

systemctl-edit fixes

basic/env-util: modernization