network: read link specific sysctl value

This introduce link_sysctl_ipv6_enabled() and replaces
manager_sysctl_ipv6_enabled() with it.

Merge pull request #12796 from yuwata/test-network-use-wait-online

test-network: several cleanups

Merge pull request #12794 from yuwata/network-configure-without-carrier

network: skip to check dynamic addresses when ConfigureWithoutCarrier=yes

Merge pull request #12761 from evverx/try-fuzzit

Turn on UBSan on Fuzzit

travis: add more ASan options

travis: clean up bash variables a bit

in preparation for adding more ASan options

travis: use UBSan checks from OSS-Fuzz

This should help to silence UBSan reports mentioned in
https://github.com/systemd/systemd/pull/12771#issuecomment-502139157
for now.

travis: turn on UBSan on Fuzzit

Merge pull request #12799 from evverx/fuzzit-follow-up

travis: run Coverity after Fuzzit-Fuzzing

travis: add 5 more fuzz targets

travis: always run the "Build & test" stage first

Now that the other stages are explicitly listed in the "stages"
section, we should include "Built & test" there to make sure
it's run first.

travis: skip the Fuzzit-Sanity stage when it's run by cron

travis: run Coverity after Fuzzit-Fuzzing

Coverity is unpredictable and, according to a notification I received
yeserday, it will be upgraded on June 17. During the upgrade
it might be offline for 3 days, af far as I understand. Anyway, Travis
stops as soon as a stage fails so it makes sense to put stages that
are likely to fail at the end so that the others have a chance to
do what they are supposed to do.

https://community.synopsys.com/s/topic/0TO2H0000001CN7WAM/coverity-scan-status

Continuous Fuzzing Integration with Fuzzit

includes two travis ci steps:

1) Every pull-request/push all fuzzing targets will do a quick
sanity run on the generated corpus and crashes (via Fuzzit)
2) On a daily basis the fuzzing targets will be compiled (from
master) and will and their respectible fuzzing job on Fuzzit
will be updated to the new binary.

NEWS: add more hint about MACAddressPolicy= change

C.f. https://bugzilla.suse.com/show_bug.cgi?id=1136600

test-network: drop redundant operstate checking

test-network: replace check_link_exists() with wait_online()

test-network: explicitly set sleep time

test-network: suppress error message in cleanup process

test-network: add test for ConfigureWithoutCarrier=

network: skip to check dynamic addresses when ConfigureWithoutCarrier=yes

Otherwise, the interface cannot be in "configured" state, as ipv6 link local
addressing is enabled by default. Note that even if ConfigureWithoutCarrier=
is set, all dynamic configurations are checked when the interface has
carrier.

Document that gpt-auto-generator supports decrypting rootfs

When systemd is running in initrd, we actually support decrypting a LUKS rootfs.

Fixes #12786

networkctl: fix use of uninitialized value

Merge pull request #12777 from yuwata/libudev-enumerate-issue-12776

libudev: rescan devices when filter is updated

Merge pull request #12783 from keszybz/a-few-unrelated-fixes

A few unrelated fixes

journal: also disable memory tricks when hashing under msan

Might help with #11738.

test-bus-marshall: add a hopefully helpful comment

zsh: add completion for systemctl preset-all

system-update-generator: do not emit bogus warning if no /system-update symlink

We only need to check for the kernel cmdline override our symlink is there.

libudev: hide definition of struct udev_device

libudev: rescan devices when filter is updated

Fixes #12776.

libudev: re-implement libudev-list with LIST and hashmap

libudev: hide definition of struct udev_list from other libudev components

In the later commit, udev_list will be just a wrapper of hashmap or LIST.
So, allocating udev_list does not increase much cost.

Merge pull request #12424 from poettering/logind-brightness

logind: add SetBrightness() bus call as minimal API for setting "leds" and "backlight" kernel class device brightness

Merge pull request #12779 from pwithnall/minor-fixes

Minor fixes

service: Fix typo in warning message

The directive is `RuntimeMaxSec=`, not `MaxRuntimeSec=`.

Signed-off-by: Philip Withnall <withnall@endlessm.com>

pam_systemd: Fix some option names in error messages

Signed-off-by: Philip Withnall <withnall@endlessm.com>

man: Add missing <literal> tags in various man pages

A minor formatting improvement brought to you by the wonders of `git
grep`.

Signed-off-by: Philip Withnall <withnall@endlessm.com>

man: Fix typo in sd_notify man page

Signed-off-by: Philip Withnall <withnall@endlessm.com>

libudev: drop unused variable

Merge pull request #12774 from yuwata/network-ignore-ipv6-settings-when-sysctl-disable-ipv6

network: ignore ipv6 settings when sysctl disable ipv6

resolved: Fix incorrect use of OpenSSL BUF_MEM

Fixes: #12763

test-network: add more test cases when ipv6 is disabled

network: ignore requested ipv6 fdb entry when ipv6 is disabled by sysctl

network: ignore requested ipv6 routing policy rule when ipv6 is disabled by sysctl

network: ignore requested ipv6 route when ipv6 is disabled by sysctl

network: ignore requested ipv6 addresses when ipv6 is disabled by sysctl

man: fix reference to sd_bus_add_fallback_vtable

Merge pull request #12685 from yuwata/network-dhcp-assign-adn-remove-12676

network: assign new DHCP address before removing old lease address

systemd-mount: don't check for non-normalized WHAT for network FS

The WHAT string could be whatever for many filesystems. The common
example are network filesystems.

Addresses: https://bugzilla.redhat.com/show_bug.cgi?id=1708996

man/systemd-veritysetup-generator: Fix grammar

network: assign new DHCP address before removing old lease address

Closes #12676.

network: ignore callback calls when link is in failed state

network: drop unnecessary link_enter_failed() calls

As the function called soon later anyway.

network: check earlier the existence of lifetime in lease

network: make all failures in route configuration fatal

Merge pull request #12756 from cdown/uninit

a couple of correctness fixups

cgroup: Prevent theoretical nullptr deref in unit mask calculation

systemctl: Prevent state_missing from being used uninit

Merge pull request #12738 from yuwata/network-routing-policy-cleanup

network: several cleanups for routing policy rule

Merge pull request #12511 from ssahani/high-avilability-12050

networkd: add new KeepConfiguration= setting

test-network: add tests for KeepConfiguration=

man: add documentation about KeepConfiguration

network: make KeepConfiguration=static drop DHCP addresses and routes

Also, KeepConfiguration=dhcp drops static foreign addresses and routes.

network: add KeepConfiguration=dhcp-on-stop

The option prevents to drop lease address on stop.
By setting this, we can safely restart networkd.

networkd: add support to keep configuration

Merge pull request #12748 from keszybz/modernize-networkd-tests-style

Modernize networkd-tests.py style

NEWS: add note about the CPUAffinity= changes

Merge pull request #12508 from keszybz/no-root-checks

Drop many root checks

networkd-tests.py: properly escape pluses in regexps

Python warns that '\+' is an invalid escape. We need either '\\+' or r'\+'.

networkd-tests.py: remove some java-style boilerplate

A class was used to put some utility functions under a namespace. But then this
namespace was inherited into classes, so the namespace split was undone. Let's
just define those functions in the module namespace.

(The Utilities class with a few functions still remain, because of the
unittest-style self.assert* craziness.)

networkd-tests.py: use check_output() instead of unittests' assertEqual()

It's pretty much the same thing, but more in pytest style, without the
unittest boilerplate.

networkd-tests.py: add helpers to common subprocess call patterns

For normal shell calls, python syntax is quite verbose. We don't need to punish
ourselves like that. In some places we would fork a shell to do argument splitting
for us. We know that our arguments can be safely split on whitespace, so let's do
that ourselves in all cases, without forking a shell.

We also expect command output to be valid text, so let's always set
universal_newlines=True.

This makes things shorter and easier to read. Development is also easier because
it's possible to paste many of the commands directly to/from a shell.

networkd-tests.py: remove unused import

network: check stored object is euivalent to what we want to remove

When object A is stored in Manager::rules and B is in ::rules_foreign,
and compare function for the object cannot distinguish them,
then freeing A causes B to be removed from rules_foreign or vice versa.

Hopefully fixes #12731.

Drop no longer needed halt-local.service.in

Follow-up for commit 44508946534eee032927c263b79464832656dd6e.

Merge pull request #12744 from yuwata/test-network-stability-dhcp-tests

test-network: improve stability of DHCP client tests

test-network: do not directly compare two results of "ip address"

As it contains lifetime of the address.

Merge pull request #11778 from anitazha/rfe_11654_dbus

core: add ExecStartXYZEx= with dbus support for executable prefixes

udev: propagate errors in udev_event_execute_rules()

And do not set initialized flag to the device.

udevadm trigger: log errors and return first failure

When udevadm trigger is called, the list of devices to trigger is always
generated through enumeration, and devices can come and go, so we should not
treat -ENOENT as a failure. But other types of failure should be logged.
It seems they were logged until baa30fbc2c04b23209d0b8fb3c86cd15ef9ea81a.

Also, return the first error. (I'm not sure if there are other failure modes
which we want to ignore. If they are, they'll need to be whitelisted like
-ENOENT.).

test-network: do not allow addresses in tentative state

man: mention quoting in description of Parameters=

Also add a short example how to translate nspawn command line to .nspawn settings.

Fixes #12703.

Merge pull request #12741 from keszybz/bpf-firewall-warning

Silence BPF firewall warning when not useful

Merge pull request #12737 from keszybz/meson-man-nspawn

meson: escape dots in man/man helper

Merge pull request #12661 from mrc0mmand/debug-journalctl-flush

journal: disable varlink timeout for journalctl --flush or friends

man/man: refer to the right build directory in the helpers

I have no idea how this one slipped through.

Silence warning about BPF firewall in containers

We'd get a warning on every nspawn invocation:
dev-hugepages.mount: unit configures an IP firewall, but the local system does not support BPF/cgroup firewalling.
(This warning is only shown for the first unit using IP firewalling.)

Before the previous commit, I'd generally get a warning about systemd-udev.service, even though that service is
not started in containers. But are still many other units which that declare a
firewall, which is currently unsupported in containers. Let's stop warning
about this.

The warning is still emitted e.g. if legacy cgroups are used. This is something
that can be configured, so it makes more sense to emit the warning.

Move warning about unsupported BPF firewall right before the firewall would be created

There's no need to warn about the firewall when parsing, because the unit might
not be started at all. Let's warn only when we're actually preparing to start
the firewall.

This changes behaviour:
- the warning is printed just once for all unit types, and not once
  for normal units and once for transient units.
- on repeat warnings, the message is not printed at all. There's already
  detailed debug info from bpf_firewall_compile(), so we don't need to repeat
  ourselves.
- when we are not root, let's say precisely that, not "lack of necessary privileges"
  and "the local system does not support BPF/cgroup firewalling".

Fixes #12673.

journalctl: make 'journalctl --flush' or friends not fail with varlink timeout

Closes #12570.

meson: escape dots in man/man helper

It was impossible to view systemd.nspawn(5), because systemd-nspawn(1) was matched
also, and happened to be earlier in the list. The solution in this patch is pretty
crude, but is should be enough for our purposes, since we don't have any regexp
special characters in man page names except for the dot.

Merge pull request #12733 from keszybz/sd-bus-error-reporting

Bus error reporting improvements

Merge pull request #12734 from keszybz/cpu-set-util-on-i386

Fixes for test-cpu-set-util on i386

bash-completion: support "networkctl delete"

journalctl: mention --smart-relinquish-var in log message

journalctl: fix error cause in log message

If varlink_call() returns negative errno, then `error` is null.

test-cpu-set-util: fix allocation size check on i386

We get just 28 bytes not 32 as on 64-bit architectures (__cpu_set_t is 4 bytes,
we need at least 26, so 28 satisfies the constraints).

test-cpu-set-util: fix comparison for allocation size

On i386, __cpu_mask is 4 bytes, so we'd check if c.allocated >= 0, and
gcc would warn about a bogus comparison. Let's round up.

Fixes #12726.

network: remove unused argument in routing_policy_rule_configure()

network: fix double free on error path