fs-util: add new CHASE_WARN flag to chase_symlinks()

This flag can be used to make chase_symlinks() emit a warning when it
encounters an error.

Such flag can be useful for generating a comprehensive and detailed warning
since chase_symlinks() can generate a warning with a full context.

For now only warnings for unsafe transitions are produced.

NEWS: extend docs on RLIMIT_NOFILE

We now settled on 512K, and forgot to update NEWS.

Moreover, explain why 512K was chosen.

catalog: reject entries where the language is too short early

Closes https://oss-fuzz.com/testcase-detail/5674475278827520

networkd: slightly rework route establishment logic

Use a for() loop to merge the two very similar loops into one, and add
more comments explaining the logic behing this.

Follow-up for 0d34228fc03f9dc47d1024268b66a23df1914914

Merge pull request #10977 from yuwata/test-network-remove-state-file

test-network: optionally remove state file of networkd

Merge pull request #10797 from poettering/run-generator

add new "systemd-run-generator" for running arbitrary commands from the kernel command line as system services using the "systemd.run=" kernel command line switch

test-network: stop systemd-networkd.socket during testing

To suppress noisy warning messages.

test-network: clear state file before starting networkd

Otherwise, some tests may disturb others, e.g.,
NetworkdNetWorkTests.test_routing_policy_rule_port_range and
NetworkdNetWorkTests.test_routing_policy_rule.

test-network: use /run instead of legacy /var/run

Merge pull request #10970 from yuwata/from-name-return-negative-errno

util: make *_from_name() returns negative errno on error

Merge pull request #10948 from ssahani/iprule-port-proto

networkd: add support to configure ip rule port range and protocol.

meson: let's bump RLIMIT_NOFILE hard limit to 512K

Prompted by:

https://lists.freedesktop.org/archives/systemd-devel/2018-October/041578.html

sysctl.d: switch net.ipv4.conf.all.rp_filter from 1 to 2

This switches the RFC3704 Reverse Path filtering from Strict mode to Loose
mode. The Strict mode breaks some pretty common and reasonable use cases,
such as keeping connections via one default route alive after another one
appears (e.g. plugging an Ethernet cable when connected via Wi-Fi).

The strict filter also makes it impossible for NetworkManager to do
connectivity check on a newly arriving default route (it starts with a
higher metric and is bumped lower if there's connectivity).

Kernel's default is 0 (no filter), but a Loose filter is good enough. The
few use cases where a Strict mode could make sense can easily override
this.

The distributions that don't care about the client use cases and prefer a
strict filter could just ship a custom configuration in
/usr/lib/sysctl.d/ to override this.

networkd: add support to configure ip rule port range and protocol.

Please see:

iprule: support for ip_proto, sport and dport match options
https://git.kernel.org/pub/scm/network/iproute2/iproute2.git/commit/?id=f686f764682745daf6a93b0a6330ba42a961f858

Closes 10622

fix: systemd-networkd reverse route ordering

We missing a default route. Add gateway first.

This fixes https://github.com/systemd/systemd/issues/5430

resolved: Increase size of TCP stub replies

DNS_PACKET_PAYLOAD_SIZE_MAX is limiting the size of the stub replies to
512 with EDNS off or 4096 with EDNS on, without checking the protocol
used. This makes TCP replies for clients without EDNS support to be
limited to 512, making the truncate flag useless if the query result is
bigger than 512 bytes.

This commit increases the size of TCP replies to DNS_PACKET_SIZE_MAX

Fixes: #10816

util: make *_from_name() returns negative errno on error

util: also move scripts related to socket-protocol-list.[ch] to shared/

The source files were moved to shared/. Let's also move the relevant scripts.

tools: move generate-gperfs.py to tools/

missing.h: remove duplicate definition of 'struct ethtool_link_settings'

Fixes: #10966

Merge pull request #10961 from poettering/busctl-monitor-json

busctl: support json mode also for 'busctl monitor'

core: USB function properties do not change dynamically, don't claim so

This reduces our PropertiesChanged signals a bit in size as we don't
keep out blasting properties that cannot change anyway all the time.

Merge pull request #10954 from poettering/install-all-fixo

correct of enabling logic for template units without DefaultInstall=

install: when enabling a template unit without DefaultInstance= nor specified instance don't do anything

Previously, we'd link the unit file into /etc in this case, but that
should only be done if the unit file is not in the search path anyway,
and this is already done implicitly anyway for all enabled unit files,
hence no reason to duplicate this here.

Fixes: #10253

install: use structured initializers

systemctl: separate out paragraphs in long message with empty line

systemctl: bullet lists FTW!

There's no reason to number these items, let's make this a bit nicer by
using proper bullets.

systemctl: downgrade log message to LOG_NOTICE

This log message is not problematic at all, it is merely explanatory,
hence LOG_WARN is too high for this.

systemctl: suffix unit file settings with = in our output

We do this in our man pages and log messages, and hence also in this
explanatory text.

locale-util: add unicode bullet to special glyphs

busctl: use new JSON_BUILD_PAIR_CONDITIONAL() for minimizing bus message JSON transformations

Let's not generate object fields that aren't defined for a message.

json: teach json builder "conditional" object fields

Quite often when we generate objects some fields should only be
generated in some conditions. Let's add high-level support for that.
Matching the existing JSON_BUILD_PAIR() this adds
JSON_BUILD_PAIR_CONDITIONAL() which is very similar, but takes an
additional parameter: a boolean condition. If "true" this acts like
JSON_BUILD_PAIR(), but if false then the whole pair is suppressed.

This sounds simply, but requires a tiny bit of complexity: when complex
sub-variants are used in fields, then we also need to suppress them.

busctl: support json mode also for 'busctl monitor'

Merge pull request #10967 from evverx/check-directives

travis: make sure that *.perf and directives.* files are in sync

tests: update test/fuzz/fuzz-netdev-parser/directives.netdev

This is a follow-up to 2266864b04257d7a.

travis: make sure that *.perf and directives.* files are in sync

New features are constantly added to networkd. Apparently, not everybody
knows that the "directives" files should be updated too to make
the fuzzers aware of them.

tree-wide: more IOVEC_MAKE() conversions

test: make TEST-27 non-racy

Not sure how I missed this, but we of course need to wait for the
"systemd-run" commands to finish before we can check the output files
this generated.

Merge pull request #10952 from evverx/keep-fuzz-udev-rules-going

tests: make fuzz-udev-rules work also in the environment created by run_minijail

tests: suppress "unwanted log lines" in several fuzzers

According to https://oss-fuzz.com/fuzzer-stats/by-fuzzer/fuzzer/libFuzzer/job/libfuzzer_asan_systemd,
fuzz-network-parser, fuzz-netdev-parser and fuzz-journal-remote produce
a lot of unwanted log lines. Let's set the maximum log level to LOG_CRIT
as we do in the other fuzzers.

tests: make fuzz-udev-rules work also in the environment created by run_minijail

This should close https://oss-fuzz.com/testcase?key=5642013043589120.

See also https://github.com/google/oss-fuzz/issues/1983.

Merge pull request #10951 from thom311/network-dhcp-route-option

add accessor for sd_dhcp_route's "option"

man,factory: update factory config for nsswitch.conf to match the man pages

Also add a note in the man pages to remind people to adjust the factory config
and other man pages at the same time.

Merge pull request #10955 from keszybz/rc-local-more-info

Provide more information in rc-local-generator

rc-local-generator: provide more debugging information

C.f. https://bugzilla.redhat.com/show_bug.cgi?id=1516188.

rc-local-generator: use macro to define main()

Merge pull request #10944 from poettering/redirect-file-fix

StandardOutput=file: fixes

Merge pull request #10902 from poettering/highlight-status

Highlight status

tests: keep going even if setup_mount_namespace has failed

This should address https://github.com/google/oss-fuzz/issues/1983.

network: use sd_dhcp_route_get_option() accessor in link_set_dhcp_routes()

network: add sd_dhcp_route_get_option() accessor

Since sd_dhcp_lease_get_routes() returns the list of all routes,
the caller may need to differenciate whether the route was option
33 (static-routes) or 121 (classless-static-route).

Add an accessor for the internal field.

Merge pull request #10813 from poettering/cgroup-exec-start-pre

make sure ExecStartPre= and Delegate=yes mix well

tree-wide: use IOVEC_MAKE() at many places

test: add a test for StandardError=file:…

This deserves a test of its, given how broken on so many levels this
previously was.

core: be more careful when inheriting stdout fds to stderr

We need to compare the fd name/file name if we inherit an fd from stdout
to stderr. Let's do that.

Fixes: #10875

bus-unit-util: properly accept StandardOutput=append:… settings

dbus-execute: generate the correct transient unit setting

dbus-execute: fix indentation

core: drop references to 'StandardOutputFileToCreate'

This property never existed, let's drop any reference to it.

Merge pull request #10949 from yuwata/man-improve-unset

man: slightly update man pages of network related units

update TODO

man: document systemd-run-generator

man: document FailureActionExitStatus=/SuccessActionExitStatus=

add new run-generator

This is really useful for running commands like this:

        # systemd-run -i someimage.raw -b systemd.run='"some command line"'

This will now run the command line inside a small Type=oneshot service
and even propagate the exit code of the command back to the parent. And
all that with the full system booted up.

By default this causes the system to shutdown right after the command
completed, but this can be tweaked with systemd.run_success_action= and
systemd.run_failure_action=.

Note that when used in VMs the exit status can of course not be
propagate, as VMs don't really know a concept for that.

core: allow to set exit status when using SuccessAction=/FailureAction=exit in units

This adds SuccessActionExitStatus= and FailureActionExitStatus= that may
be used to configure the exit status to propagate in when
SuccessAction=exit or FailureAction=exit is used.

When not specified let's also propagate the exit status of the main
process we fork off for the unit.

man: update explanation for boolean options

man: improve the explanation of "Defaults to unset"

test: add test for setting service manager environment variables

This is a follow-up for #10594. I somehow forgot to commit this when I
worked on that.

Merge pull request #10947 from poettering/sd-radv-fixes

sd-radv fixes

journald: don't try to rotate user journals in /var/log/journal/ if we are still in log-to-runtime-journal mode

Fixes: #10879

networkd: Add support for ERSPAN tunnel

Please see: https://patchwork.ozlabs.org/patch/800327/
```
[NetDev]
Name=erspan-test
Kind=erspan

[Tunnel]
Independent=true
ERSPANIndex=123
Local = 172.16.1.200
Remote = 172.16.1.100
Key=101
SerializeTunneledPackets=true
```

First restructuration of Logitech mice in 70-mouse.hwdb

Untested, just carefully copy and pasted under the created sections. First approach to #10941

sd-radv: use struct initializers

sd-radv: per our CODING_STYLE don't use 'bool' in public headers

sd-radv: no need to initialize r to zero

sd-radv: make sure we can deal with in_addr_to_string() failing

sd-radv: when receiving a too short packet, make sure we dequeue it

sd-radv: propagate OOM, it's reason to fail

sd-radv: follow our usualy rule that destructors can take NULL

sd-radv: simplify IPv6 address is-null check

sd-radv: drop const from non-ptr argument

sd-radv: use ether_addr_is_null() where appropriate

units: make fsck/grows/makefs/makeswap units conflict against shutdown.target

They are the only units we shipped/generated where this was missing really. Let's fix these.

Follow-up for: #10933

tree-wide: use SWAP_TWO a bit more

test-network: add tests for #5430 and GatewayOnLink=

Merge pull request #10928 from yuwata/fix-9940

network: also load foo.netdev.d/*.conf

man: link Delegate= documentation up with the markdown docs

docs: document the .control/ subcgroup contract in the docs

core: when Delegate=yes is set for a unit, run ExecStartPre= and friends in a subcgroup of the unit

Otherwise we might conflict with the "no-processes-in-inner-cgroup" rule
of cgroupsv2. Consider nspawn starting up and initializing its cgroup
hierarchy with "supervisor/" and "payload/" as subcgroup, with itself
moved into the former and the payload into the latter. Now, if an
ExecStartPre= is run right after it cannot be placed in the main cgroup,
because that is now in inner cgroup with populated children.

Hence, let's run these helpers in another sub-cgroup .control/ below it.

This is somewhat ugly since it weakens the clear separation of
ownership, but given that this is an explicit contract, and double opt-in should be acceptable.

Fixes: #10482

unit: tweak status output a bit

Let's highlight the unit description string in the status updates, to
separate them a bit more the english sentence they are part of, and thus
make the different casing less surprising.

show-status: use free_and_replace() where we can

show-status: fold two bool flags function arguments into a flags
parameter

Merge pull request #10919 from yuwata/sd-device-monitor-fixes

sd-device-monitor: several fixes

generator.c: systemd-fsck-root.service conflict with shutdown.target

Otherwise a "reboot" or "poweroff" in the initramfs will have to wait
until systemd-fsck-root.service has completed, which might never happen
if the root device never shows up.

test-network: add one more test for netdev dropin .conf files

For netdev, config files are loaded twice, and the first time,
only Match and NetDev setions are read. So, the test given by
the previous commit covers only the second loading.
This adds another test that also covers the first loading.

Merge pull request #10901 from poettering/startswith-list

add new STARTSWITH_SET() macro

Merge pull request #10927 from yuwata/udev-ctrl-cleanup

udev: update log messages and fix coding style issues

Merge pull request #10925 from yuwata/sd-boot-fixes

sd-boot: fixes trailing whitespace trimming and updates document

Merge pull request #10910 from yuwata/list-cleanups

basic/list: tiny fixes

Merge pull request #10909 from yuwata/import-cleanups

Import: cleanups