Merge pull request #9437 from poettering/sd-boot-count

many sd-boot/bootctl fixes, and a new "boot counting" concept, for automatic fallback to older kernels on persistent failures

networkd: keep bond slave up if already attached

There is no need to disable an already correct enslaved interface.

relates to #10118

sd-dhcp: remove unreachable route after rebinding return NAK

Merge pull request #10470 from yuwata/log-message-updates

Log message updates

man: use proper <keycap> and <keycombo> docbook tags for key bindings

doc: add a markdown document introducing the boot assessment logic

man: document boot counting logic in systemd-boot

man: document systemd-bless-boot-generator

man: document systemd-boot-check-no-failures.service

man: document systemd-bless-boot

man: document the various EFI vars sd-boot sets

units: add simple boot check unit

This is might be useful in some cases, but it's primarily an example for
a boot check service that can be plugged before boot-complete.target.

It's disabled by default.

All it does is check whether the failed unit count is zero

man: update kernel-install(8) documentation

Many general updates, but most importantly, document the
/etc/kernel/tries logic briefly.

kernel-install: teach bot loader spec entry generator to generate entries with "tries"

This makes two changes:

1. When called for "remove" any drop-ins with "+" suffix are removed
   too, so that the logic works for entries with boot counting enabled
   too and we don't lose track of configuration snippets created that
   way.

2. When called for "add" we optionally generate a "+" suffix, based on
   the data in /etc/kernel/tries if it exists.

   This basically means after "echo 5 > /etc/kernel/tries" any installed
   kernels will automatically set up for 5 boot tries before older
   kernels will be tried.

add "systemd-bless-boot-generator"

This generator automatically pulls in "systemd-bless-boot.service" if
a boot with boot counting is detected.

add new systemd-bless-boot.service that marks boots as successful

This is the counterpiece to the boot counting implemented in
systemd-boot: if a boot is detected as successful we mark drop the
counter again from the booted snippet or kernel image.

man: document new "boot-complete.target" unit

units: add generic boot-complete.target

update TODO

tree-wide: replace 'unsigned int' with 'unsigned'

Merge pull request #10462 from yuwata/test-sd-device-monitor

Add tests for sd_device_monitor and small cleanups

nspawn: do not include '%m' in log message if errno is zero

import: include error cause in log message

gpt-auto-generator: include error cause in log message

firstboot: include error cause in log message

dissect: include error cause in log message

coredump: include error cause in log message

core: include error cause in log message

cgtop: include error cause in log message

busctl: include error cause in log message

bootctl: include error cause in log message

fs-util: include error cause in log message

analyze: include error cause in the log message

analyze: update log message

tree-wide: some automatic coccinelle fixes (#10463)

Nothing fancy, just coccinelle doing its work.

test: add tests for sd_device_monitor

Merge pull request #10457 from yuwata/fuzz-11019

sd-dhcp: fixes oss-fuzz#11019 and several cleanups

core: stop ignoring errors in connect_logger_as

When journald reaches the maximum number of active streams, it,
basically, starts to decline new connections. On the client
side it can be detected by getting EPIPE and, if the writing
process isn't lucky enough, getting SIGPIPE soon afterwards.
systemd has always ignored EPIPE, which makes it very hard
to keep track of services losing logs. This patch should make
it easier to detect such services by just staring at the logs
carefully.

In case anyone is interested, the following one-liner run as any user
can be used to paralyze all the stream logging on a machine:

for i in {1..4096}; do systemd-cat -t HEY-$i & done

Merge pull request #10460 from yuwata/setsockopt_int-more

tree-wide: use setsockopt_int() more

sd-device-monitor: include error cause in log message

sd-device-monitor: drop unnecessary condition

core: beautify per-unit consumed resources log message a bit. (#10390)

Shorten message to say "no IP traffic" if there is no IP traffic, rather
than "received 0B IP traffic, sent 0B IP traffic".

Fixes: #9816

Merge pull request #10437 from poettering/env-util-love

some env-util.c love

Merge pull request #10389 from poettering/nspawn-path-fix

nspawn $PATH execvpe() fix

Merge pull request #10450 from poettering/foreach-line-excorcism

FOREACH_LINE excorcism

Merge pull request #10447 from poettering/fgets-excorcism

let's get rid of fgets()

sd-dhcp6: drop empty 'error' label

test-dhcp6-client: normalize logs

fuzz: add testcase of oss-fuzz#11019

sd-dhcp6: make dhcp6_option_parse_domainname() not store empty domain

This improves performance of fuzzer.
C.f. oss-fuzz#11019.

sd-dhcp6: do not update serverid when ENOMEM

sd-dhcp6: coding style cleanups

sd-dhcp6: fix argument and error handling of dhcp6_option_parse_status()

resolved-mdns: use TAKE_FD()

resolved-llmnr: use TAKE_FD()

tree-wide: use setsockopt_int() more

Merge pull request #10456 from poettering/setsockopt-int

add a setsockopt_int() helper and make use of it everywhere

tests: clean up again after running tests (#10446)

Currently, if I run the full "run-integration-tests.sh" script it will
fail on my machine because it fills up /var/tmp whith just too much
crap until the disk is full.

Let's make sure that "run-integration-tests.sh" cleans up after every
test. For that change the make targets to run from "clean setup run" to
"clean setup run clean" — except that that doesn't work since make is
smart enough to realize that the same target appears twice on the
command line and will only execute it once. Let's fix that by defining
another target "clean-again" which is just like "clean", but allows us
to be added to the same command line a second time. Then, let's build
with "clean setup run clean-again" and all is good.

While we are at it, let's also add .PHONY where appropriate, after all
these all are phony targets.

job: add a comment that JOB_DONE also means skipped due to condition (#10453)

util: drop const_int_one/const_int_zero again

There's only a single user remaining now that we have setsockopt_int(),
let's define those variables locally.

This more or less reverts 6d5e65f6454212cd400d0ebda34978a9f20cc26a.

tree-wide: introduce setsockopt_int() helper and make use of it everywhere

As suggested by @heftig:

https://github.com/systemd/systemd/commit/6d5e65f6454212cd400d0ebda34978a9f20cc26a#commitcomment-30938667

efi: rework OFFSETOF() based on __builtin_offsetof()

Since both LLVM and gcc supported this for a long time, we are not
adding a fallback compat kludge. And even if there's some relevant
compiler that doesn't know this concept, it'll fail with a compiler
error, and we'll fix it then.

As suggested by @keszybz:

https://github.com/systemd/systemd/pull/10174#discussion_r226266540

Merge pull request #10239 from yuwata/sd-device-monitor

sd-device: introduce sd_device_monitor

Merge pull request #10407 from yuwata/netlink-slot

sd-netlink: introduce sd_netlink_slot object and relevant functions

test: check for putenv() failures, the call might theortically fail

exec-util: errors are reported by non-zero, not negative by putenv()

nspawn: use container $PATH (not host $PATH) when searching for PID 1 binaries to execute

Fixes: #10377

mkosi: use Fedora 29

F29 is at beta now, but should be out within two or three weeks, by the time
next systemd release happens.

tmpfiles: FOREACH_LINE excorcism

sysv-generator: FOREACH_LINE excorcism

sysusers: FOREACH_LINE excorcism

install: pass encountered error number to log_syntax()

install: FOREACH_LINE excorcism

clean-ipc: FOREACH_LINE excorcism

resolved-resolv-conf: FOREACH_LINE excorcism

resolved-etc-hosts: FOREACH_LINE excorcism

resolved-dns-trust-anchor: FOREACH_LINE excorcism

Also, properly ignore these read errors, and say so.

localectl: FOREACH_LINE excorcism

sd-path: FOREACH_LINE exorcism

bus-creds: FOREACH_LINE excorcism

coredump: FOREACH_LINE excorcism

smack-setup: include error cause in log message

smcak-setup: FOREACH_LINE excorcism

shutdown: FOREACH_LINE() excorcism

ima-setup: prefer safe_close() over plain close()

ima-setup: include error cause in failure messages

ima-setup: FOREACH_LINE excorcism

cgroup: FOREACH_LINE excorcism

time-util: FOREACH_LINE excorcism

process-util: FOREACH_LINE excorcism

mount-util: FOREACH_LINE() excorcism

cgroup-util: FOREACH_LINE() excorcism

Merge pull request #10174 from poettering/sd-boot-counter-efi

the EFI changes from PR #9437 (the boot counting PR)

bus-unit-util: use streq() instead of STR_IN_SET()

Follow-up for 90fc172e191f44979005a524521112f2bd1ff21b (#10308).

udev-rules: fgets() excorcism

condition: fgets() excorcism

reply-password: fgets() excorcism

modules-load: fgets() excorcism

keymap-util: fgets() excorcism

hwdb: fgets() excorcism