tests: add a helper function to skip with errno

tests: use a helper function to parse environment and open logging

The advantages are that we save a few lines, and that we can override
logging using environment variables in more test executables.

test-condition: make function return void

We don't look at the result anyway.

tests: add helper to unify skipping a test and exiting

meson: drop some unneeded parens

meson: always allow compilation of tests binaries

NEWS: remove repeated "slightly"

meson: do not build tests by default when '-Dtests=false'

[zj: it is still possible to build tests explicitly by calling
     ninja -C build test-name. This way we have full flexibility.]

test: log when skipping tests in more cases

Follow-up for the previous commit.

test: when skipping tests, always print something

It is quite confusing if the test "fails" without printing anything at all.

A typo in an 'if' statement is also fixed.

meson: disable _all_ tests when -Dtests=false

Back in 08318a2c5acb3d0e4243c36461e69a3e45482441, value "false" was enabled for
'-Dtests=', but various tests were not conditionalized properly. So even with
-Dtests=false -Dslow-tests=false we'd run 120 tests. Let's make this consistent.

meson: disable "slow tests" too when tests are generally disabled

We would have a strange situation where after setting -Dslow-tests=true -Dtests=false
we'd get mostly the slow tests (plus some other ones which I'll fix in
subsequent commit). Let's simplify things by making -Dtests=false just
disable those tests too.

test-barrier: just make this a slow test

test-barrier was using a custom mechanism to skip itself. Let's
just follow the normal scheme.

tests: centralize check for slow tests

update TODO

nspawn: use copy-static if systemd-resolved is up and image is writable

Merge pull request #10061 from xnox/fix-logindless-scheduled-shutdown

Fix logindless scheduled shutdown

Merge pull request #10060 from yuwata/property-take-value

bus-util: make --property= optionaly take value

test: use ${builddir}/systemd-runtest.env for $SYSTEMD_CATALOG_DIR

This makes it so that tests no longer need to know the absolute paths to the
source and build dirs, instead using the systemd-runtest.env file to get these
paths when running from the build tree.

Confirmed that test-catalog works on `ninja test`, when called standalone and
also when the environment file is not present, in which case it will use the
installed location under /usr/lib/systemd/catalog.

The location can now also be overridden for this test by setting the
$SYSTEMD_CATALOG_DIR environment variable.

test: use ${builddir}/systemd-runtest.env to set $SYSTEMD_TEST_DATA

This simplifies get_testdata_dir() to simply checking for an environment
variable, with an additional function to locate a systemd-runtest.env file in
the same directory as the test binary and reading environment variable
assignments from that file if it exists.

This makes it possible to:
- Run `ninja test` from the build dir and have it use ${srcdir}/test for
  test unit definitions.
- Run a test directly, such as `build/test-execute` and have it locate
  them correctly.
- Run installed tests (from systemd-tests package) and locate the test
  units in the installed location (/usr/lib/systemd/tests/testdata), in
  which case the absence of the systemd-runtest.env file will have
  get_testdata_dir() use the installed location hardcoded into the
  binaries.

Explicit setting of $SYSTEMD_TEST_DATA still overrides the contents of
systemd-runtest.env.

test: remove support for suffix in get_testdata_dir()

Instead, use path_join() in callers wherever needed.

Set theme jekyll-theme-slate

bash-completion: systemctl: re-implement __filter_units_by_properties()

This also unifies __filter_units_by_property() and
__filter_units_by_properties(), and makes completion for 'restart',
'reload' or 'stop' show more candidates.

bus-util: make --property= optionally take value

Merge pull request #10046 from yuwata/fix-10045

test: use installed catalogs when test-catalog is not located at build dir

systemctl: correctly proceed to immediate shutdown if scheduling fails

Actually check the return code from logind_schedule_shutdown() and proceed to
immediate shutdown if that fails. Negative return codes can be returned if
systemctl is compiled without logind support, or if logind otherwise failed
(either too old, disabled/masked, or it is incomplete
systemd-shim/systemd-service implementation).

dhcp: fix assertion starting DHCP client without MAC address (#10054)

An assertion in dhcp_network_bind_raw_socket() is triggered when
starting an sd_dhcp_client without setting a MAC address first.

  - sd_dhcp_client_start()
    - client_start()
      - client_start_delayed()
        - dhcp_network_bind_raw_socket()

In that case, the arp-type and MAC address is still unset. Note that
dhcp_network_bind_raw_socket() already checks for a valid arp-type
and MAC address below, so we should just gracefully return -EINVAL.

Maybe sd_dhcp_client_start() should fail earlier when starting without
MAC address. But the failure here will be correctly propagated and
the start aborted.

Fixes: 76253e73f9c9c24fec755e485516f3b55d0707b4

test: make test-catalog relocatable

Fixes #10045.

test: introduce test_is_running_from_builddir()

hwdb: Update PNP IDs of Goldstar (now: LG Electronics). (#10051)

hwdb: Update PNP IDs of Goldstar (now: LG Electronics)

nspawn: always use mode 555 for /sys

When a network namespace is needed, /sys is mounted as tmpfs (see commit
d8fc6a000fe21b0c1ba27f for details).

But in this case mode 755 was used as initial permissions for /sys whereas the
default mode for sysfs is 555.

In practice using 755 doesn't have any impact because /sys is mounted read-only
too but for consistency, let's use the correct mode.

Fixes: #10050

Revert "systemctl: if no logind, don't try to schedule shutdown"

This reverts commit c68867da320de296917820e5a76e902a8a86be5a.

Revert "systemctl: fix compilation w/o logind"

This reverts commit 807690fb7f7e4998e2bb67f32026ab9f1c7b8077.

pam_systemd: support use in PID namespaces

Pass 0 as leader PID to CreateSession to let logind use the PID from the
D-Bus credentials. This allows use of pam_systemd in PID namespaces.

Merge pull request #10037 from filbranden/docs2

Moving docs around and starting conversion to Markdown

build-sys: Use common gcc argument detection for negative warning flags.

Starting with meson 0.46, it is able to detect these argument correctly.

See this commit in meson codebase for more details:
https://github.com/mesonbuild/meson/commit/695b8f3a0377d3e2ce78ba8716adc365b18edea1

We already carry a requirement for meson_version : '>= 0.46', so we can be sure
our build system will include this commit.

Tested by building systemd using a cloned meson synced to the 0.46.0 tag,
confirmed the warnings were detected correctly in that case. The meson messages included this snippet:

> Compiler for C supports arguments -Wno-unused-parameter -Wunused-parameter: YES
> Compiler for C supports arguments -Wno-missing-field-initializers -Wmissing-field-initializers: YES
> Compiler for C supports arguments -Wno-unused-result -Wunused-result: YES
> Compiler for C supports arguments -Wno-format-signedness -Wformat-signedness: YES
> Compiler for C supports arguments -Wno-error=nonnull -Werror=nonnull: YES
> Compiler for C supports arguments -Wno-maybe-uninitialized -Wmaybe-uninitialized: YES

Merge pull request #10042 from jwrdegoede/hwdb-sensors4

Hwdb sensors4

hwdb: Add accelerometer orientation quirk for the Onda v975w tablet

Add accelerometer orientation quirk for the Onda v975w tablet.

hwdb: Add accelerometer orientation quirk for the Connect Tablet9 tablet

Add accelerometer orientation quirk for the Connect Tablet9 tablet.

hwdb: Add accelerometer orientation quirk for the HP Pavilion x2 - 10-n000nd

Add accelerometer orientation quirk for the HP Pavilion x2 - 10-n000nd 2-in-1.

hwdb: Add accelerometer orientation quirk for the Chuwi Vi10 tablet

Add accelerometer orientation quirk for the Chuwi Vi10 (CWI505) tablet.

While at it also update the Chuwi Hi8 Pri comment to include the
CWI model-number.

docs: convert TRANSLATORS to Markdown

Also expand it to cover typical tasks of creating new translations, updating
existing ones and compiling them (which can be useful to check syntax.)

docs: convert DISTRO_PORTING to Markdown

docs: move markdown docs from .github/ to docs/

The GitHub guide on contributing file says: "Decide whether to store your
contributing guidelines in your repository's root, docs, or .github directory."

https://help.github.com/articles/setting-guidelines-for-repository-contributors/#adding-a-contributing-file

But there's really no advantage to keeping it in the hidden .github/, since
these are public and really belong together with the other documentation.

We can still keep the issue templates under .github/, since they are not really
documentation on their own.

Updated the links pointing to CONTRIBUTING.md to refer to the one in docs/.

docs: move doc/ to docs/

The docs/ directory is special in GitHub, since it can be used to serve GitHub
Pages from, so there's a benefit to switching to it in order to expose it
directly as a website.

Updated references to it from the documentations themselves, from the
CONTRIBUTING.md file and from Meson build files.

Merge pull request #9832 from yuwata/fix-9831

network: fixes related to setting MTU

Merge pull request #9942 from lucaswerkmeister/9939

seccomp: fix #9939 and allow specifying multiple errnos for syscall

build-sys: disable -Wmaybe-uninitialized

Compiler flag -Wmaybe-uninitialized is quite noisy and produces many false
positives, especially when optimization flags are enabled (tested gcc 8.2.1),
so let's just disable it in systemd build.

For example, with CFLAGS=-O2, the build produces 11 such warnings and the
default CFLAGS of Fedora's rpmbuild warns about it in 176 places. A look at a
sample of those shows that most are false positives, where the compiler just
can't figure it out correctly. (While fixing those would be nice, I'm not sure
it's a good use of our time.)

The noisy [-Wmaybe-uninitialized] warnings are not just an annoyance, since
they make it harder to spot warnings that indicate actual problems (such as
variable declared but not used.) Silencing those is beneficial, so that
contributors would see warnings where there are actually actionable problems,
so there's a better chance of having those issues addressed before a PR is
pushed.

Tested:
  $ CFLAGS='-O2 -Wp,-D_FORTIFY_SOURCE=2' meson build/
  $ ninja -C build/

(NOTE: -Wp,-D_FORTIFY_SOURCE=2 prevents [-Wstringop-truncation] warnings.)

With the commands above, the build will not produce any [-Wmaybe-uninitialized]
warnings (or any other warnings), which is not really the case before this commit.

Also tested with rpmbuild on Fedora, after this commit there are no warnings
produced in the build step.

tests: put fuzz_journald_processing_function in a .c file

hwdb: Add hwdb entry for X220 tablet (#10036)

seccomp: permit specifying multiple errnos for a syscall

If more than one errno is specified for a syscall in SystemCallFilter=,
use the last one instead of reporting an error. This is especially
useful when used with system call sets:

    SystemCallFilter=@privileged:EPERM @reboot

This will block any system call requiring super-user capabilities with
EPERM, except for attempts to reboot the system, which will immediately
terminate the process. (@reboot is included in @privileged.)

This also effectively fixes #9939, since specifying different errnos for
“the same syscall” (same pseudo syscall number) is no longer an error.

gitignore: add nspawn image lock and mkosi temporary files

backlight: do not unref parent device

Fixes double-free introduced by 9aadd28149ae2d8ce9956495c961d97ba4033b0e.

po: update Brazilian Portuguese translation

man: Document networkd states in networkctl(1) (#10033)

The manpage gives example outputs with the states, but it never
explains what the states are.

Fixes #575

hwdb: Added entry for X200 Tablet/X201 Tablet so their pointing sticks would be recognized. They share parts with normal X200 and X201's. (#10029)

Merge pull request #10009 from evverx/rework-journald-fuzzers

Add a fuzzer for server_process_native_message

sd-dhcp6: set requested time for DUID-LLT

Follow-up for 7e90a499ab1d5648c9169b5991b117d36fc59fad.

sd-dhcp: drop meaningless checking

mac_addr is not dynamically allocated.

Fixes CID 1395162 and 1395164.

hwdb: add Logitech G703 Wired/Wireless (#10005)

hwdb: Synaptics touchpad edge fix for HP Pavilion G6 (#10008)

cryptsetup-generator: introduce basic keydev support

Dracut has a support for unlocking encrypted drives with keyfile stored
on the external drive. This support is included in the generated initrd
only if systemd module is not included.

When systemd is used in initrd then attachment of encrypted drives is
handled by systemd-cryptsetup tools. Our generator has support for
keyfile, however, it didn't support keyfile on the external block
device (keydev).

This commit introduces basic keydev support. Keydev can be specified per
luks.uuid on the kernel command line. Keydev is automatically mounted
during boot and we look for keyfile in the keydev
mountpoint (i.e. keyfile path is prefixed with the keydev mount point
path). After crypt device is attached we automatically unmount
where keyfile resides.

Example:
        rd.luks.key=70bc876b-f627-4038-9049-3080d79d2165=/key:LABEL=KEYDEV

Merge pull request #10007 from keszybz/fix-no-logind

systemctl: fix compilation w/o logind

systemctl: fix compilation w/o logind

Fixes #10006.

importd, basic/string-util: use case-insensitive comparison for HTTP headers

According to RFC2616[1], HTTP header names are case-insensitive. So
it's totally valid to have a header starting with either `Date:` or
`date:`.

However, when systemd-importd pulls an image from an HTTP server, it
parses HTTP headers by comparing header names as-is, without any
conversion. That causes failures when some HTTP servers return headers
with different combinations of upper-/lower-cases.

An example:
https://alpha.release.flatcar-linux.net/amd64-usr/current/flatcar_developer_container.bin.bz2 returns `Etag: "pe89so9oir60"`,
while https://alpha.release.core-os.net/amd64-usr/current/coreos_developer_container.bin.bz2
returns `ETag: "f03372edea9a1e7232e282c346099857"`.
Since systemd-importd expects to see `ETag`, the etag for the Container Linux image
is correctly interpreted as a part of the hidden file name.
However, it cannot parse etag for Flatcar Linux, so the etag the Flatcar Linux image
is not appended to the hidden file name.

```
$ sudo ls -al /var/lib/machines/
-r--r--r--  1 root root 3303014400 Aug 21 20:07 '.raw-https:\x2f\x2falpha\x2erelease\x2ecore-os\x2enet\x2famd64-usr\x2fcurrent\x2fcoreos_developer_container\x2ebin\x2ebz2.\x22f03372edea9a1e7232e282c346099857\x22.raw'
-r--r--r--  1 root root 3303014400 Aug 17 06:15 '.raw-https:\x2f\x2falpha\x2erelease\x2eflatcar-linux\x2enet\x2famd64-usr\x2fcurrent\x2fflatcar_developer_container\x2ebin\x2ebz2.raw'
```

As a result, when the Flatcar image is removed and downloaded again,
systemd-importd is not able to determine if the file has been already
downloaded, so it always download it again. Then it fails to rename it
to an expected name, because there's already a hidden file.

To fix this issue, let's introduce a new helper function
`memory_startswith_no_case()`, which compares memory regions in a
case-insensitive way. Use this function in `curl_header_strdup()`.

See also https://github.com/kinvolk/kube-spawn/issues/304

[1]: https://www.w3.org/Protocols/rfc2616/rfc2616-sec4.html#sec4.2

man: fix a typo in the documentation (#10003)

Merge pull request #9919 from keszybz/more-sd-bus-doc

Some more sd-bus docs

boot/efi/stub.c: fix Dell LoadOptions

On Dell machines LoadOptions is filled with:
01 00 00 00 <name of BIOS Boot Loader Entry> ... <unknown bytes>

So, in case of meaningfull LoadOptions, better check if the first char
is a printable character.

user-runtime-dir: fix selinux regression

Fix #9993.  When this code was split out to user-runtime-dir, it forgot to
include the call to mac_selinux_init().  So mkdir_label() stopped working.

Fixes: a9f0f5e50104 ("logind: split %t directory creation to a helper
unit")

network: drop an unused variable

Follow-up for 53cb501a1314740fa777f145067cefccda954487.

tests: add reproducers for several issues uncovered with fuzz-journald-syslog

This is a follow-up to a70f343cacf03ac51cdefb0d2e.

Merge pull request #9995 from yuwata/fix-usbffs

core/socket: fix memleak in the error paths in usbffs_dispatch_eps()

tests: add a fuzzer for server_process_native_message

journald: make server_process_native_message compatible with fuzz_journald_processing_function

tests: rework the code fuzzing journald

This should make it easier to add a new fuzzer without a lot of
duplication.

core/socket: fix memleak in the error paths in usbffs_dispatch_eps()

TODO: drop duplicated entry

journald: fixed assertion failure when system journal rotation fails (#9893)

tests: add a rudimentary fuzzer for server_process_syslog_message (#9979)

Update 60-sensor.hwdb (#9991)

po: update Russian translation (#9992)

po: update Italian translation (#9980)

cryptsetup: do not define arg_sector_size if libgcrypt is v1.x (#9990)

Follow-up for #9936.

Merge pull request #9977 from sourcejedi/no-remount-superblock3

Namespace fixes

namespace: remove redundant .has_prefix=false

The MountEntry's added for EMPTY_DIR work very similarly to the TMPFS ones.
In both cases, .has_prefix is false.  In fact, .has_prefix is false in
*all* the MountEntry's we add except for the access mounts (READONLY etc).

But EMPTY_DIR stuck out by explicitly setting .has_prefix = false.
Let's remove that.

namespace: we always use a root_directory now

We changed to always setup the new namespace in a separate directory
(commit 0722b35)

namespace: fix mode for TemporaryFileSystem=

... when no mount options are passed.

Change the code, to avoid the following failure in the newly added tests:

exec-temporaryfilesystem-rw.service: Executing: /usr/bin/sh -x -c
'[ "$(stat -c %a /var)" == 755 ]'
++ stat -c %a /var
+ '[' 1777 == 755 ']'
Received SIGCHLD from PID 30364 (sh).
Child 30364 (sh) died (code=exited, status=1/FAILURE)

(And I spotted an opportunity to use TAKE_PTR() at the end).

namespace: don't try to remount superblocks

We can't remount the underlying superblocks, if we are inside a user
namespace and running Linux <= 4.17.  We can only change the per-mount
flags (MS_REMOUNT | MS_BIND).

This type of mount() call can only change the per-mount flags, so we
don't have to worry about passing the right string options now.

Fixes #9914 ("Since 1beab8b was merged, systemd has been failing to start
systemd-resolved inside unprivileged containers" ... "Failed to re-mount
'/run/systemd/unit-root/dev' read-only: Operation not permitted").

> It's basically my fault :-). I pointed out we could remount read-only
> without MS_BIND when reviewing the PR that added TemporaryFilesystem=,
> and poettering suggested to change PrivateDevices= at the same time.
> I think it's safe to change back, and I don't expect anyone will notice
> a difference in behaviour.
>
> It just surprised me to realize that
> `TemporaryFilesystem=/tmp:size=10M,ro,nosuid` would not apply `ro` to the
> superblock (underlying filesystem), like mount -osize=10M,ro,nosuid does.
> Maybe a comment could note the kernel version (v4.18), that lets you
> remount without MS_BIND inside a user namespace.

This makes the code longer and I guess this function is still ugly, sorry.
One obstacle to cleaning it up is the interaction between
`PrivateDevices=yes` and `ReadOnlyPaths=/dev`.  I've added a test for the
existing behaviour, which I think is now the correct behaviour.

Add sensor configuration for Asus TP201SA

tests: also run TEST-01-BASIC in an unprivileged container (#9957)

This should make it much easier to catch regressions like
https://github.com/systemd/systemd/issues/9914 and
https://github.com/systemd/systemd/issues/8535.

tree-wide: use '#pragma once' for header guard

Follow-up for a2b635eb3940f33f5dd308d85ba416f0630d152b (#9959).

man: fix RFC ref in resolved.conf man page (#9976)

This is a simple one-character fix to reference the correct RFC for
LLMNR, which is RFC 4795, not RFC 4794.

seccomp: improve error reporting

Only report OOM if that was actually the error of the operation,
explicitly report the possible error that a syscall was already blocked
with a different errno and translate that into a more sensible errno
(EEXIST only makes sense in connection to the hashmap), and pass through
all other potential errors unmodified. Part of #9939.

resolve: update comment, avoid alarming wrongness

`systemd-resolved.service` runs as `User=systemd-resolved`, and uses certain
Capabilit{y,ies} magic. By my understanding, this means it is started with a
number of "privileges".  Indeed, `capabilities(7)` explains

> Linux divides  the  privileges  traditionally
> associated  with  superuser into distinct units, known as capabilities,
> which can be independently enabled and disabled."

This situation appears to contradict our current code comment which said

> If we are not running as root we assume all privileges are already dropped.

This appears to be a confusion in the comment only.  The rest of the code
tells a much clearer story.  (Don't ask me if the story is correct.
`capabilities(7)` scares me).  Let's tweak the comment to make it consistent
and avoid worrying readers about this.

fd-util: accept that kcmp might fail with EPERM/EACCES

In a container the kcmp call might well be blocked; Accept that and fall
back to fstat in that case.

systemctl: if no logind, don't try to schedule shutdown

If logind is not supported, don't try to schedule a shutdown,
immediately poweroff. This is the behavior indicated by the current
message given to the user, but the command is returning an error. I
believe this was broken on this commit:
7f96539d45028650f2ba9452095473a9c455d84b

po: update French translation

Merge pull request #9959 from yuwata/small-fixes

tiny fixes and a cleanup

test: fix a memleak

Follow-up for #9901.

Fixes #9968.

cryptsetup: add support for sector-size= option (#9936)

Bug-Ubuntu: https://launchpad.net/bugs/1776626

Closes #8881.